GPT-4 : un rapport technique très discret sur la recette

En mars 2023, OpenAI présente GPT-4, nettement plus performant que ses prédécesseurs, mais ne dévoile presque rien de son architecture ni de son entraînement.

Le « GPT-4 Technical Report » décrit un modèle multimodal, capable de recevoir du texte et des images. Il obtient des résultats proches de ceux des meilleurs candidats humains à plusieurs examens professionnels et universitaires, dont une simulation de l'examen du barreau américain.

Le rapport détaille la méthode qui a permis de prévoir certaines performances à partir de modèles beaucoup plus petits, ainsi que le travail de sécurité mené avant la sortie. Il reconnaît des limites persistantes, comme les faits inventés.

En revanche, OpenAI refuse de communiquer la taille du modèle, les données ou le matériel utilisés, en invoquant la concurrence et la sécurité. Ce choix a nourri le débat sur la transparence de l'IA.