Megatron-LM : NVIDIA répartit l'entraînement des géants du langage

En 2019, NVIDIA décrit une méthode pour découper un très grand modèle de langage entre de nombreux processeurs graphiques et l'entraîner efficacement.

Les modèles de langage atteignent alors une taille qui dépasse la mémoire d'une seule carte graphique. L'article « Megatron-LM » propose de répartir les calculs de chaque couche du modèle entre plusieurs processeurs, une technique dite de parallélisme de modèle, avec peu de modifications du code d'origine.

Les chercheurs de NVIDIA entraînent ainsi des modèles de plusieurs milliards de paramètres sur des centaines de processeurs graphiques, en conservant une bonne efficacité de calcul, et obtiennent des résultats de pointe sur plusieurs tests de langage.

Les techniques décrites ont servi de base à de nombreux entraînements de grands modèles dans les années suivantes. Elles illustrent le rôle croissant de l'ingénierie des systèmes dans les progrès de l'intelligence artificielle.