DPO : aligner un modèle sur les préférences humaines sans apprentissage par renforcement

Des chercheurs de Stanford proposent en 2023 une méthode plus simple et plus stable que le RLHF pour ajuster un modèle de langage.

Le RLHF, utilisé pour entraîner ChatGPT, demande d'entraîner un modèle de récompense puis d'optimiser l'assistant par apprentissage par renforcement, un processus délicat à mettre au point. L'article « Direct Preference Optimization », présenté à NeurIPS 2023, propose de s'en passer.

Les auteurs montrent mathématiquement que le modèle de langage peut jouer lui-même le rôle de modèle de récompense. Il suffit alors de l'entraîner directement sur des paires de réponses, l'une préférée à l'autre, avec une fonction de perte simple.

Dans leurs expériences, DPO égale ou dépasse le RLHF. Sa simplicité en a fait l'une des méthodes d'ajustement les plus utilisées pour les modèles ouverts.