RAG : quand un modèle de langage consulte une bibliothèque avant de répondre

Facebook AI propose en 2020 de coupler un modèle génératif à un moteur de recherche documentaire, une approche aujourd'hui omniprésente dans les assistants d'entreprise.

L'article « Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks » part d'une limite connue des modèles de langage : leurs connaissances sont figées dans leurs paramètres et difficiles à mettre à jour ou à vérifier.

La solution proposée consiste à rechercher d'abord les passages pertinents dans une collection de documents, en l'occurrence Wikipédia, puis à générer la réponse en s'appuyant sur ces passages. Le système obtient de bons résultats sur des questions ouvertes et produit des réponses plus précises et plus factuelles.

Sous le nom de RAG, cette architecture est devenue la méthode standard pour brancher un assistant sur la documentation interne d'une entreprise ou sur des sources à jour.