T5 : toutes les tâches de langage ramenées à « du texte vers du texte »

Publié en 2020 dans le Journal of Machine Learning Research, le modèle T5 de Google traite traduction, résumé et classification avec un seul et même format.

L'article « Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer » part d'une idée unificatrice : chaque tâche de traitement du langage peut être formulée comme la transformation d'un texte d'entrée en un texte de sortie. Une traduction, un résumé ou même une note de similarité deviennent alors des phrases à produire.

Ce cadre commun permet aux chercheurs de Google de comparer de façon systématique les choix d'entraînement : objectifs de préentraînement, architectures, volumes de données. Ils constituent pour l'occasion un vaste corpus nettoyé issu du web, baptisé C4.

Le plus grand modèle T5 obtient des résultats de premier plan sur de nombreux tests de référence. Au-delà des performances, l'étude est devenue un guide pratique pour les équipes qui entraînent des modèles de langage.