Whisper : une transcription robuste grâce à 680 000 heures d'audio

OpenAI présente un modèle de reconnaissance vocale entraîné sur un très grand volume d'enregistrements imparfaitement transcrits, publié à la conférence ICML 2023.

L'article « Robust Speech Recognition via Large-Scale Weak Supervision » présente Whisper, un modèle de transcription entraîné sur environ 680 000 heures d'audio collectées sur Internet, avec leurs transcriptions approximatives, dans de nombreuses langues.

Plutôt que d'optimiser le modèle sur un jeu de test précis, les chercheurs misent sur la diversité des données. Whisper se révèle ainsi plus robuste face aux accents, au bruit de fond et au vocabulaire technique que des systèmes très performants sur les tests classiques. Il sait aussi traduire vers l'anglais.

OpenAI a publié le modèle en accès libre, ce qui en a fait un outil courant de sous-titrage et de transcription.