Vision Transformer : une image découpée comme une phrase

En 2020, Google montre que l'architecture Transformer, conçue pour le texte, peut rivaliser avec les réseaux convolutifs en reconnaissance d'images.

L'article « An Image is Worth 16x16 Words » propose de découper une image en petits carrés de 16 pixels de côté, traités comme les mots d'une phrase par un Transformer standard. Le modèle, baptisé Vision Transformer, ne comporte aucune des convolutions qui dominaient alors la vision par ordinateur.

Entraîné sur de très grands jeux d'images, il atteint ou dépasse les meilleurs réseaux convolutifs sur les tests de référence, avec un coût d'entraînement moindre. Sur de petits jeux de données, en revanche, il reste moins performant.

Ce résultat a ouvert la voie à des modèles communs au texte et à l'image, base des systèmes multimodaux actuels.