CLIP : apprendre à voir en lisant les légendes du web

OpenAI présente en 2021 un modèle qui associe images et textes, capable de reconnaître des objets qu'on ne lui a jamais appris à identifier.

L'article « Learning Transferable Visual Models From Natural Language Supervision » décrit CLIP, entraîné sur des centaines de millions de paires d'images et de légendes collectées sur Internet. Le modèle apprend à rapprocher une image du texte qui la décrit.

Résultat : CLIP peut classer des images dans des catégories décrites en langage naturel, sans entraînement spécifique. Sur de nombreux jeux de test, il rivalise avec des modèles entraînés spécialement pour la tâche.

CLIP est devenu une brique centrale des générateurs d'images à partir de texte et des moteurs de recherche visuelle.