La diffusion latente, moteur de Stable Diffusion

Des chercheurs de Munich et de Runway publient en 2022 la méthode qui a permis de générer des images de qualité sur un simple ordinateur.

Les modèles de diffusion produisaient des images remarquables, mais au prix de calculs énormes, car ils travaillaient directement sur chaque pixel. L'article « High-Resolution Image Synthesis with Latent Diffusion Models » propose de les faire opérer dans un espace compressé, dit latent, bien plus petit que l'image finale.

Un autoencodeur se charge de passer de l'image à cette représentation compacte et inversement. Le coût d'entraînement et de génération chute fortement, sans perte notable de qualité, et le modèle peut être guidé par un texte grâce à un mécanisme d'attention.

Cette architecture est à la base de Stable Diffusion, dont la publication en accès libre à l'été 2022 a rendu la génération d'images accessible au grand public.