Les modèles de diffusion, ou comment créer une image en retirant du bruit

En 2020, une équipe de Berkeley publie la méthode qui servira de fondation aux générateurs d'images comme Stable Diffusion ou DALL-E 2.

Le principe des « Denoising Diffusion Probabilistic Models » est contre-intuitif : on apprend à un réseau de neurones à retirer progressivement le bruit ajouté à une image. Une fois entraîné, le modèle part d'un bruit pur et le débruite étape par étape jusqu'à obtenir une image nouvelle.

Les auteurs montrent que cette approche produit des images d'une qualité comparable à celle des réseaux antagonistes génératifs, alors dominants, tout en étant plus stable à entraîner. L'article est publié sur arXiv puis présenté à la conférence NeurIPS.

Les modèles de diffusion se sont ensuite imposés comme la technique de référence pour la génération d'images, puis de vidéos et de sons.