11: Generative AI – Text-to-Image Models

Ce cours offre une introduction solide et pédagogique aux modèles de diffusion pour la génération d’images. La progression est logique : du concept de débruitage itératif à l’architecture U-Net, puis à l’alignement texte-image via CLIP, et enfin aux modèles de diffusion latente. L’instructeur utilise des analogies efficaces (comme ’traverser un fossé en deux sauts’) et des démonstrations pratiques avec du code, ce qui facilite la compréhension. La rigueur scientifique est bonne : il cite les papiers originaux (Denoising Diffusion Probabilistic Models, CLIP, Latent Diffusion Models) et explique les intuitions sous-jacentes. Cependant, certaines affirmations sur Sora sont spéculatives, car le rapport technique n’était pas encore publié à l’époque ; il le mentionne d’ailleurs. La partie sur CLIP est bien expliquée, avec la fonction de perte contrastive et l’importance d’éviter l’effondrement du modèle. L’adéquation titre-contenu est parfaite. Le cours est destiné à un public ayant déjà des bases en deep learning, mais il reste accessible. Les démonstrations avec Hugging Face sont pertinentes et montrent l’application pratique. En résumé, un cours de qualité, bien structuré, avec une bonne profondeur technique, même si quelques points restent superficiels (comme les détails de l’architecture U-Net).

Le titre est clair et correspond exactement au contenu : présentation des modèles de génération d'images par diffusion conditionnés par du texte.

8/10

Cours magistral de niveau universitaire (MIT) par un expert, s'appuyant sur des références académiques (papers originaux) et des démonstrations pratiques. La rigueur est bonne, mais certaines affirmations (ex: sur Sora) sont spéculatives faute de publication officielle.

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

• 00:00Introduction : exemples de génération d'images par IA (ChatGPT, Midjourney, Sora).
• 03:00Présentation du plan : génération d'images, puis conditionnement par texte.
• 07:00Explication du processus de bruitage : ajout de bruit gaussien aux images.
• 10:00Démonstration en Python : ajout de bruit à une image avec NumPy.
• 15:00Idée clé : entraîner un réseau à débruiter progressivement en utilisant des paires (image bruitée, image moins bruitée).
• 20:00Présentation de l'architecture U-Net pour la transformation image-à-image.
• 25:00Introduction de CLIP : alignement des embeddings texte-image.
• 30:00Explication de la fonction de perte contrastive de CLIP.
• 35:00Utilisation de CLIP pour la classification d'images zero-shot.
• 40:00Intégration de CLIP dans le modèle de diffusion pour conditionner la génération.
• 45:00Modèles de diffusion latente : accélération en travaillant dans l'espace latent.
• 50:00Démonstration avec Hugging Face diffusers : génération d'images avec Stable Diffusion.
• 55:00Exemples de negative prompting et autres techniques.
• 1:00:00Utilisation de Hugging Face pour la classification d'images et la segmentation.
• 1:05:00Conclusion et applications futures des modèles de diffusion.

• MIT OpenCourseWare - 15.773 Hands-On Deep Learning — Page du cours, référence principale.
• Playlist YouTube du cours — Playlist des vidéos du cours.
• Support OCW — Lien de soutien à OCW.
• Politique de commentaires OCW — Règles de commentaires.
• Conditions d'utilisation OCW — Conditions d'utilisation.

• Denoising Diffusion Probabilistic Models — Papier fondateur des modèles de diffusion, cité implicitement.
• CLIP: Learning Transferable Visual Models From Natural Language Supervision — Papier présentant CLIP, mentionné dans le cours.
• High-Resolution Image Synthesis with Latent Diffusion Models — Papier sur les modèles de diffusion latente, mentionné implicitement.