Stanford CME296 Diffusion & Large Vision Models | Spring 2026 | Lecture 2 - Score matching

Item: Stanford CME296 Diffusion & Large Vision Models | Spring 2026 | Lecture 2 - Score matching
Rating: 4
Author: PostSingularity Institute

par Afshine Amidi et Shervine Amidi

Sciences formelles & physiques IA — Modèles & Recherche UYQIntelligence artificielle (IA)UYQFIntelligence artificielle générative

🎙 Afshine Amidi et Shervine Amidi 👥 1.2M 📅 14 avril 2026 ⏱ 108 min 👁 23K 📄 cours magistral 🧭 2026-08-06

Disponible en : Français (actuel) English

Mots-clés

score matchingdenoising score matchingLangevin dynamicsSDEdiffusion

Résumé

Cette deuxième leçon du cours CME296 de Stanford, intitulée ‘Score matching’, présente une alternative au paradigme de diffusion DDPM vu précédemment. L’objectif est de générer des échantillons à partir d’une distribution de données inconnue. La méthode repose sur l’estimation du score, c’est-à-dire le gradient du logarithme de la densité de probabilité. Le cours justifie l’utilisation du score plutôt que du gradient de la densité, car il est tractable (la constante de normalisation disparaît) et plus stable numériquement. Pour échantillonner, on utilise la dynamique de Langevin, qui combine le score et un terme stochastique pour explorer l’espace. L’estimation du score est difficile car la vraie distribution est inconnue ; le cours passe en revue des méthodes historiques (implicit score matching, sliced score matching) puis se concentre sur le denoising score matching (DSM), qui consiste à estimer le score d’une distribution gaussienne bruitée. Le DSM présente des limites, notamment en régions de faible densité, ce qui motive l’introduction des Noise Conditional Score Networks (NCSN) et de l’annealed Langevin dynamics. Le cours établit ensuite un parallèle entre DDPM et le score matching, puis dérive une formulation en équations différentielles stochastiques (SDE) et en équations différentielles ordinaires (EDO) pour l’inférence, avec des solveurs comme Euler-Maruyama et DPM-Solver.

203 mots

Évaluation critique

Cette leçon constitue une introduction rigoureuse et pédagogique au score matching, une méthode fondamentale pour les modèles de diffusion. Les points forts incluent la clarté de l’exposé, la progression logique des concepts, et l’utilisation d’analogies et d’exemples concrets. Les dérivations mathématiques sont présentées de manière accessible, avec des justifications intuitives. La discussion des limites du denoising score matching est particulièrement pertinente, car elle motive l’introduction de techniques plus avancées comme les NCSN et l’annealed Langevin dynamics. La comparaison avec DDPM aide à situer le score matching dans le paysage des méthodes de génération. Cependant, certains points pourraient être approfondis : la dérivation de la dynamique de Langevin est seulement mentionnée, et les aspects pratiques de l’implémentation (choix des hyperparamètres, stabilité numérique) ne sont pas détaillés. De plus, le cours ne fournit pas d’exemples de résultats expérimentaux, ce qui limite l’évaluation de l’efficacité des méthodes. La qualité des sources est bonne, avec des références à des articles fondateurs, mais elles ne sont pas systématiquement citées dans la vidéo. L’adéquation entre le titre et le contenu est parfaite. Dans l’ensemble, cette leçon est une excellente ressource pour les étudiants et les chercheurs souhaitant comprendre les fondements théoriques du score matching, bien qu’elle nécessite des compléments pour une mise en pratique complète.

209 mots

Adéquation titre / contenu

Le titre décrit précisément le contenu : il s'agit bien de la deuxième leçon du cours CME296, consacrée au score matching.

Qualité & fiabilité

8/10

Cours universitaire de niveau master, présenté par des enseignants de Stanford, avec une structure pédagogique claire et des dérivations mathématiques rigoureuses. Les concepts sont introduits progressivement et les limites des méthodes sont discutées. La fiabilité est élevée, mais le format de cours ne fournit pas de validation expérimentale détaillée.

Chapitres

Sources citées

Syllabus du cours CME296 — Programme et ressources du cours, mentionné dans la description.
Page du cours CME296 sur Stanford Online — Page officielle du cours, mentionnée dans la description.
Programmes de troisième cycle de Stanford Online — Information sur les programmes de graduate education, mentionnée dans la description.
Playlist du cours CME296 — Playlist des vidéos du cours, mentionnée dans la description.

Sources concordantes

Denoising Score Matching — Article de Vincent (2011) qui introduit le denoising score matching, méthode centrale de la leçon.
Generative Modeling by Estimating Gradients of the Data Distribution — Article de Song et Ermon (2019) qui présente les NCSN et l'annealed Langevin dynamics.
Score-Based Generative Modeling through Stochastic Differential Equations — Article de Song et al. (2021) qui formalise le score matching via les SDE.

Apport & nouveautés

Cette leçon apporte une explication claire et structurée du score matching, en le reliant aux modèles de diffusion et en présentant les développements récents comme les SDE et les solveurs d’EDO. Elle met l’accent sur les motivations et les limites des approches, ce qui est précieux pour la compréhension.

Pour aller plus loin :

Denoising Score Matching — Article fondateur de Vincent (2011) sur le denoising score matching.
Sliced Score Matching — Méthode alternative pour estimer le score.
Generative Modeling by Estimating Gradients of the Data Distribution — Article de Song et Ermon (2019) sur les NCSN et l’annealed Langevin dynamics.
Score-Based Generative Modeling through Stochastic Differential Equations — Article de Song et al. (2021) sur la formulation SDE.
DPM-Solver — Solveur rapide pour les modèles de diffusion.

128 mots

Profil radar

Le profil radar montre des scores élevés en quantité d'information et en niveau technique, reflétant la densité du contenu et son exigence mathématique. La qualité de l'information et la fiabilité sont également bonnes, mais légèrement inférieures, probablement en raison du format de cours qui ne fournit pas de validation expérimentale.

Fiabilité 8/10