Score-Based Generative Modeling without Diffusion: Langevin MCMC All the Way

L’exposé de Saeed Saremi est d’une grande rigueur scientifique. Il s’appuie sur des fondements mathématiques solides, notamment les travaux fondateurs de Robbins et la formule de Tweedie, qu’il relie habilement aux approches modernes de modélisation générative. La démonstration de l’estimation du score via l’empirical Bayes est claire et bien motivée. L’idée de réduire le bruit par accumulation de mesures bruitées est originale et ouvre des perspectives intéressantes. L’argumentation est solide, même si certaines parties restent conceptuelles et mériteraient des développements plus formels. La qualité des sources est bonne, avec des références historiques et des travaux récents. L’adéquation entre le titre et le contenu est parfaite. On peut toutefois regretter que l’exposé ne présente pas d’expériences numériques détaillées, ce qui limite la validation empirique des idées avancées. De plus, la discussion sur les extensions pour données discrètes est trop brève. Malgré ces réserves, la contribution est significative et stimulante pour la recherche. La présentation s’adresse à un public spécialisé, mais la clarté de l’exposé permet de suivre les idées principales. Les échanges avec le public montrent une interactivité enrichissante. En résumé, une conférence de haute qualité, à la fois pédagogique et novatrice.

Le titre reflète parfaitement le contenu : l'exposé porte sur la génération par score sans diffusion, en utilisant Langevin MCMC à niveau de bruit fixe.

8/10

Exposé technique rigoureux par un chercheur reconnu, s'appuyant sur des fondements mathématiques solides (Robbins, Tweedie) et des travaux récents. Les démonstrations sont claires et les limites sont discutées. La présentation est destinée à un public spécialisé, mais la rigueur est exemplaire.

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

• 00:00Introduction : problème de modélisation générative, complexité des distributions, paramétrisation par réseaux de neurones.
• 03:00Rappel des approches probabilistes : modèles à base d'énergie, méthodes variationnelles, score matching.
• 07:00Présentation des travaux de Herbert Robbins sur l'empirical Bayes et le problème de débruitage sans données propres.
• 10:00Exemple du débruitage de Poisson : obtention d'une formule de score simple, sans connaître la constante de normalisation.
• 13:00Extension au cas gaussien : formule de Tweedie, lien avec le score de la distribution bruitée.
• 16:00Transposition au cadre de l'apprentissage : ajout de bruit aux données propres, apprentissage du score, échantillonnage de Langevin.
• 20:00Présentation du 'walk-jump sampling' : échantillonnage dans l'espace bruité puis débruitage.
• 25:00Discussion sur la réduction du bruit par accumulation de mesures et la garantie de log-concavité.
• 30:00Extensions pour données discrètes et lien avec les modèles de diffusion discrets.
• 35:00Conclusion et perspectives.

• Page de la conférence Simons Institute — Page officielle de la conférence, avec description et éventuellement diapositives.

• Page de la conférence Simons Institute — Page officielle de la conférence, avec description et éventuellement diapositives.