Stanford CS229 Machine Learning | Spring 2026 | Lecture 12: Representation Learning

Ce cours magistral de Stanford offre une présentation rigoureuse et détaillée des modèles de diffusion, un sujet central en apprentissage automatique moderne. La valeur des informations est élevée : les dérivations mathématiques sont présentées avec précision, et le professeur prend soin de relier les concepts à la pratique, par exemple en expliquant comment la perte est simplifiée dans les implémentations réelles. La solidité de l’argumentation est bonne, même si certaines étapes de calcul sont survolées ou omises, ce qui peut rendre la compréhension difficile pour ceux qui ne maîtrisent pas déjà les bases. La rigueur scientifique est exemplaire, avec des références implicites à la littérature (bien que non citées explicitement dans la vidéo). Les sources mentionnées dans la description (site du cours, programme Stanford AI) sont fiables et institutionnelles. L’adéquation entre le titre et le contenu est partielle : le titre annonce ‘Representation Learning’, mais la majeure partie de la conférence traite des modèles de diffusion, qui sont un type de modèle génératif, et seulement brièvement des modèles de fondation. Cela dit, la notion de représentation est sous-jacente, car les modèles de diffusion apprennent des représentations latentes. Le niveau technique est avancé, destiné à des étudiants en master ou doctorat. La qualité audio est parfois dégradée, avec des hésitations et des répétitions, ce qui peut nuire à la clarté. Dans l’ensemble, ce cours est une ressource précieuse pour qui souhaite approfondir les modèles de diffusion, mais il nécessite un bon bagage en probabilités et en apprentissage automatique.

Le titre annonce un cours sur l'apprentissage de représentations, mais le contenu se concentre sur les modèles de diffusion et introduit les modèles de fondation. L'adéquation est partielle.

8/10

Cours universitaire de niveau master, dispensé par des professeurs de Stanford, avec une rigueur mathématique élevée. Les dérivations sont présentées de manière détaillée, mais certaines étapes sont omises ou survolées, et la qualité audio est parfois dégradée.

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

• 00:00Introduction et plan du cours : fin des modèles de diffusion, puis modèles de fondation, LLM, RL, robotique.
• 02:00Rappel du modèle de diffusion : processus avant et arrière, paramétrisation.
• 05:00Dérivation de la borne inférieure de la vraisemblance (ELBO) et simplification de la perte.
• 10:00Discussion sur les termes de la perte et leur unification pour tous les pas de temps.
• 15:00Interprétation de la perte : reconstruction de la moyenne conditionnelle par interpolation linéaire.
• 20:00Implémentation pratique : échantillonnage de XT, calcul de la perte et rétropropagation.
• 25:00Reparamétrisation de la perte pour simplifier l'implémentation.
• 30:00Transition vers les modèles de fondation et les grands modèles de langage.

• CS229 Machine Learning - Spring 2026 — Site officiel du cours, mentionné dans la description pour les supports et le syllabus.
• Stanford Artificial Intelligence Professional and Graduate Programs — Lien vers les programmes d'IA de Stanford, mentionné dans la description.

• Denoising Diffusion Probabilistic Models — L'article de référence qui formalise les modèles de diffusion et la perte simplifiée.