Stanford CS229 Machine Learning | Spring 2026 | Lecture 16: Basic Concept in RL, Policy Gradient

Le cours est d’une grande qualité pédagogique, typique des enseignements de Stanford. Le professeur Chris Ré explique avec clarté les mécanismes d’attention, en s’appuyant sur des schémas et des équations. La présentation de la Group Query Attention est particulièrement bien faite, avec une explication intuitive et une formalisation mathématique. Les motivations pratiques (limitations mémoire, efficacité GPU) sont bien exposées, ce qui ancre le propos dans des considérations d’ingénierie réelles. Cependant, le titre de la vidéo est trompeur : il annonce une introduction au RL et au Policy Gradient, mais ces sujets ne sont qu’effleurés en toute fin de cours, sur moins de cinq minutes. La majeure partie de la vidéo est consacrée à l’attention et aux transformers, ce qui peut décevoir les spectateurs intéressés spécifiquement par le RL. De plus, le cours suppose une certaine familiarité avec les concepts d’apprentissage automatique, ce qui le rend moins accessible aux débutants. Les sources citées sont principalement les ressources officielles du cours, ce qui est cohérent. En résumé, le contenu est rigoureux et instructif, mais l’adéquation titre-contenu est imparfaite, ce qui justifie une note globale de 4 étoiles.

Le titre annonce une introduction aux concepts de base du RL et au Policy Gradient, mais la vidéo traite principalement de l'attention multi-têtes et de la Group Query Attention, avec une brève mention du RL en fin de cours. L'adéquation est partielle.

8/10

Cours magistral de niveau universitaire (Stanford CS229) dispensé par des professeurs reconnus. Le contenu est structuré, précis et s'appuie sur des concepts établis en apprentissage automatique. Les explications sont rigoureuses et les formules sont présentées avec soin. La fiabilité est élevée, bien que le format oral puisse introduire des imprécisions mineures.

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

• 00:00Introduction et rappel du plan du cours : attention, transformers, few-shot learning, SFT, et introduction au RL.
• 02:00Rappel de l'architecture du transformer : matrices Q, K, V, attention multi-têtes, masque de causalité.
• 10:00Discussion sur les défis mémoire et calcul : KV cache, limitation de la taille de batch, MFU.
• 15:00Introduction à la Group Query Attention (GQA) : motivation, principe de partage des clés/valeurs, comparaison avec l'attention multi-têtes standard.
• 30:00Formalisation mathématique de la GQA : équations pour le mapping des requêtes vers les groupes de clés.
• 40:00Discussion sur d'autres sujets liés aux transformers : few-shot learning, in-context learning, zero-shot learning.
• 50:00Introduction au fine-tuning supervisé (SFT) et à d'autres techniques d'adaptation des grands modèles de langage.
• 1:00:00Début de la section sur l'apprentissage par renforcement : concepts de base, politique, récompense.
• 1:10:00Introduction au Policy Gradient : principe, gradient de la politique, et lien avec l'optimisation.

• CS229 Course Website (Spring 2026) — Page officielle du cours CS229, contenant le syllabus, les supports de cours et les informations sur l'équipe enseignante.
• Stanford Artificial Intelligence Professional and Graduate Programs — Lien vers les programmes professionnels et diplômants en intelligence artificielle de Stanford, mentionné dans la description de la vidéo.

• Attention Is All You Need — Article fondateur des transformers, qui décrit l'architecture d'attention multi-têtes et sert de base aux explications du cours.
• Group Query Attention — Article de recherche présentant la GQA, une technique mentionnée dans le cours pour réduire la mémoire du cache KV.