Stanford CME295 Transformers & LLMs | Autumn 2026 | Lecture 4 - Reinforcement Learning with LLMs

Item: Stanford CME295 Transformers & LLMs | Autumn 2026 | Lecture 4 - Reinforcement Learning with LLMs
Rating: 5
Author: PostSingularity Institute

CME 295 cours 4

par Afshine Amidi et Shervine Amidi · Voir la chaîne sur PSI

Sciences formelles & physiques IA — Modèles & Recherche UYQIntelligence artificielle (IA)UYQMApprentissage par la machine

🎙 Afshine Amidi et Shervine Amidi 👥 1.3M 📅 19 octobre 2026 ⏱ 103 min 👁 12K 📄 tutoriel 🧭 2026-10-20

Disponible en : Français (actuel) English

Mots-clés

RLHFPolicy GradientPPOGRPOImportance Sampling

Résumé

Cette leçon du cours Stanford CME295 présente les méthodes d’apprentissage par renforcement (RL) pour l’entraînement des grands modèles de langage (LLM). Elle commence par un rappel des étapes de pré-entraînement et de fine-tuning supervisé, puis introduit le cadre RL où un agent (le LLM) interagit avec un environnement en recevant des récompenses. Les deux types de récompenses sont détaillés : celles basées sur les préférences humaines (RLHF) via le modèle de Bradley-Terry, et celles vérifiables (RLVR) pour des tâches de raisonnement. La leçon dérive mathématiquement le gradient de politique, présentant l’astuce du log et le REINFORCE, ainsi que l’importance sampling pour réduire le coût de génération. Les défis du RL naïf sont analysés : variance élevée, absence de crédit temporel, et risque de reward hacking. Pour y remédier, PPO est introduit avec le clipping du ratio, la fonction de valeur et l’avantage. La connexion avec DPO est expliquée, puis GRPO est présenté comme alternative sans critique, avec ses limitations, et enfin des variantes comme DAPO et l’OPD sont évoquées. La leçon se termine sur des méthodes de distillation on-policy.

179 mots

Évaluation critique

Valeur des informations & solidité de l’argumentation

La valeur de cette leçon réside dans son explication rigoureuse et intuitive des concepts fondamentaux du RL appliqué aux LLM. Les démonstrations mathématiques sont claires, avec une progression logique des bases (gradient de politique) jusqu’aux méthodes avancées (GRPO, OPD). L’argumentation est solide : chaque méthode est justifiée par les limitations de la précédente, et des exemples concrets (comme l’histoire de Teddy) illustrent les points complexes. La distinction entre génération et évaluation, et l’introduction de l’importance sampling pour l’efficacité, sont bien argumentées. Les défis du RL (variance, crédit temporel, reward hacking) sont exposés avec des exemples parlants, renforçant la compréhension des solutions proposées.

Rigueur scientifique, qualité des sources, adéquation du titre

Le contenu est rigoureux sur le plan scientifique, avec des dérivations formelles et des références aux méthodes de la littérature (PPO, DPO, GRPO). La qualité des sources est élevée : il s’agit d’un cours académique de Stanford, et les conférenciers sont des professeurs adjoints. Le syllabus est accessible via le lien fourni, et la playlist permet de suivre le cours entier. L’adéquation entre le titre et le contenu est parfaite : la leçon traite exclusivement des méthodes d’apprentissage par renforcement pour les LLM, avec le niveau de mathématiques annoncé.

206 mots

Adéquation titre / contenu

Le titre reflète exactement le contenu : une leçon sur l'apprentissage par renforcement pour les LLM.

Qualité & fiabilité

9/10

Conférence universitaire de Stanford, méthodologie rigoureuse, démonstrations mathématiques, sources citées.

Chapitres

Sources citées

Syllabus du cours CME295 — Lien vers le programme détaillé du cours, mentionné dans la description de la vidéo.
Stanford Online Graduate Education — Page générale des programmes diplômants de Stanford, citée comme référence.
Playlist du cours sur YouTube — Playlist contenant toutes les leçons du cours, accessible depuis la description.

Apport & nouveautés

La leçon offre une synthèse claire et à jour des méthodes de RL pour LLM, en reliant des concepts souvent éparpillés. Son apport original est de structurer l’évolution des méthodes (de REINFORCE à GRPO, en passant par PPO et DPO) avec une approche pédagogique qui met l’accent sur l’intuition et les défis pratiques. Elle met en lumière des variantes récentes comme DAPO et l’OPD, rarement couvertes dans les cours universitaires.

Pour aller plus loin :

Proximal Policy Optimization Algorithms — Référence fondatrice de PPO, directement liée à la section sur PPO.
Direct Preference Optimization: Your Language Model is Secretly a Reward Model — Détaille le DPO, mentionné dans la connexion avec DPO.
DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models — Présente le GRPO, méthode centrale de la fin de la leçon.

135 mots

Profil radar

Le profil radar montre un contenu très dense en information, une qualité et une fiabilité élevées, et un niveau technique avancé. La quantité d'information compense le niveau technique, mais pourrait être difficile pour un public non initié.

Fiabilité 9/10