Stanford CS336 Language Modeling from Scratch | Spring 2026 | Lecture 15: Mid/Post-Training

Item: Stanford CS336 Language Modeling from Scratch | Spring 2026 | Lecture 15: Mid/Post-Training
Rating: 5
Author: PostSingularity Institute

par Percy Liang et Tatsunori Hashimoto

Sciences formelles & physiques IA — Modèles & Recherche UYQIntelligence artificielle (IA)UYQMApprentissage par la machine

🎙 Percy Liang et Tatsunori Hashimoto 👥 1.2M 📅 27 mai 2026 ⏱ 79 min 👁 19K 📄 cours magistral 🧭 2026-08-03

Disponible en : Français (actuel) English

Mots-clés

post-trainingSFTRLHFinstruction followingdonnées

Résumé

Cette leçon du cours CS336 de Stanford, intitulée « Mid/Post-Training », est présentée par Percy Liang et Tatsunori Hashimoto. Elle se concentre sur les techniques de post-entraînement qui permettent de passer d’un modèle de base comme GPT-3 à un assistant conversationnel de type ChatGPT. Le cours est structuré en deux parties principales : le fine-tuning supervisé (SFT) et l’apprentissage par renforcement à partir de feedback humain (RLHF). Les professeurs insistent sur l’importance cruciale des données dans ces processus, soulignant que les algorithmes sont relativement bien compris mais que la qualité et la collecte des données constituent le véritable défi. Ils passent en revue l’évolution des jeux de données SFT, depuis FLAN et Self-Instruct jusqu’aux approches plus récentes comme WizardLM et Tulu 3, en mettant en évidence les avantages et les limites de chacune. Ils abordent également les pièges de la collecte de données, notamment les problèmes de qualité, de biais et de diversité. La leçon se termine par une introduction au RLHF, en expliquant comment entraîner un modèle de récompense et utiliser l’optimisation par politique proximale (PPO) pour affiner le comportement du modèle. Les professeurs mentionnent que les détails précis des méthodes utilisées par les laboratoires de pointe sont souvent gardés secrets, ce qui limite la transparence. Ils recommandent la lecture de publications académiques comme « Learning to summarize from human feedback » et « Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback » pour approfondir le sujet.

242 mots

Évaluation critique

Cette conférence de Stanford offre une analyse approfondie et nuancée du post-entraînement des modèles de langage, un sujet crucial mais souvent opaque. Les professeurs Liang et Hashimoto, tous deux experts reconnus dans le domaine, présentent un contenu à la fois rigoureux et accessible, bien que destiné à un public ayant déjà des bases solides en apprentissage automatique. La valeur principale de cette leçon réside dans son insistance sur l’importance des données, un aspect souvent sous-estimé dans les discussions sur les grands modèles de langage. En détaillant l’évolution des jeux de données SFT, de FLAN à Tulu 3, ils montrent comment la communauté a progressivement compris que la qualité et la diversité des données sont plus déterminantes que la simple quantité. Ils soulignent également les défis pratiques de la collecte de données, tels que les biais, la difficulté de garantir la qualité des annotations, et le caractère souvent artisanal de ces processus. L’argumentation est solide, appuyée par des références à des travaux de recherche publiés et des exemples concrets. Cependant, on peut regretter que le cours ne fournisse pas plus de détails sur les méthodes spécifiques utilisées par les laboratoires de pointe, mais cela est compréhensible étant donné le caractère confidentiel de ces informations. La discussion sur le RLHF est bien structurée, mais elle reste relativement brève et aurait pu être approfondie, notamment en ce qui concerne les variantes récentes comme RLAIF ou les méthodes alternatives à PPO. L’adéquation entre le titre et le contenu est parfaite, et la présentation est claire et bien organisée. Dans l’ensemble, cette leçon constitue une excellente ressource pour quiconque souhaite comprendre les mécanismes du post-entraînement, à condition d’avoir déjà des connaissances en apprentissage automatique.

279 mots

Adéquation titre / contenu

Le titre est clair et correspond exactement au contenu : il s'agit bien de la 15e leçon du cours CS336, consacrée au post-entraînement (SFT/RLHF).

Qualité & fiabilité

8/10

Cours universitaire de Stanford, présenté par des professeurs reconnus, s'appuyant sur des références académiques et des travaux de recherche. Les informations sont précises et nuancées, mais certaines parties restent spéculatives ou incomplètes en raison du caractère propriétaire des méthodes des laboratoires.

Moments clés

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

Sources citées

Site du cours CS336 — Page officielle du cours, mentionnée pour le programme et les ressources.
Page d'inscription au cours en ligne — Lien vers la version en ligne du cours, mentionné dans la description.
Programmes d'IA de Stanford Online — Lien vers les programmes d'IA de Stanford, mentionné dans la description.
Playlist du cours — Playlist YouTube contenant toutes les leçons du cours.

Sources concordantes

Learning to summarize from human feedback — Article de référence sur le RLHF, mentionné dans la leçon comme source détaillée.
Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback — Article d'Anthropic sur le RLHF, mentionné dans la leçon.

Sources discordantes

Aucune source discordante identifiée — La leçon ne présente pas de controverses majeures ; les informations sont cohérentes avec la littérature académique.

Apport & nouveautés

Cette leçon apporte un éclairage précieux sur le post-entraînement des modèles de langage, un sujet souvent traité de manière superficielle. Elle met en avant l’importance cruciale des données, en retraçant l’évolution des jeux de données SFT et en soulignant les défis pratiques de leur collecte. Elle offre également une introduction claire au RLHF, en expliquant les concepts de modèle de récompense et d’optimisation par PPO. L’accent mis sur le caractère artisanal et empirique de ces méthodes contraste avec l’approche plus systématique du pré-entraînement, ce qui constitue une perspective rafraîchissante.

Pour aller plus loin :

Learning to summarize from human feedback — Article fondateur sur le RLHF, détaillant les méthodes et les défis.
Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback — Article d’Anthropic sur l’entraînement d’un assistant utile et inoffensif.
Self-Instruct: Aligning Language Models with Self-Generated Instructions — Article présentant l’approche Self-Instruct pour générer des données d’instruction.
Alpaca: A Strong, Replicable Instruction-Following Model — Page du Stanford CRFM décrivant le modèle Alpaca et sa méthode de distillation.
WizardLM: Empowering Large Language Models to Follow Complex Instructions — Article sur WizardLM et la génération de données d’instructions complexes.

191 mots

Profil radar

Le profil radar montre une excellente performance sur la quantité d'informations et le niveau technique, reflétant la richesse du contenu et son exigence. La qualité de l'information et la fiabilité sont également élevées, grâce à l'expertise des intervenants et aux références académiques. La note globale de 5 étoiles est justifiée par la pertinence et la rigueur du cours.

Fiabilité 8/10

💬 Sur les 0 commentaires analysés, aucune tendance n'a pu être dégagée.