
CS 471/671 (How to grow language models) - #20 - Fall 2026
CS 471/671 (Comment faire croître les modèles de langage) - #20 - Automne 2026
Historique des titres
- CS 471/671 (How to grow language models) - #20 - Fall 2026 — observé le 20261113-0838 UTC (YouTube)
Mots-clés
Résumé
189 mots
Évaluation critique
Valeur des informations & solidité de l’argumentation
Le cours apporte une valeur pédagogique certaine en décomposant des concepts complexes du RLHF et en les reliant aux algorithmes de pointe comme GRPO. L’argumentation est solide : les motivations de chaque modification sont clairement exposées, avec des justifications mathématiques (importance weighting, divergence KL) et des exemples concrets (fonctions de récompense Python issues de DeepSeek). Le professeur souligne également les limites (récompense hacks) et les contraintes pratiques (coût des rollouts), ce qui renforce la crédibilité du propos.
Rigueur scientifique, qualité des sources, adéquation du titre
La rigueur scientifique est élevée : le cours est structuré, les définitions sont précises, et les références (DeepSeek V2, GPT-4, etc.) sont utilisées à bon escient. Les sources mentionnées sont implicites, mais la description renvoie au site du cours (https://self-supervised.cs.jhu.edu/fa2026/ ) qui contient probablement les supports et références détaillées. L’adéquation entre le titre et le contenu est parfaite : le cours développe effectivement la question de la croissance des modèles de langage via les techniques de renforcement.
169 mots
Adéquation titre / contenu
Le titre indique clairement qu'il s'agit d'un cours sur la croissance des modèles de langage, et le contenu correspond exactement, en développant l'aspect algorithmique de l'entraînement.
Qualité & fiabilité
8/10
Cours magistral universitaire dispensé par un centre de recherche reconnu, couvrant des concepts fondamentaux et avancés en apprentissage par renforcement pour les modèles de langage. Le contenu est structuré, rigoureux et illustré d'exemples concrets, mais ne fait pas l'objet d'une évaluation par les pairs.
Moments clés
Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.
- Introduction et rappel du gradient de politique, annotations humaines et fonction de récompense.
- Définition de la divergence KL et son intuition avec des gaussiennes.
- Application de la KL aux modèles de langage : comparaison entre politiques sur les tokens.
- Discussion sur la différenciabilité des récompenses et le rôle du gradient de politique.
- Motivations pour passer au GRPO : récompenses verificatrices, avantages, et raisonnement.
- Détails sur les fonctions de récompense Python (DeepSeek) et l'avantage (baseline).
- Coût des longs rollouts et passage à l'apprentissage off-policy.
- Introduction de l'importance weighting pour corriger le biais de politique.
- Présentation de l'algorithme GRPO corrigé avec politique de référence et multi-étapes.
Sources citées
- Cours CS 471/671 - Self-Supervised Learning (JHU) — Page du cours contenant les supports pédagogiques et références associées.
Apport & nouveautés
L’apport original de ce cours réside dans la progression pédagogique qui relie les concepts classiques du RLHF (gradient de politique, divergence KL) aux techniques modernes comme GRPO. Il met en lumière l’importance de l’importance weighting pour les mises à jour off-policy et discute les compromis liés au coût des rollouts. Il offre une synthèse claire des dernières avancées en optimisant les modèles de langage par renforcement.
Pour aller plus loin :
- Policy gradient theorem — Référence de base sur les méthodes de gradient de politique.
- Reinforcement learning from human feedback — Vue d’ensemble du RLHF et ses variantes.
- Kullback-Leibler divergence — Définition mathématique et propriétés de la divergence KL.
- GRPO (Group Relative Policy Optimization) — concept émergent, souvent lié aux modèles DeepSeek, sans URL stable garantie.
126 mots
Profil radar
Le profil radar montre des scores élevés et équilibrés sur tous les axes (quantité, qualité, niveau technique, fiabilité), reflétant un contenu dense et rigoureux, adapté à un public averti. La fiabilité est légèrement inférieure à la quantité, ce qui est normal pour un cours magistral non publié.