CS 471/671 (How to grow language models) - #20 - Fall 2026

CS 471/671 (How to grow language models) - #20 - Fall 2026

CS 471/671 (Comment faire croître les modèles de langage) - #20 - Automne 2026

Historique des titres
  • CS 471/671 (How to grow language models) - #20 - Fall 2026 — observé le 20261113-0838 UTC (YouTube)
🎙 Center for Language & Speech Processing (CLSP), JHU 👥 4K 📅 13 novembre 2026 ⏱ 39 min 👁 17 📄 tutoriel 🧭 2026-11-13
Disponible en : Français (actuel) English

Mots-clés

policy gradientRLHFKL divergenceGRPOoff-policy

Résumé

Ce cours aborde en détail la méthode du gradient de politique (policy gradient) pour l’entraînement de modèles de langage par renforcement, en partant des bases jusqu’aux évolutions récentes. Le professeur rappelle tout d’abord le principe du RLHF (apprentissage par renforcement avec retour humain) : on collecte des annotations humaines pour entraîner une fonction de récompense, puis on optimise la politique par gradient pondéré par cette récompense, tout en ajoutant une régularisation par divergence KL avec un modèle de référence. Il définit formellement la divergence de Kullback-Leibler, explique son interprétation pour les distributions de tokens, puis introduit la notion d’avantage pour réduire la variance des estimations de gradient. Ensuite, il propose plusieurs modifications pour passer du RLHF classique à l’algorithme GRPO (Group Relative Policy Optimization) utilisé par DeepSeek : permettre des raisonnements intermédiaires (tokens de pensée), utiliser des récompenses verificatrices (programmes), normaliser les récompenses en avantages, et surtout élaborer des mises à jour off-policy. Il souligne le coût élevé des longs rollouts et introduit l’importance weighting pour corriger le biais dû à l’utilisation d’une politique obsolète. Le cours se conclut sur la présentation de l’algorithme corrigé et ses implications pratiques.

189 mots

Évaluation critique

Valeur des informations & solidité de l’argumentation

Le cours apporte une valeur pédagogique certaine en décomposant des concepts complexes du RLHF et en les reliant aux algorithmes de pointe comme GRPO. L’argumentation est solide : les motivations de chaque modification sont clairement exposées, avec des justifications mathématiques (importance weighting, divergence KL) et des exemples concrets (fonctions de récompense Python issues de DeepSeek). Le professeur souligne également les limites (récompense hacks) et les contraintes pratiques (coût des rollouts), ce qui renforce la crédibilité du propos.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est élevée : le cours est structuré, les définitions sont précises, et les références (DeepSeek V2, GPT-4, etc.) sont utilisées à bon escient. Les sources mentionnées sont implicites, mais la description renvoie au site du cours (https://self-supervised.cs.jhu.edu/fa2026/ ) qui contient probablement les supports et références détaillées. L’adéquation entre le titre et le contenu est parfaite : le cours développe effectivement la question de la croissance des modèles de langage via les techniques de renforcement.

169 mots

Adéquation titre / contenu

Le titre indique clairement qu'il s'agit d'un cours sur la croissance des modèles de langage, et le contenu correspond exactement, en développant l'aspect algorithmique de l'entraînement.

Qualité & fiabilité

8/10

Cours magistral universitaire dispensé par un centre de recherche reconnu, couvrant des concepts fondamentaux et avancés en apprentissage par renforcement pour les modèles de langage. Le contenu est structuré, rigoureux et illustré d'exemples concrets, mais ne fait pas l'objet d'une évaluation par les pairs.

Moments clés

Sources citées

Apport & nouveautés

L’apport original de ce cours réside dans la progression pédagogique qui relie les concepts classiques du RLHF (gradient de politique, divergence KL) aux techniques modernes comme GRPO. Il met en lumière l’importance de l’importance weighting pour les mises à jour off-policy et discute les compromis liés au coût des rollouts. Il offre une synthèse claire des dernières avancées en optimisant les modèles de langage par renforcement.

Pour aller plus loin :

126 mots

Profil radar

Le profil radar montre des scores élevés et équilibrés sur tous les axes (quantité, qualité, niveau technique, fiabilité), reflétant un contenu dense et rigoureux, adapté à un public averti. La fiabilité est légèrement inférieure à la quantité, ce qui est normal pour un cours magistral non publié.

Fiabilité 8/10