CS 471/671 (How to grow language models) - #19 - Fall 2026

CS 471/671 (How to grow language models) - #19 - Fall 2026

CS 471/671 (Comment faire croître les modèles de langue) - #19 - Automne 2026

Historique des titres
  • CS 471/671 (How to grow language models) - #19 - Fall 2026 — observé le 20261113-0017 UTC (YouTube)
🎙 Center for Language & Speech Processing (CLSP), JHU 👥 4K 📅 13 novembre 2026 ⏱ 17 min 👁 2 📄 tutoriel 🧭 2026-11-13
Disponible en : Français (actuel) English

Mots-clés

apprentissage par renforcementRLHFpolicy gradientrécompenserégularisation

Résumé

Ce cours de l’Université Johns Hopkins, destiné aux étudiants de master, traite des méthodes de post-entraînement des grands modèles de langage. L’instructeur commence par un rappel des notions d’instruction tuning et d’apprentissage par renforcement déjà abordées. Il rappelle l’objectif de maximisation de la récompense attendue pour les réponses échantillonnées, puis explique comment entraîner une fonction de récompense à partir de préférences humaines. Il introduit ensuite l’algorithme du policy gradient, en dérivant formellement l’équation clé, et explique son intuition : augmenter la probabilité des réponses qui obtiennent une récompense élevée et diminuer celle des réponses moins appréciées. Il soulève le problème du reward hacking, où le modèle exploite les failles de la fonction de récompense imparfaite, et propose une solution : ajouter un terme de régularisation pénalisant la divergence (KL) entre le modèle entraîné et un modèle de référence. La discussion inclut des échanges avec les étudiants sur l’efficacité et la dérive du modèle.

153 mots

Évaluation critique

Valeur des informations & solidité de l’argumentation

La valeur du contenu est élevée : il fournit une explication pédagogique claire du policy gradient, en donnant à la fois la formule mathématique et son interprétation intuitive. L’argumentation est solide, structurée et progressive, avec une dérivation formelle présentée comme bonus. La discussion sur le reward hacking et la régularisation KL est pertinente et illustrée par des exemples concrets. La méthode d’enseignement encourage l’interaction, ce qui renforce la compréhension.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est exemplaire : le contenu est académique, précis et sans simplification excessive. Les seules sources mentionnées sont le site du cours (https://self-supervised.cs.jhu.edu/fa2026/ ), qui sert de référence pour le programme. L’adéquation du titre au contenu est parfaite, bien qu’il s’agisse d’un cours en anglais, le titre traduit en français reste fidèle. Aucun commentaire n’étant fourni, aucune tendance du public n’est analysée.

148 mots

Adéquation titre / contenu

Le titre correspond bien au contenu : il s'agit d'un cours sur l'entraînement des modèles de langage, se concentrant ici sur les techniques de post-entraînement.

Qualité & fiabilité

9/10

Cours universitaire de niveau master donné par une institution reconnue (JHU), présentant les concepts fondamentaux du RLHF de manière claire et structurée, avec une dérivation formelle du policy gradient et une analyse du reward hacking et de la régularisation par divergence KL. La qualité académique est indiscutable.

Moments clés

Sources citées

  • Site du cours CS 471/671 — Page officielle du cours, mentionnée dans la description et utilisée comme référence pour le contenu.

Apport & nouveautés

Ce cours apporte une explication pédagogique solide du policy gradient et du RLHF, en combinant rigueur mathématique et intuition, avec une attention particulière aux problèmes pratiques tels que le reward hacking et la régularisation. Il s’agit d’un contenu de formation universitaire, pas d’une recherche originale. Pour aller plus loin, on peut consulter les références classiques sur ces sujets.

Pour aller plus loin :

114 mots

Profil radar

Le profil radar montre une forte qualité d'information et une fiabilité élevée, avec un niveau technique soutenu, tandis que la quantité d'information est modérée (cours de 17 minutes). Le contenu est dense et spécialisé.

Fiabilité 9/10