
CS 471/671 (How to grow language models) - #19 - Fall 2026
CS 471/671 (Comment faire croître les modèles de langue) - #19 - Automne 2026
Historique des titres
- CS 471/671 (How to grow language models) - #19 - Fall 2026 — observé le 20261113-0017 UTC (YouTube)
Mots-clés
Résumé
153 mots
Évaluation critique
Valeur des informations & solidité de l’argumentation
La valeur du contenu est élevée : il fournit une explication pédagogique claire du policy gradient, en donnant à la fois la formule mathématique et son interprétation intuitive. L’argumentation est solide, structurée et progressive, avec une dérivation formelle présentée comme bonus. La discussion sur le reward hacking et la régularisation KL est pertinente et illustrée par des exemples concrets. La méthode d’enseignement encourage l’interaction, ce qui renforce la compréhension.
Rigueur scientifique, qualité des sources, adéquation du titre
La rigueur scientifique est exemplaire : le contenu est académique, précis et sans simplification excessive. Les seules sources mentionnées sont le site du cours (https://self-supervised.cs.jhu.edu/fa2026/ ), qui sert de référence pour le programme. L’adéquation du titre au contenu est parfaite, bien qu’il s’agisse d’un cours en anglais, le titre traduit en français reste fidèle. Aucun commentaire n’étant fourni, aucune tendance du public n’est analysée.
148 mots
Adéquation titre / contenu
Le titre correspond bien au contenu : il s'agit d'un cours sur l'entraînement des modèles de langage, se concentrant ici sur les techniques de post-entraînement.
Qualité & fiabilité
9/10
Cours universitaire de niveau master donné par une institution reconnue (JHU), présentant les concepts fondamentaux du RLHF de manière claire et structurée, avec une dérivation formelle du policy gradient et une analyse du reward hacking et de la régularisation par divergence KL. La qualité académique est indiscutable.
Moments clés
Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.
- Début du cours, rappel des concepts précédents (instruction tuning, apprentissage par renforcement).
- Explication de la fonction objective d'apprentissage par renforcement et de l'entraînement de la récompense.
- Introduction de l'algorithme du policy gradient, avec sa dérivation formelle (bonus).
- Intuition derrière le policy gradient et visualisation du cycle complet (échantillonnage, annotation, entraînement).
- Discussion sur le reward hacking et introduction de la régularisation par divergence KL.
Sources citées
- Site du cours CS 471/671 — Page officielle du cours, mentionnée dans la description et utilisée comme référence pour le contenu.
Apport & nouveautés
Ce cours apporte une explication pédagogique solide du policy gradient et du RLHF, en combinant rigueur mathématique et intuition, avec une attention particulière aux problèmes pratiques tels que le reward hacking et la régularisation. Il s’agit d’un contenu de formation universitaire, pas d’une recherche originale. Pour aller plus loin, on peut consulter les références classiques sur ces sujets.
Pour aller plus loin :
- Reinforcement learning from human feedback — Vue d’ensemble du RLHF, technique centrale de post-entraînement.
- Policy gradient — Méthode d’optimisation de politique par gradient, dont dérive le REINFORCE.
- Reward hacking — Problème d’exploitation des failles de la fonction de récompense.
- Kullback-Leibler divergence — Mesure de divergence utilisée pour la régularisation du modèle.
114 mots
Profil radar
Le profil radar montre une forte qualité d'information et une fiabilité élevée, avec un niveau technique soutenu, tandis que la quantité d'information est modérée (cours de 17 minutes). Le contenu est dense et spécialisé.