CS 471/671 (How to grow language models) - #14 - Fall 2026

Valeur des informations & solidité de l’argumentation

La valeur des informations est élevée : le conférencier synthétise des résultats empiriques récents et des choix de design issus de modèles de référence (Llama, PaLM, GPT) avec précision. L’argumentation est solide, s’appuyant sur des comparaisons claires entre variantes (normalisation, biais, activations) et sur des données de performance chiffrées (5% de vitesse, 15% de parallélisme). Il adopte un esprit critique, signalant quand les gains ne sont pas statistiquement significatifs et quand les tendances de la communauté ne reposent pas sur des preuves robustes (ex. parallélisme). La valeur pédagogique est renforcée par des définitions mathématiques explicites, des schémas explicatifs et des questions-réponses permettant de clarifier des points techniques comme l’implémentation des biais.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est bonne : le cours cite explicitement des papiers comme PaLM pour justifier ses affirmations, et s’appuie sur des données expérimentales publiées pour la plupart des points. Cependant, certaines références sont mentionnées sans URL directe, et le conférencier reconnaît que plusieurs résultats (ex. gains d’activation) ne sont pas statistiquement significatifs, ce qui montre une nuance scientifique. Le titre du cours, ‘How to grow language models’, correspond bien au contenu : il s’agit de donner des recommandations pratiques pour dimensionner et entraîner des modèles, via l’analyse d’hyperparamètres et de structures. La adéquation est donc fidèle.

Le titre évoque la croissance des modèles de langage, et le contenu porte bien sur les choix architecturaux et hyperparamétriques pour l'entraînement de tels modèles.

8/10

Cours magistral académique fondé sur des sources scientifiques citées (papers), couvrant des aspects techniques précis avec recul critique sur les tendances.

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

• 00:00Introduction et rappel sur les normes (pre-norm, post-norm, etc.).
• 05:00Comparaison RMS norm vs layer norm : données empiriques (5% de throughput, loss plus faible) et tendances d'utilisation.
• 12:00Discussion sur les biais dans les couches FFN : justification de leur suppression et observations de PaLM.
• 24:00Présentation des fonctions d'activation : ReLU, GELU, Swish, et l'essor des activations gated.
• 32:00Explication détaillée des activations gated : équation, mécanisme de gating et gains de performance.
• 38:00Comparaison des blocs transformer parallèles vs séries : résultats de PaLM (vitesse +15%) et limites des preuves.
• 45:00Évocation des matrices d'embeddings et pistes de recherche pour les projets.

• Course website: Self-Supervised Learning (Fall 2026) — Page du cours où le matériel pédagogique et les références sont fournis.

• PaLM: Scaling Language Modeling with Pathways — Source citée dans le cours pour les gains de parallélisme (vitesse +15%) et la stabilité de l'optimisation sans biais.
• Llama 2: Open Foundation and Fine-Tuned Chat Models — Modèle ayant popularisé la RMS norm et les activations gated, confirmant les tendances décrites dans le cours.