CS 471/671 (How to grow language models) - #17 - Fall 2026

CS 471/671 (How to grow language models) - #17 - Fall 2026

CS 471/671 (Comment faire grandir les modèles de langage) - n°17 - Automne 2026

Historique des titres
  • CS 471/671 (How to grow language models) - #17 - Fall 2026 — observé le 20261105-2038 UTC (YouTube)

par Center for Language & Speech Processing (CLSP), JHU · Voir la chaîne sur PSI

Sciences formelles & physiques IA — Modèles & Recherche UYQIntelligence artificielle (IA)UYQFIntelligence artificielle générative
🎙 Center for Language & Speech Processing (CLSP), JHU 👥 4K 📅 2 novembre 2026 ⏱ 47 min 👁 146 📄 tutoriel 🧭 2026-11-05
Disponible en : Français (actuel) English

Mots-clés

pré-entraînementtaille de lotaccumulation de gradientsepochsstabilité d'entraînement

Résumé

Ce cours du CLSP de JHU, destiné à des étudiants en informatique, aborde les aspects pratiques de la croissance des modèles de langage. L’enseignant commence par discuter de l’importance du choix du batch size, soulignant qu’une taille trop élevée peut entraîner des rendements décroissants. Il introduit le concept d’accumulation de gradients pour simuler de grands batchs avec une seule GPU, puis explique comment l’effectuer en parallèle sur plusieurs GPU. Il analyse ensuite l’impact du batch size sur l’entraînement, citant des tendances observées (tokens par batch, data total) et recommandant d’augmenter la taille du lot au cours de l’entraînement. La notion de packing de documents pour réduire le gaspillage de calcul est présentée, ainsi que les questions de masking entre documents. Le cours traite des epochs : la pratique courante de n’utiliser qu’un seul passage sur les données évolue vers plusieurs passages (jusqu’à 4) quand le calcul est abondant. La stabilité de l’entraînement est un point clé : des pics de loss peuvent survenir et nécessitent une surveillance constante, avec des exemples comme des documents anormaux (suite de ’m’). Enfin, l’adaptation des modèles pré-entraînés est introduite via le fine-tuning supervisé, avec une définition de tâche comme mapping entrée-sortie.

197 mots

Évaluation critique

Valeur des informations & solidité de l’argumentation

La valeur des informations est élevée : le cours fournit des recommandations pratiques basées sur des observations empiriques et des travaux récents (comme le modèle DeepSeek). L’argumentation est claire, progressive, et s’appuie sur des exemples concrets (le cas des documents de ’m’, les graphiques de loss). L’enseignant expose les compromis et les questions ouvertes, ce qui renforce la crédibilité de l’exposé. La démonstration du code PyTorch pour l’accumulation de gradients est didactique et facilite la compréhension.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est satisfaisante pour un cours : les concepts sont expliqués avec précision et les références à la littérature existante (DeepSeek, BERT) sont mentionnées, bien qu’elles ne soient pas systématiquement accompagnées d’URLs. La qualité des sources est inégale : le cours ne fournit qu’un lien vers la page du module, ce qui limite la vérifiabilité. L’adéquation titre/contenu est parfaite : le titre annonce clairement une formation sur la croissance des modèles de langage, et le contenu couvre exactement cela. Aucun commentaire n’a été fourni, donc aucune analyse des tendances du public n’est possible.

186 mots

Adéquation titre / contenu

Le titre 'How to grow language models' correspond parfaitement au contenu, qui traite des aspects pratiques et empiriques de l'entraînement et de l'adaptation de modèles de langage.

Qualité & fiabilité

8/10

Cours universitaire technique dispensé par un expert, avec des explications précises sur les pratiques d'entraînement des grands modèles de langage. Les références restent implicites ou limitées, mais le contenu est cohérent et fondé sur des observations empiriques.

Moments clés

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

Sources citées

Apport & nouveautés

Ce cours offre une vue d’ensemble pratique et à jour des techniques d’entraînement des grands modèles de langage, en mettant l’accent sur des aspects rarement couverts dans les cours traditionnels : l’accumulation de gradients, le packing, et la gestion de la stabilité. Il apporte des recommandations concrètes issues de l’expérience et de la littérature récente (comme l’évolution des epochs). Il souligne également les questions ouvertes, ce qui invite à la réflexion critique.

Pour aller plus loin :

  • Scaling laws for neural language models — Note de pertinence : relie les choix de taille de lot et d’échelle aux lois empiriques de mise à l’échelle.
  • Gradient accumulation in deep learning — Note de pertinence : explique en détail les mécanismes et raisons de l’accumulation de gradients, sans garantie d’URL exacte à vérifier.
  • The DeepSeek paper — Note de pertinence : référence directe utilisée dans le cours pour les recommandations sur les batch sizes et learning rates.

155 mots

Profil radar

Le profil radar montre un niveau technique élevé, compensé par une qualité d'information correcte mais non exhaustive. La fiabilité est légèrement inférieure à cause du manque de citations explicites, tandis que la quantité d'information est bonne pour un cours de cette durée.

Fiabilité 7/10