Stanford CS336 Language Modeling from Scratch | Spring 2026 | Lecture 3: Architectures

Ce cours magistral de Tatsunori Hashimoto, professeur à Stanford, offre une synthèse remarquablement claire et à jour des architectures de modèles de langage. La valeur pédagogique est élevée : l’enseignant adopte une approche historique et comparative, ce qui permet de comprendre non seulement les choix techniques mais aussi leur motivation. La rigueur scientifique est exemplaire : chaque affirmation est appuyée sur des références précises (papers, modèles) et les explications sont nuancées, reconnaissant les zones d’incertitude. La structure est logique : après un rappel du transformer original, il décline les variations (normalisation, activation, position) puis les hyperparamètres et enfin les astuces de stabilité. La qualité des sources est excellente : les modèles cités (LLaMA, Qwen, Gemma, etc.) sont des références du domaine, et les liens vers les ressources du cours sont fournis. L’adéquation titre/contenu est parfaite : le titre annonce une exploration des architectures, et c’est exactement ce qui est proposé. On peut toutefois regretter que certains points soient survolés, comme les détails de l’implémentation de RoPE ou les mécanismes précis de stabilité, mais cela est inhérent à un format de cours. La présence d’une séquence publicitaire pour les programmes en ligne de Stanford est brève et n’affecte pas la qualité du contenu. En résumé, ce cours est une référence pour quiconque souhaite comprendre les choix architecturaux des LLM modernes.

Le titre est parfaitement adapté : il s'agit bien d'un cours sur les architectures des modèles de langage, avec une approche pratique et historique.

9/10

Cours universitaire de niveau master par un professeur de Stanford, s'appuyant sur une revue systématique des architectures récentes (LLaMA, Qwen, Gemma, etc.) et des principes établis en apprentissage profond. Les sources sont citées et les explications sont rigoureuses, bien que le format magistral limite la profondeur sur certains points.

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

• 00:00Introduction : objectifs du cours, approche par revue des modèles existants.
• 05:00Rappel du transformer original et des choix standards (post-norm, ReLU, position sinusoidale).
• 10:00Présentation des variations modernes : pré-norm, RoPE, SwiGLU, etc.
• 20:00Analyse des tendances historiques : de l'expérimentation à la standardisation avec LLaMA 2.
• 30:00Explication détaillée de la pré-norm vs post-norm et de l'importance de la stabilité.
• 40:00Discussion sur les choix de normalisation (RMSNorm) et d'activation (SwiGLU).
• 50:00Présentation des hyperparamètres : dimension FFN, taille du vocabulaire, etc.
• 1:00:00Astuces de stabilité d'entraînement : warm-up, redimensionnement des gradients.
• 1:10:00Synthèse des tendances et des compromis architecturaux.
• 1:20:00Conclusion et recommandations pour la suite du cours.

• CS336 Course Website — Page officielle du cours avec syllabus et ressources.
• Stanford Online CS336 Course Page — Page d'inscription au cours en ligne.
• Stanford AI Programs — Présentation des programmes d'IA de Stanford.
• Course Playlist — Playlist des vidéos du cours.

• Attention Is All You Need — Article fondateur du transformer, cité implicitement pour les bases.
• LLaMA: Open and Efficient Foundation Language Models — Modèle de référence pour les choix architecturaux modernes.

• OPT-350M — Le professeur mentionne que ce modèle utilise encore la post-norm, contrairement à la tendance générale, ce qui constitue une exception notable.