Stanford CS336 Language Modeling from Scratch | Spring 2026 | Lecture 1: Overview, Tokenization

Cette vidéo constitue une introduction solide et bien structurée au cours CS336. La valeur principale réside dans la clarté de l’exposé et la crédibilité des intervenants, tous chercheurs reconnus en traitement du langage naturel. L’argumentation en faveur de l’approche ‘from scratch’ est convaincante : elle permet de comprendre les mécanismes sous-jacents et de développer des compétences transférables à plus grande échelle. Les exemples concrets, comme la répartition des flops entre les couches MLP et attention, illustrent bien les différences entre petites et grandes échelles. La référence à la ‘Bitter Lesson’ est bien contextualisée, corrigeant une interprétation erronée courante. La partie historique est concise mais pertinente, reliant les développements clés des années 1990 à aujourd’hui. La section sur la tokenisation est technique et précise, expliquant les algorithmes BPE et Unigram avec des exemples. Cependant, certains points pourraient être approfondis, comme les détails mathématiques de la tokenisation ou les implications pratiques des choix de tokenisation. De plus, l’affirmation sur le coût de formation de GPT-4 (100 millions de dollars) est présentée comme spéculative, ce qui est honnête. La qualité des sources est bonne, avec des références à des travaux fondateurs comme ceux de Bengio, Vaswani et Kaplan. L’adéquation entre le titre et le contenu est parfaite. Dans l’ensemble, cette vidéo est une excellente introduction pour quiconque souhaite comprendre la modélisation du langage en profondeur.

Le titre est clair et correspond parfaitement au contenu : présentation du cours et introduction à la tokenisation.

8/10

Cours universitaire de Stanford, enseigné par des chercheurs reconnus, avec une approche pédagogique rigoureuse et des références à des travaux fondateurs. Les informations sont fiables et à jour, mais certaines affirmations (coûts de formation) sont spéculatives.

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

• 00:00Introduction des instructeurs et présentation du cours.
• 05:00Discussion sur la philosophie 'from scratch' et les limites des modèles de pointe.
• 10:00Explication des différences entre petites et grandes échelles, avec exemples de flops et d'émergence.
• 15:00Présentation des trois types de connaissances : mécanique, état d'esprit et intuitions.
• 20:00Discussion sur la 'Bitter Lesson' et l'importance de l'efficacité algorithmique.
• 25:00Historique des modèles de langage, des n-grammes aux transformers.
• 30:00Introduction à la tokenisation et à son importance.
• 35:00Explication détaillée de l'algorithme BPE.
• 40:00Explication de l'algorithme Unigram et comparaison avec BPE.
• 45:00Discussion sur les compromis de la tokenisation et les métriques comme la perplexité.

• CS336 Course Website — Site officiel du cours avec le programme et les ressources.
• Stanford Online CS336 Course Page — Page d'inscription au cours en ligne.
• Stanford Online AI Programs — Page d'information sur les programmes d'IA de Stanford.
• Course Playlist — Playlist des vidéos du cours.

• Scaling Laws for Neural Language Models — Article de Kaplan et al. (2020) sur les lois d'échelle, mentionné dans la vidéo.
• Attention Is All You Need — Article fondateur sur les transformers, mentionné dans la vidéo.