Stanford CS336 Language Modeling from Scratch | Spring 2026 | Lecture 5: GPUs, TPUs

Ce cours magistral de Stanford offre une introduction extrêmement solide et pédagogique à l’architecture des GPU et à leur programmation pour l’apprentissage profond. Le professeur Tatsunori Hashimoto, expert reconnu, adopte une approche progressive qui démystifie le fonctionnement des GPU, souvent perçus comme des boîtes noires. La valeur pédagogique est remarquable : il explique non seulement le ‘comment’ mais aussi le ‘pourquoi’, en reliant les concepts matériels aux implications pratiques pour l’entraînement des modèles de langage. La structure en trois parties (bases, astuces d’optimisation, FlashAttention) est logique et permet une montée en compétence progressive. Les explications sur la hiérarchie mémoire et les latences sont claires et essentielles pour comprendre les performances. L’accent mis sur la mémoire comme facteur limitant est particulièrement pertinent dans le contexte actuel où les modèles sont de plus en plus grands. La présentation des six astuces d’optimisation est concrète et directement applicable. La démonstration finale sur FlashAttention est un excellent moyen de consolider les acquis. La rigueur scientifique est irréprochable : le contenu est à jour et s’appuie sur des ressources reconnues comme le TPU book et CUDA mode. Le professeur cite également des exemples concrets (A100, H200) et des benchmarks. L’adéquation entre le titre et le contenu est parfaite. Le seul bémol est peut-être le niveau technique élevé qui pourrait rebuter les débutants complets, mais cela reste un cours universitaire avancé. En résumé, une référence pour quiconque souhaite comprendre les GPU et optimiser ses modèles.

Le titre est parfaitement adapté : il s'agit bien de la cinquième leçon du cours CS336, consacrée aux GPU et TPU, avec un contenu aligné sur la description.

9/10

Cours universitaire de haut niveau (Stanford) dispensé par un professeur expert en apprentissage automatique. Le contenu est structuré, pédagogique et s'appuie sur des ressources reconnues (CUDA mode, TPU book). Les explications techniques sont précises et illustrées par des exemples concrets.

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

• 00:00Introduction au cours sur les GPU et le parallélisme.
• 02:00Présentation des ressources recommandées (CUDA mode, TPU book).
• 05:00Explication de la différence entre CPU et GPU.
• 10:00Architecture d'un GPU : Streaming Multiprocessors, mémoire.
• 20:00Hiérarchie mémoire et latences (registres, L1, L2, mémoire globale).
• 30:00Présentation des six astuces pour optimiser les performances GPU.
• 40:00Explication de la fusion de kernels et de la mémoire partagée.
• 50:00Discussion sur la vectorisation et l'utilisation des registres.
• 1:00:00Introduction à FlashAttention et à ses avantages.
• 1:10:00Conclusion et annonce des prochaines leçons sur le parallélisme.

• Site du cours CS336 — Page officielle du cours avec syllabus et ressources.
• Page d'inscription au cours en ligne — Informations sur l'inscription au cours en ligne.
• Programme d'IA de Stanford — Page d'information sur les programmes d'IA de Stanford.
• Playlist du cours — Playlist YouTube contenant toutes les vidéos du cours.

• CUDA C++ Programming Guide — Documentation officielle de Nvidia sur CUDA, cohérente avec les explications sur la programmation GPU.
• FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness — Article de recherche présentant FlashAttention, en accord avec la présentation de la vidéo.