Stanford CS336 Language Modeling from Scratch | Spring 2026 | Lecture 4: Attention Alternatives

Stanford CS336 Language Modeling from Scratch | Spring 2026 | Lecture 4: Attention Alternatives

par Percy Liang

Sciences formelles & physiques IA — Modèles & Recherche UYQIntelligence artificielle (IA)UYQNRéseaux neuronaux et systèmes flous
🎙 Percy Liang 👥 1.2M 📅 15 avril 2026 ⏱ 86 min 👁 23K 📄 cours magistral 🧭 2026-08-03
Disponible en : Français (actuel) English

Mots-clés

attentionlinear timeRNNstate space modelsmixture of experts

Résumé

Ce cours de la série CS336 de Stanford, donné par Percy Liang, explore les alternatives à l’attention standard dans les transformers pour gérer de très longs contextes. Il commence par motiver le besoin de contextes étendus et montre que l’attention classique a un coût quadratique en longueur de séquence. Il introduit ensuite l’idée clé de l’associativité de la multiplication pour reformuler l’attention en une forme linéaire, ce qui permet de réduire la complexité à linéaire. Cette reformulation peut être vue comme un RNN, offrant ainsi un double avantage : parallélisation à l’entraînement et inférence efficace. Il présente des exemples concrets comme Minimax M1 qui utilise un mélange d’attention linéaire et d’attention softmax. Il développe ensuite l’idée d’ajouter un mécanisme de gating pour améliorer l’expressivité, menant aux modèles à espace d’état comme Mamba 2. Enfin, il aborde les mélanges d’experts (MoE) comme une autre modification architecturale, cette fois sur le bloc MLP, pour améliorer l’utilisation du matériel et augmenter le nombre de paramètres sans coût de calcul supplémentaire.

167 mots

Évaluation critique

Ce cours est d’une grande qualité pédagogique et scientifique. Le professeur Liang explique des concepts avancés avec une clarté remarquable, en partant d’une intuition simple (l’associativité de la multiplication) pour construire progressivement des architectures complexes. La rigueur est exemplaire : les équations sont présentées avec précision, les complexités algorithmiques sont analysées, et les références à des modèles récents (Mamba, Minimax M1) ancrent le propos dans l’état de l’art. La structure est logique : d’abord le problème (coût quadratique), puis la solution (attention linéaire), puis les améliorations (gating), et enfin une autre piste (MoE). Les sources sont fiables (cours Stanford, modèles publiés). L’adéquation titre-contenu est parfaite. Le seul bémol est que la vidéo ne couvre pas en détail les implémentations pratiques, mais cela est compensé par les références aux devoirs du cours. Dans l’ensemble, c’est une ressource exceptionnelle pour qui veut comprendre les architectures modernes des modèles de langage.

148 mots

Adéquation titre / contenu

Le titre est parfaitement représentatif du contenu : la conférence porte bien sur les alternatives à l'attention dans les modèles de langage.

Qualité & fiabilité

9/10

Cours universitaire de haut niveau (Stanford) dispensé par un professeur reconnu, contenu technique précis et à jour, références à des modèles récents (Mamba, Minimax M1) et à des techniques éprouvées (FlashAttention).

Moments clés

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

Sources citées

Sources concordantes

Apport & nouveautés

Ce cours apporte une synthèse claire et pédagogique des avancées récentes en matière d’alternatives à l’attention, en particulier l’attention linéaire et les modèles à espace d’état. Il met en lumière l’importance de l’associativité pour réduire la complexité et montre comment ces méthodes sont utilisées dans des modèles de production comme Minimax M1. La présentation du lien entre attention linéaire et RNN est particulièrement éclairante.

Pour aller plus loin :

126 mots

Profil radar

Le profil radar montre un niveau très élevé dans toutes les dimensions, avec une légère prédominance de la qualité de l'information et de la fiabilité, reflétant la rigueur académique du cours.

Fiabilité 9/10