Stanford CME295 Transformers & LLMs | Autumn 2026 | Lecture 1 - Transformers

Item: Stanford CME295 Transformers & LLMs | Autumn 2026 | Lecture 1 - Transformers
Rating: 5
Author: PostSingularity Institute

Stanford CME295 Transformers & LLMs | Automne 2026 | Cours 1 - Transformers

par Afshine Amidi et Shervine Amidi · Voir la chaîne sur PSI

Sciences formelles & physiques IA — Modèles & Recherche UYQIntelligence artificielle (IA)UYQFIntelligence artificielle générative

🎙 Afshine Amidi et Shervine Amidi 👥 1.3M 📅 28 septembre 2026 ⏱ 104 min 👁 318K 📄 tutoriel 🧭 2026-10-06

Disponible en : Français (actuel) English

Mots-clés

tokenizationWord2vecself-attentiontransformer architectureLLM

Résumé

Cette première leçon du cours CME295 de Stanford, présentée par Afshine et Shervine Amidi, pose les fondements des Transformers et des grands modèles de langage. Après une introduction logistique et pédagogique, les professeurs retracent l’évolution du traitement automatique des langues depuis les réseaux de neurones récurrents (RNN, LSTM) jusqu’aux Transformers introduits par l’article ‘Attention is All You Need’ (2017). La tokenisation est expliquée en détail, avec les approches par mots, caractères et sous-mots, et la méthode BPE (Byte Pair Encoding). Les concepts de tokens spéciaux (BOS, EOS, padding) sont présentés. La leçon aborde ensuite Word2vec (CBOW et Skip-gram) pour représenter les mots en vecteurs. Le mécanisme d’attention est introduit, notamment l’auto-attention et les requêtes, clés, valeurs (query, key, value). L’architecture du Transformer (encodeur, décodeur) est décrite, avec des astuces de calcul comme l’attention multi-têtes et la normalisation. L’exemple de bout en bout illustre le fonctionnement global. La leçon se termine sur une perspective des applications modernes, y compris les agents de codage.

162 mots

Évaluation critique

Valeur des informations & solidité de l’argumentation

La valeur de cette leçon réside dans sa clarté pédagogique : les concepts complexes sont décomposés progressivement, avec des analogies et des exemples concrets. L’argumentation suit une logique historique et technique, justifiant chaque choix (passage des mots aux sous-mots, introduction de l’attention). Les professeurs prennent le temps de répondre aux questions, renforçant la compréhension. La solidité de l’argumentation repose sur la référence explicite à l’article fondateur et sur l’expérience des intervenants.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est élevée : les professeurs mentionnent l’article ‘Attention is All You Need’ et indiquent que chaque slide contient des sources en bas pour approfondir. La qualité des sources est bonne, même si la vidéo ne fournit pas les références complètes dans la description. L’adéquation titre/contenu est parfaite. Concernant les commentaires, sur les 30 commentaires analysés, tous sont positifs, exprimant une grande appréciation pour la pédagogie et la clarté, certains soulignant la qualité des professeurs jumeaux. Aucune critique négative n’est présente.

169 mots

Adéquation titre / contenu

Le titre annonce une leçon sur les Transformers, et le contenu correspond bien : introduction à la tokenisation, aux mécanismes d'attention, à l'architecture Transformer. Adéquation parfaite.

Qualité & fiabilité

9/10

Conférence universitaire de Stanford, animée par deux professeurs adjoints, qui présente les fondements des Transformers de manière structurée et pédagogique. Les concepts sont expliqués avec précision, et la référence à l'article fondateur 'Attention is All You Need' est explicite. La fiabilité est excellente pour un contenu pédagogique.

Chapitres

Sources citées

Syllabus du cours CME295 — Le syllabus officiel du cours, mentionné en description.
Graduate Education at Stanford Online — Lien vers les programmes diplômants de Stanford, mentionné en description.

Apport & nouveautés

Cette leçon apporte une mise à jour pédagogique du cours, intégrant les évolutions récentes (agents, distillation) et proposant une explication progressive des Transformers. Elle se distingue par la clarté de la progression et l’accent mis sur la tokenisation.

Pour aller plus loin :

Attention Is All You Need — Article fondateur qui introduit l’architecture Transformer.
Byte Pair Encoding — Méthode de tokenisation par sous-mots, expliquée dans la leçon.
Word2vec — Représentation vectorielle des mots, présentée dans le cours.
Transformer (deep learning architecture) — Article de synthèse sur l’architecture.

88 mots

Profil radar

Le profil radar montre une haute fiabilité et une bonne qualité d'information, avec un niveau technique modéré mais suffisant pour un cours d'introduction. La quantité d'information est élevée, couvrant de nombreux concepts clés.

Fiabilité 9/10

💬 Orientation : très positif. Sur les 30 commentaires analysés, l'ensemble exprime un très vif enthousiasme pour la qualité pédagogique et la clarté des explications, avec de nombreux commentaires élogieux sur les professeurs jumeaux.