Stanford CME295 Transformers & LLMs | Autumn 2025 | Lecture 1 - Transformer

Item: Stanford CME295 Transformers & LLMs | Autumn 2025 | Lecture 1 - Transformer
Rating: 5
Author: PostSingularity Institute

par Afshine Amidi et Shervine Amidi

Sciences formelles & physiques IA — Modèles & Recherche UYQIntelligence artificielle (IA)UYQNRéseaux neuronaux et systèmes flous

🎙 Afshine Amidi et Shervine Amidi 👥 1.2M 📅 17 octobre 2025 ⏱ 101 min 👁 913K 📄 cours magistral 🧭 2026-08-13

Disponible en : Français (actuel) English

Mots-clés

TransformerLLMNLPAttentionTokenization

Résumé

Ce premier cours du module CME295 de Stanford, donné par les frères jumeaux Afshine et Shervine Amidi, introduit les fondements des Transformers et des grands modèles de langage (LLM). Après une présentation logistique, les intervenants exposent les bases du traitement automatique du langage naturel (NLP) : les trois grandes catégories de tâches (classification, multi-classification, génération), puis la tokenisation (word, subword, character level) et la représentation des mots (one-hot encoding, word2vec). Ils expliquent ensuite les limites des réseaux de neurones récurrents (RNN) et LSTM, notamment le problème de vanishing gradient, pour motiver l’introduction du mécanisme d’attention. La seconde partie est consacrée à l’architecture du Transformer : l’attention multi-têtes, les notions de query, key, value, l’encodeur et le décodeur, ainsi que les embeddings positionnels. Un exemple détaillé de bout en bout illustre le fonctionnement complet, de la tokenisation à la génération de la traduction. Le cours se conclut par une explication du label smoothing et une démonstration pratique.

156 mots

Évaluation critique

Ce cours magistral de Stanford constitue une introduction remarquablement claire et pédagogique aux Transformers et aux LLM. La valeur des informations est élevée : les concepts fondamentaux sont présentés de manière structurée, avec des analogies pertinentes et des exemples concrets. L’argumentation est solide, car les intervenants justifient chaque étape de la construction du modèle en partant des limites des approches précédentes (RNN, LSTM) pour aboutir naturellement au mécanisme d’attention. La rigueur scientifique est satisfaisante : les explications sont exactes, mais parfois simplifiées pour rester accessibles. Les sources sont mentionnées en bas des slides, mais non détaillées dans la vidéo, ce qui limite la vérifiabilité immédiate. L’adéquation titre/contenu est parfaite : le cours correspond exactement à son intitulé. La qualité des supports visuels est bonne, bien que certains commentaires suggèrent de mieux cadrer les slides. Le rythme est adapté, avec des moments d’interaction avec l’auditoire. La présence de deux intervenants complémentaires enrichit la présentation. En résumé, ce cours est une excellente ressource pour quiconque souhaite comprendre les fondements des LLM, que ce soit pour un premier contact ou pour une révision. Les commentaires des spectateurs sont extrêmement positifs, saluant la clarté et la gratuité de la ressource.

196 mots

Adéquation titre / contenu

Le titre correspond parfaitement au contenu : il s'agit bien du premier cours du module CME295 sur les Transformers et les LLM.

Qualité & fiabilité

8/10

Cours universitaire de Stanford, présenté par des experts en LLM, avec des explications pédagogiques claires et structurées. Les concepts sont présentés avec rigueur, mais sans démonstrations formelles approfondies. Les sources sont indiquées en bas des slides, mais non détaillées dans la vidéo.

Chapitres

Sources citées

Syllabus du cours CME295 — Référence pour le programme et les ressources du cours.
Page des programmes diplômants de Stanford Online — Information sur les programmes de formation continue de Stanford.
Playlist YouTube du cours CME295 — Accès aux autres vidéos du cours.

Sources concordantes

Article 'Attention Is All You Need' — Source primaire de l'architecture Transformer, citée implicitement dans le cours.

Apport & nouveautés

Ce cours apporte une synthèse pédagogique remarquable des concepts fondamentaux des Transformers, en les reliant aux évolutions historiques du NLP. Il ne présente pas de recherche originale, mais son apport réside dans la clarté de l’explication et la structuration progressive des idées, depuis la tokenisation jusqu’à l’architecture complète. L’exemple détaillé de bout en bout est particulièrement utile pour visualiser concrètement le fonctionnement.

Pour aller plus loin :

Article original ‘Attention Is All You Need’ — Source primaire du Transformer, indispensable pour approfondir.
Page Wikipédia sur les Transformers — Vue d’ensemble en français.
Article sur Word2Vec — Pour comprendre les embeddings contextuels.
Article sur les LSTM — Pour saisir les limites des RNN.

112 mots

Profil radar

Le profil radar montre une excellente quantité d'informations et une bonne fiabilité, avec un niveau technique intermédiaire. La qualité de l'information est élevée, mais la fiabilité globale est légèrement inférieure en raison du manque de sources détaillées dans la vidéo.

Fiabilité 8/10

💬 Très positif. Sur les 30 commentaires analysés, la grande majorité exprime une gratitude enthousiaste pour la gratuité et la qualité pédagogique du cours, certains soulignant la clarté des explications et la valeur de l'exemple final.