Stanford CS229 Machine Learning | Spring 2026 | Lecture 13: LLMs, Next-Word Prediction Loss

Stanford CS229 Machine Learning | Spring 2026 | Lecture 13: LLMs, Next-Word Prediction Loss

par Chris Ré, Tengyu Ma

Sciences formelles & physiques IA — Modèles & Recherche UYQIntelligence artificielle (IA)UYQMApprentissage par la machine
🎙 Chris Ré, Tengyu Ma 👥 1.2M 📅 31 juillet 2026 ⏱ 60 min 👁 720 📄 cours magistral 🧭 2026-08-03
Disponible en : Français (actuel) English

Mots-clés

embeddingsapprentissage contrastifaugmentationssimilaritéreprésentations

Résumé

Cette conférence du cours CS229 de Stanford, donnée par Chris Ré et Tengyu Ma, introduit les concepts fondamentaux des embeddings et de l’apprentissage de représentations, en se concentrant sur les images. Le professeur explique d’abord l’objectif des embeddings : mapper des données brutes (images, textes, etc.) vers un espace vectoriel où les éléments similaires sont proches. Il mentionne l’utilisation des embeddings pour la recherche par similarité et comme caractéristiques pour des tâches en aval. Ensuite, il présente deux approches pour apprendre ces représentations : l’apprentissage supervisé, qui utilise un grand jeu de données étiqueté (comme ImageNet) et où l’on extrait la couche pénultième du réseau comme embedding, et l’apprentissage non supervisé par contraste, qui utilise des augmentations aléatoires d’une même image pour créer des paires positives et une autre image comme négative, avec une fonction de perte contrastive. Il souligne les limites de l’approche supervisée (coût des étiquettes) et l’intérêt de l’approche contrastive qui ne nécessite pas de labels. La discussion inclut des échanges avec les étudiants sur la nature des embeddings et la nécessité d’équilibrer la similarité et la dissimilarité. La conférence se termine sur la présentation de la méthode contrastive, sans aborder encore les LLMs ni la perte de prédiction du mot suivant, qui sont annoncés dans le titre.

211 mots

Évaluation critique

Cette conférence constitue une introduction pédagogique de qualité aux embeddings et à l’apprentissage contrastif, typique d’un cours universitaire de niveau master. Les explications sont claires et structurées, avec des exemples concrets (images de chats, avions) et des schémas implicites. Le professeur prend soin de répondre aux questions des étudiants, ce qui enrichit la discussion et clarifie des points subtils, comme la différence entre les embeddings et les étiquettes, ou la nécessité d’une fonction de perte contrastive pour éviter l’effondrement. La rigueur scientifique est bonne : les concepts sont présentés avec précision, et les limites des approches sont mentionnées (coût des données étiquetées, diversité des labels). Cependant, la vidéo ne cite pas de sources bibliographiques précises, ce qui limite la vérifiabilité des affirmations. De plus, le titre annonce une focalisation sur les LLMs et la perte de prédiction du mot suivant, mais cette partie n’est pas encore abordée dans l’extrait fourni ; le contenu se concentre sur les embeddings et l’apprentissage contrastif, ce qui crée un décalage partiel avec le titre. Néanmoins, cette première partie pose les bases nécessaires pour comprendre les modèles de langage. L’adéquation titre-contenu est donc partielle, mais cela ne nuit pas à la valeur intrinsèque du contenu. La qualité des explications et la profondeur conceptuelle justifient une note élevée, malgré l’absence de références explicites. Les échanges avec les étudiants montrent une volonté de clarifier les malentendus, ce qui renforce la valeur pédagogique. En résumé, une conférence solide et utile pour qui souhaite comprendre les fondements des représentations vectorielles, même si elle ne couvre pas encore le sujet annoncé dans le titre.

264 mots

Adéquation titre / contenu

Le titre annonce une conférence sur les LLMs et la fonction de perte de prédiction du mot suivant ; le contenu couvre effectivement les embeddings et l'apprentissage contrastif, mais la partie sur les LLMs et la perte de prédiction n'est pas encore abordée dans cette première partie.

Qualité & fiabilité

8/10

Cours universitaire de Stanford, enseigné par des professeurs reconnus, contenu technique précis et pédagogique, mais pas de sources primaires citées dans la vidéo.

Moments clés

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

Sources citées

  • CS229 Course Website — Page officielle du cours CS229, mentionnée dans la description pour les supports de cours.
  • Stanford AI Programs — Lien vers les programmes professionnels et diplômants en IA de Stanford, mentionné dans la description.

Sources concordantes

  • SimCLR — Article de référence sur l'apprentissage contrastif, cohérent avec les concepts présentés.
  • Momentum Contrast (MoCo) — Autre méthode contrastive, complémentaire à celle décrite.

Apport & nouveautés

Cette conférence apporte une explication pédagogique claire des embeddings et de l’apprentissage contrastif, en insistant sur les motivations et les mécanismes. Elle met en lumière les limites de l’apprentissage supervisé et l’intérêt des méthodes non supervisées. L’originalité réside dans la manière dont le professeur relie les concepts à des applications pratiques comme la recherche par similarité.

Pour aller plus loin :

  • SimCLR — Article fondateur de l’apprentissage contrastif simple pour les représentations visuelles.
  • Momentum Contrast (MoCo) — Une autre approche contrastive populaire.
  • ImageNet — Jeu de données utilisé pour l’apprentissage supervisé mentionné dans la vidéo.

95 mots

Profil radar

Le profil radar montre une conférence équilibrée avec des scores élevés en quantité et qualité d'information, ainsi qu'un bon niveau technique. La fiabilité est également bonne, mais l'absence de sources explicites dans la vidéo limite légèrement ce score.

Fiabilité 8/10