9: Generative AI – Large Language Models (LLMs) and Retrieval Augmented Generation (RAG)

Item: 9: Generative AI – Large Language Models (LLMs) and Retrieval Augmented Generation (RAG)
Rating: 4
Author: PostSingularity Institute

par Rama Ramakrishnan

Sciences formelles & physiques IA — Modèles & Recherche UYQIntelligence artificielle (IA)UYQFIntelligence artificielle générative

🎙 Rama Ramakrishnan 👥 6.4M 📅 7 janvier 2026 ⏱ 74 min 👁 18K 📄 cours magistral 🧭 2026-08-06

Disponible en : Français (actuel) English

Mots-clés

next word predictioncausal self-attentiontokenizationretrieval augmented generationtransformer

Résumé

Ce cours du MIT (15.773) présente les principes fondamentaux des grands modèles de langage (LLM) et introduit la génération augmentée par récupération (RAG). L’instructeur commence par rappeler le mécanisme de masking utilisé pour BERT, puis introduit la prédiction du mot suivant comme une forme particulière d’apprentissage auto-supervisé. Il détaille l’architecture du transformer encodeur adaptée à cette tâche, en insistant sur la nécessité de l’attention causale pour empêcher le modèle de tricher en regardant les mots futurs. La tokenisation est abordée, notamment la distinction entre mots et sous-mots (BPE). Ensuite, le cours explique comment les LLM génèrent du texte de manière autorégressive, en prédisant un token à la fois, et comment la température et le top-k influencent la créativité. Enfin, il introduit le RAG comme solution pour améliorer la factualité et réduire les hallucinations en intégrant une base de connaissances externe. Le cours se conclut par une discussion sur les applications pratiques et les limites des LLM.

156 mots

Évaluation critique

Ce cours magistral de niveau universitaire offre une introduction solide et pédagogique aux LLM et au RAG. La valeur des informations est élevée : les concepts sont expliqués avec clarté, en s’appuyant sur des exemples concrets et des analogies. L’argumentation est rigoureuse : l’instructeur justifie chaque choix architectural (comme l’attention causale) en montrant les problèmes qu’il résout. La rigueur scientifique est exemplaire, avec des références aux travaux fondateurs (BERT, GPT) et une mise en perspective des limites actuelles. Les sources sont de qualité institutionnelle (MIT OpenCourseWare). L’adéquation titre/contenu est bonne, bien que le RAG ne soit introduit qu’en fin de session, laissant peut-être moins de temps pour approfondir. Le public cible est clairement des étudiants en deep learning, mais le contenu reste accessible à un public averti. Aucune séquence publicitaire n’est présente. Les commentaires (non fournis) ne sont pas analysés.

140 mots

Adéquation titre / contenu

Le titre annonce les LLM et le RAG ; le contenu couvre effectivement les bases des LLM (prédiction du mot suivant, attention causale) et introduit le RAG en fin de session, bien que la majeure partie soit consacrée aux mécanismes fondamentaux.

Qualité & fiabilité

9/10

Cours magistral de niveau universitaire (MIT) dispensé par un expert reconnu, avec une explication pédagogique rigoureuse des concepts fondamentaux des LLM (attention causale, tokenisation, RAG). Les sources sont institutionnelles (MIT OpenCourseWare) et le contenu est cohérent avec l'état de l'art.

Moments clés

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

Sources citées

MIT OpenCourseWare - 15.773 Hands-On Deep Learning — Page du cours, référence principale pour les supports et ressources.
Playlist YouTube du cours — Playlist contenant l'ensemble des vidéos du cours.
Support OCW — Lien de soutien financier au MIT OpenCourseWare.
Politique de commentaires OCW — Règles de conduite pour les commentaires sur les plateformes OCW.
Conditions d'utilisation OCW — Conditions d'utilisation des ressources OCW.

Sources concordantes

Attention Is All You Need — Article fondateur des transformers, cohérent avec l'architecture présentée.
BERT: Pre-training of Deep Bidirectional Transformers — Article de BERT, mentionné dans le cours comme base du masking.
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks — Article fondateur du RAG, cohérent avec l'introduction du RAG en fin de cours.

Apport & nouveautés

Ce cours apporte une explication pédagogique claire des mécanismes fondamentaux des LLM, notamment l’attention causale et la génération autorégressive, avec une introduction pratique au RAG. Il se distingue par sa progression logique et ses exemples concrets.

Pour aller plus loin :

Attention Is All You Need — Article fondateur des transformers, essentiel pour comprendre l’architecture.
BERT: Pre-training of Deep Bidirectional Transformers — Article original de BERT, pour approfondir le masking.
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks — Article fondateur du RAG, directement lié à la fin du cours.
Language Models are Few-Shot Learners — Article sur GPT-3, pour comprendre les capacités des LLM.

103 mots

Profil radar

Le profil radar est équilibré, avec des scores élevés en qualité et fiabilité, reflétant un contenu académique rigoureux. La quantité d'information est bonne, mais le niveau technique élevé peut limiter l'accessibilité à un public non spécialisé.

Fiabilité 9/10