[M2L 2025] 3.3 Context: from context to capabilities - Max Bartolo

Valeur des informations & solidité de l’argumentation

La conférence offre une valeur pédagogique élevée en retraçant l’évolution historique des modèles de langage, depuis les RNN jusqu’aux LLM modernes, avec des exemples concrets et des références à des travaux de recherche. L’argumentation est solide, appuyée par des expériences personnelles et des résultats publiés. L’orateur explique clairement les concepts complexes, comme le pré-entraînement et le RAG, et illustre ses propos avec des exemples pertinents. La démonstration sur l’apprentissage du raisonnement à partir de connaissances procédurales est particulièrement intéressante et bien étayée.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est bonne : l’orateur cite des travaux fondateurs (ELMo, GPT, BERT, RAG) et des recherches personnelles publiées. Les sources sont fiables et bien intégrées. Le titre est en adéquation avec le contenu, qui explore le concept de contexte sous différents angles. On note quelques imprécisions historiques (dates, noms), mais elles n’affectent pas la compréhension globale. La conférence est destinée à un public scientifique, mais reste accessible.

Le titre reflète bien le contenu : une exploration du concept de contexte dans les LLM, de ses limites historiques à ses applications actuelles.

8/10

Exposé par un chercheur reconnu (Google DeepMind), s'appuyant sur des travaux publiés et des expériences concrètes, avec une perspective historique et technique solide. Quelques approximations dans les dates et noms, mais globalement fiable.

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

• 00:00Introduction et contexte de la conférence
• 02:00Retour sur les débuts dans le question-réponse avec retrieval
• 05:00Limites des RNN et mémoire décroissante
• 10:00Évolution vers les transformers et fenêtres de contexte fixes
• 15:00Pré-entraînement par prédiction du mot suivant et acquisition de connaissances
• 20:00Introduction du RAG et ses avantages
• 25:00Applications du contexte : résumé de longs documents, agents conversationnels
• 30:00In-context learning et exemples
• 35:00Défis de l'in-context learning : ordre des exemples
• 40:00Conclusion et perspectives

• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks — Présentation du concept de RAG par Patrick Lewis et al.
• BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding — Modèle BERT avec fenêtre de contexte de 512 tokens
• Language Models are Few-Shot Learners — Introduction de l'in-context learning dans GPT-3
• ELMo: Deep contextualized word representations — Modèle ELMo basé sur RNN
• Improving Language Understanding by Generative Pre-Training — Modèle GPT original

• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks — Le RAG est présenté comme une solution pour améliorer la factualité des LLM.
• Language Models are Few-Shot Learners — L'in-context learning est décrit comme une capacité émergente des grands modèles.

• Attention Is All You Need — L'orateur mentionne que les modèles à attention existaient avant BERT, mais certains pourraient considérer que l'attention a été popularisée par ce papier.