Stanford CME295 Transformers & LLMs | Autumn 2025 | Lecture 8 - LLM Evaluation

Ce cours offre une introduction solide et structurée à l’évaluation des LLM, un sujet crucial pour le développement et le déploiement de ces modèles. La valeur pédagogique est indéniable : les explications sont claires, progressives, et illustrées par des exemples concrets. Les intervenants parviennent à vulgariser des concepts complexes sans sacrifier la rigueur technique. La présentation des métriques d’accord inter-annotateurs est particulièrement bien menée, avec une démonstration mathématique simple du problème de l’accord dû au hasard et l’introduction du coefficient kappa de Cohen. La section sur les métriques basées sur des règles (METEOR, BLEU, ROUGE) est concise mais suffisante pour comprendre leur principe et leurs limites. Le cœur du cours, la méthode LLM-as-a-judge, est traité en profondeur : les variantes, les biais (position, verbosité, auto-amélioration) et les bonnes pratiques sont expliqués avec des exemples pertinents. L’accent mis sur les biais est un point fort, car il sensibilise les apprenants aux pièges de cette méthode. La partie sur l’évaluation des agents et les benchmarks (MMLU, AIME, SWE-bench, HarmBench, Tau-Bench) est bien choisie et couvre les principaux domaines d’application. Cependant, on peut regretter que certaines notions soient survolées, comme les détails mathématiques de METEOR ou les spécificités de chaque benchmark. De plus, la vidéo ne cite pas explicitement les sources des benchmarks ou des articles de référence, ce qui limite la vérifiabilité. L’adéquation entre le titre et le contenu est parfaite. En résumé, ce cours est une excellente ressource pour qui veut comprendre les enjeux et les méthodes de l’évaluation des LLM, malgré quelques lacunes en termes de profondeur et de références.

Le titre est parfaitement adapté au contenu : il s'agit bien d'un cours sur l'évaluation des LLM, couvrant les méthodes et les benchmarks.

8/10

Cours universitaire de niveau master, dispensé par des enseignants de Stanford, avec une structure pédagogique claire, des exemples concrets et des références à des benchmarks standard. La rigueur est bonne, mais certaines parties restent superficielles et les sources ne sont pas systématiquement citées dans la vidéo.

• 00:00Introduction
• 07:08Inter-rater agreement metrics
• 18:24Rule-based metrics
• 21:00METEOR, BLEU ROUGE
• 28:00LLM-as-a-judge
• 33:44Structured outputs
• 36:48Variants
• 38:47Position, verbosity, self-enhancement bias
• 47:22Best practices
• 54:06Factuality
• 1:00:15Agent evaluation
• 1:23:50Benchmarks
• 1:25:12Knowledge with MMLU
• 1:29:34Reasoning AIME, PIQA
• 1:33:57Coding with SWE-bench
• 1:36:15Safety with HarmBench
• 1:40:51Agents with Tau-Bench

• Syllabus du cours CME295 — Lien fourni dans la description pour suivre le programme du cours.
• Page des programmes diplômants de Stanford Online — Lien fourni dans la description pour plus d'informations sur les programmes de Stanford.
• Playlist du cours CME295 — Lien vers la playlist complète des vidéos du cours.

• MMLU: Massive Multitask Language Understanding — Benchmark mentionné dans le cours pour évaluer les connaissances.
• SWE-bench: Can Language Models Resolve Real-World GitHub Issues? — Benchmark mentionné dans le cours pour évaluer le codage.
• HarmBench: A Standardized Evaluation Framework for Automated Red Teaming and Robust Refusal — Benchmark mentionné dans le cours pour évaluer la sécurité.
• Tau-Bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains — Benchmark mentionné dans le cours pour évaluer les agents.