[M2L 2025] 1.4 LLM Evaluation - Emine Yilmaz

Cette présentation d’Emine Yilmaz, donnée dans le cadre de la summer school M2L 2025, est consacrée à l’évaluation des grands modèles de langage (LLM). L’oratrice commence par justifier l’importance de l’évaluation, souvent perçue comme un problème secondaire, en soulignant qu’elle est essentielle pour l’amélioration des modèles et la prévention de problèmes tels que la désinformation, les biais et les sorties dangereuses. Elle distingue deux grandes familles de métriques : les métriques quantitatives, comme l’exactitude, BLEU, ROUGE et la perplexité, qui nécessitent une référence, et les métriques qualitatives, qui évaluent des dimensions comme la fluidité, la cohérence, la factualité, l’équité, la sécurité et l’alignement. Elle insiste sur le fait que ces dimensions ne sont pas exhaustives et dépendent de la tâche. Ensuite, elle aborde les méthodes d’évaluation, notamment l’annotation humaine, le crowdsourcing, la vérification des faits avec des sources externes, et l’évaluation contrefactuelle pour les biais. Elle introduit le paradigme du ‘LLM-as-a-judge’, qui utilise un modèle de langage pour évaluer les sorties d’un autre modèle, en soulignant ses avantages en termes de coût, de rapidité et de flexibilité, mais aussi ses limites, comme la sensibilité aux paraphrases du prompt et les biais potentiels. Elle présente des travaux de recherche sur l’optimisation des prompts pour les juges LLM, l’utilisation de RAG pour fournir des connaissances externes, et l’émergence d’agents comme juges. La présentation se conclut sur l’importance de l’évaluation pour un développement responsable de l’IA.