The Inadequacy of Offline LLM Evaluations: A Need to Account for Personalization in Model Behavior

L’exposé d’Angelina Wang est une contribution importante à la réflexion sur l’évaluation des LLM. La force principale réside dans la méthodologie : l’utilisation de 800 utilisateurs réels (400 sur ChatGPT, 400 sur Gemini) avec des profils variés (intersection de genre et ethnie) permet de capturer une diversité de comportements que les évaluations offline ignorent. La comparaison systématique entre les réponses offline (API) et les réponses en champ (via les interfaces personnalisées) est rigoureuse, avec un contrôle de la température et des répétitions. Les résultats sont frappants : même pour des questions objectives de type QCM (MMLU), les utilisateurs obtiennent des réponses différentes, parfois incorrectes, et des choix de réponse jamais observés en offline. Cela remet en question la validité des benchmarks comme mesure de la capacité réelle des modèles en usage. L’introduction des ‘sock puppets’ est une tentative pragmatique de rendre ces évaluations plus réalistes à moindre coût, mais l’auteure reconnaît honnêtement leurs limites (diversité moindre). Les implications sociales sont bien esquissées : les inégalités potentielles entre utilisateurs (certains ayant des modèles ‘plus intelligents’ que d’autres) et les risques de comportements inattendus. Cependant, quelques limites subsistent : l’échantillon est restreint (13 questions, 2 modèles), et la généralisation à d’autres contextes reste à démontrer. De plus, l’auteure ne discute pas en profondeur des mécanismes sous-jacents de la personnalisation (comment exactement les modèles intègrent l’historique), ce qui pourrait être un axe de recherche futur. Enfin, l’absence de comparaison avec d’autres méthodes d’évaluation (comme les évaluations adversariales) limite la portée des conclusions. Malgré ces réserves, la rigueur méthodologique et la pertinence des questions posées en font une étude de référence pour repenser l’évaluation des LLM.

Le titre reflète précisément le contenu : l'inadéquation des évaluations offline face à la personnalisation.

8/10

Étude empirique originale avec méthodologie détaillée (800 utilisateurs réels, comparaison offline/field, sock puppets). Sources citées (MMLU, ETHICS, WildChat) fiables et reconnues. Limites : échantillon restreint, questions limitées, mais rigueur méthodologique solide.

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

• 00:00Introduction : inadéquation des évaluations offline face à la personnalisation.
• 02:00Exemples de comportements inattendus de chatbots (Microsoft Tay, etc.).
• 05:00Définition de la personnalisation et différences entre ChatGPT, Meta AI, Gemini.
• 08:00Démonstration de l'incohérence de la mémoire de Meta LLaMA entre navigateur et téléphone.
• 10:00Méthodologie de l'étude de terrain : 800 utilisateurs, questions variées.
• 15:00Résultats : diversité accrue des réponses en champ vs offline, même pour MMLU.
• 20:00Introduction des sock puppets pour simuler la diversité.
• 25:00Comparaison des scores entre utilisateurs et implications pour les benchmarks.
• 30:00Conclusion : nécessité d'évaluer les modèles en contexte d'interaction humaine.

• Page de la conférence Simons Institute — Page officielle de la présentation, contenant le résumé et les informations sur l'intervenante.

• MMLU — Benchmark utilisé dans l'étude pour évaluer les connaissances objectives.
• ETHICS — Jeu de données utilisé pour les questions éthiques.
• WildChat — Source des historiques de conversation pour les sock puppets.