Keynote Lecture: Ellie Pavlick - CCN 2025

Valeur des informations & solidité de l’argumentation

La conférence apporte une valeur significative en déplaçant le débat théorique sur la compositionnalité vers une analyse empirique des mécanismes internes des LLM. L’argumentation est solide, s’appuyant sur des résultats de recherche récents et des exemples concrets. Pavlick présente des preuves de l’existence de circuits spécialisés et de calculs intermédiaires, ce qui contredit l’idée que les réseaux de neurones ne font qu’approximer des fonctions sans structure interne. Elle nuance toutefois ces résultats en soulignant la variabilité et la sensibilité au contexte, ce qui renforce la crédibilité de son propos. La distinction entre compositionnalité structurelle et fonctionnelle est claire et bien illustrée. L’argumentation est cohérente et évite les affirmations trop générales, reconnaissant les limites des études corrélationnelles.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est élevée : la conférence est présentée dans un cadre académique et s’appuie sur des travaux publiés (Wang et al., etc.) et des analyses empiriques. Les sources sont implicites mais crédibles, issues de la recherche en interprétabilité des modèles. Le titre est en adéquation parfaite avec le contenu, annonçant clairement le sujet. La qualité des sources est bonne, bien que la conférence ne fournisse pas de références détaillées dans la vidéo elle-même. L’adéquation titre/contenu est excellente, sans ambiguïté.

Le titre est précis et correspond exactement au contenu : une conférence plénière d'Ellie Pavlick au CCN 2025.

8/10

Exposé scientifique rigoureux, s'appuyant sur des travaux publiés et des analyses empiriques, présenté dans le cadre d'une conférence académique de référence. L'absence de détails méthodologiques complets et la nature de synthèse limitent une note maximale.

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

• 00:00Introduction par Laura, présentation d'Ellie Pavlick et du sujet de la conférence.
• 02:00Début de l'exposé : définition de la compositionnalité et exemples intuitifs.
• 05:00Discussion des définitions formelles (Partee, Fodor et Pylyshyn) et du débat sur la compatibilité avec les réseaux de neurones.
• 10:00Introduction des trois propriétés émergentes de la compositionnalité dans les LLM.
• 15:00Explication de la compositionnalité structurelle avec l'exemple du 'odd one out' et des circuits.
• 20:00Présentation des circuits dans les LLM (exemple de copie de noms) et de leur réutilisation.
• 25:00Transition vers la compositionnalité fonctionnelle et la décomposition des tâches.
• 30:00Analyse des signatures de traitement (logit lens) montrant des étapes intermédiaires.
• 35:00Discussion sur la modularité des représentations et les interventions sur les activations.
• 40:00Conclusion et perspectives sur la conventionalité et la sensibilité au contexte.

• Wang et al. (2022) - Interpretability in the Wild: a Circuit for Indirect Object Identification in GPT-2 small — Cité comme travail influent sur les circuits dans les LLM.

• Wang et al. (2022) - Interpretability in the Wild: a Circuit for Indirect Object Identification in GPT-2 small — Confirme l'existence de circuits spécialisés dans les LLM.