Meaning in Large Language Models: Bridging Formal Semantics, Pragmatics, and Learned Representations

Valeur des informations & solidité de l’argumentation

La conférence offre une valeur importante en proposant une relecture historique de la sémantique et de la pragmatique, et en questionnant les fondements conceptuels de ces disciplines. L’argumentation est solide, s’appuyant sur des références académiques et une analyse fine des influences intellectuelles. Potts défend avec nuance l’idée d’une sémantique connexionniste, en montrant à la fois les opportunités et les défis. Il illustre son propos par des exemples concrets et des références à des travaux récents, ce qui renforce la crédibilité de son argumentation.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est élevée : l’auteur est un chercheur reconnu, les sources citées sont des publications dans des conférences majeures (ACL, NAACL). La qualité des sources est bonne, même si la transcription ne permet pas de vérifier toutes les références. L’adéquation titre/contenu est bonne, le titre reflétant bien le propos. La conférence est bien structurée et les arguments sont présentés de manière claire et logique.

Le titre reflète bien le contenu : la conférence explore le sens dans les LLM en reliant sémantique formelle, pragmatique et représentations apprises.

8/10

Conférence académique par un chercheur reconnu (Stanford), avec références à des publications ACL. Le contenu est structuré et argumenté, mais la transcription est partielle et il s'agit d'une présentation orale sans relecture.

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

• 00:00Introduction par l'hôte et début de la conférence de Christopher Potts.
• 03:00Potts présente son parcours personnel et l'origine de son intérêt pour la sémantique et la pragmatique.
• 10:00Première partie : historique des influences en sémantique et pragmatique, de la logique positiviste à Montague et Grice.
• 20:00Discussion sur les dogmes centraux de la sémantique formelle et leur remise en question.
• 30:00Deuxième partie : vers une sémantique connexionniste, intégrant les représentations apprises par les LLM.
• 40:00Exemples de travaux récents sur l'interprétabilité des LLM et leur lien avec les théories symboliques.
• 50:00Troisième partie : implications pour l'avenir de la sémantique et de la pragmatique, et discussion avec le public.
• 1:00:00Questions du public et réponses de Potts sur les limites et les perspectives de l'approche connexionniste.
• 1:10:00Conclusion et remerciements.

• CausalGym: Benchmarking causal interpretability methods on linguistic tasks — Référence citée dans la description de la vidéo, utilisée pour illustrer les travaux sur l'interprétabilité causale.
• Mission: Impossible Language Models — Référence citée dans la description, sur les limites des modèles de langage.
• RAVEL: Evaluating interpretability methods on disentangling language model representations — Référence citée dans la description, sur l'évaluation des méthodes d'interprétabilité.
• ARES: An automated evaluation framework for retrieval-augmented generation systems — Référence citée dans la description, sur l'évaluation des systèmes de génération augmentée par récupération.

• CausalGym: Benchmarking causal interpretability methods on linguistic tasks — Travaux de Potts et al. sur l'interprétabilité causale, en accord avec les idées de la conférence.
• RAVEL: Evaluating interpretability methods on disentangling language model representations — Travaux sur l'évaluation des méthodes d'interprétabilité, en lien avec la discussion sur les représentations.

• Aucune source discordante identifiée — Aucune source discordante n'a été trouvée dans la transcription ou la description.