Séminaire DIC-ISC-CRIA - 20 novembre 2025 par Ari HOLTZMAN

Valeur des informations & solidité de l’argumentation

La valeur des informations est élevée : l’orateur propose un cadre conceptuel original pour étudier les LLM, en les considérant comme des systèmes complexes plutôt que comme des artefacts d’ingénierie. Il argumente de manière convaincante que les approches mécanistes actuelles sont limitées et que des descriptions comportementales précises sont nécessaires. L’argumentation est structurée et s’appuie sur des exemples concrets, comme l’analogie avec la taxonomie de Linné et la théorie de l’évolution. L’orateur reconnaît les limites de ses propres travaux et les questions ouvertes, ce qui renforce la crédibilité de son propos.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est bonne : l’orateur cite ses propres travaux et ceux d’autres chercheurs, et présente des données expérimentales. Les sources sont de qualité (publications ICLR, EMNLP, arXiv). L’adéquation entre le titre et le contenu est bonne, même si le titre est métaphorique. Le contenu est cohérent avec le titre, qui évoque l’articulation de l’ineffable, c’est-à-dire la mise en mots de comportements difficiles à décrire.

Le titre est ambitieux et métaphorique, mais le contenu correspond bien à une tentative d'articuler des comportements ineffables des LLM.

8/10

Exposé scientifique rigoureux, s'appuyant sur des travaux publiés et des expériences contrôlées. Les limites des résultats sont clairement énoncées. Quelques affirmations théoriques (ex. nécessité de mémorisation) sont présentées sans démonstration complète.

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

• 00:00Introduction et remerciements
• 03:00Définition de l'ineffable et objectif de la présentation
• 10:00Les LLM comme organisme modèle pour l'articulation
• 20:00Comparaison avec les humains : mesurabilité et répétabilité
• 30:00Limites des approches mécanistes et nécessité d'une approche comportementale
• 40:00Présentation du benchmark AbsenceBench
• 50:00Résultats : les LLM échouent à détecter les omissions
• 1:00:00Hypothèses sur les causes : attention et pivot
• 1:10:00Discussion et questions

• Generative Models as a Complex Systems Science — Référence principale de l'orateur sur la vision des LLM comme systèmes complexes
• The Curious Case of Neural Text Degeneration — Article fondateur sur le nucleus sampling, introduit par Holtzman
• Symbolic Knowledge Distillation: from General Language Models to Commonsense Models — Travail sur la distillation de connaissances symboliques
• Surface Form Competition: Why the Highest Probability Answer Isn't Always Right — Étude sur la compétition des formes de surface

• Generative Models as a Complex Systems Science — L'orateur s'appuie sur ce papier pour justifier son approche.