Jakob Zeitler on Why LLMs Could Be Here To Stay (Even If They’re Bad) | FAI CDT

Jakob Zeitler on Why LLMs Could Be Here To Stay (Even If They’re Bad) | FAI CDT

par Jakob Zeitler

Sciences humaines, sociales & pensée IA — Modèles & Recherche UYQIntelligence artificielle (IA)UYQFIntelligence artificielle générative
🎙 Jakob Zeitler 👥 3K 📅 1 octobre 2025 ⏱ 39 min 👁 53 📄 débat 🧭 2026-08-15
Disponible en : Français (actuel) English

Mots-clés

LLMévaluationproductivitérechercheIA

Résumé

Dans cet entretien, Jakob Zeitler, chercheur à l’UCL, discute de l’avenir des grands modèles de langage (LLM) et de leur impact sur la recherche et l’industrie. Il commence par évoquer la surprise qu’a constituée l’essor des LLM lors de la conférence NeurIPS 2022, et compare ce phénomène à des cycles précédents en apprentissage automatique, comme celui des machines à vecteurs de support. Il critique la ‘church of scale’, l’idée que des modèles plus grands seront toujours meilleurs, et prédit une commoditisation des LLM, avec des modèles locaux gratuits et des modèles performants hébergés par des entreprises. Il souligne l’importance de distinguer les applications où une erreur est tolérable de celles où elle ne l’est pas, comme la conduite autonome ou la chirurgie. Il aborde la question de la créativité des LLM, reconnaissant qu’ils peuvent produire des suggestions utiles, mais doutant de leur capacité à générer des paradigmes radicalement nouveaux. Il discute également de la possibilité d’une intelligence artificielle générale, en notant que les LLM pourraient atteindre une ‘perception’ d’intelligence humaine pour certaines tâches, mais que la compréhension profonde du monde reste à démontrer. Il évoque le concept de ‘perroquet stochastique’ et le compare au comportement humain, tout en reconnaissant que les LLM pourraient avoir des modèles internes simples. Enfin, il développe une idée centrale : il est difficile, voire impossible, de mesurer rigoureusement si les LLM améliorent réellement la productivité, car cela nécessiterait des expériences contrôlées à grande échelle et des contrefactuels. Il craint que l’adoption massive des LLM ne nous enferme dans un espace sous-optimal, faute de tests adéquats, et insiste sur l’importance de développer des méthodes d’évaluation robustes.

270 mots

Évaluation critique

Valeur des informations & solidité de l’argumentation

La valeur des informations réside dans la perspective nuancée d’un chercheur en IA, qui ne tombe ni dans l’enthousiasme naïf ni dans le rejet systématique. Zeitler apporte des arguments originaux, notamment sur la difficulté d’évaluer l’impact des LLM, en soulignant le besoin de contrefactuels et d’expériences contrôlées. Il illustre ses propos par des exemples concrets (utilisation de Cursor, suggestions de papiers, etc.). L’argumentation est solide, bien que reposant souvent sur des intuitions personnelles et des analogies historiques (électricité, chemins de fer). Il reconnaît les limites de son expérience et évite les affirmations péremptoires. La discussion est structurée et aborde plusieurs facettes du sujet, mais reste à un niveau conceptuel, sans données chiffrées ni études précises.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est correcte pour un format de débat : les propos sont nuancés, les opinions sont clairement distinguées des faits, et l’interlocuteur pousse à la précision. Cependant, aucune source formelle n’est citée dans la vidéo, et la description ne fournit pas de liens. Les références à des travaux (comme les ‘stochastic parrots’) sont implicites, sans citation précise. L’adéquation titre/contenu est bonne : le titre annonce la thèse principale, à savoir que les LLM pourraient persister même s’ils ne sont pas efficaces, et la discussion explore cette idée. Le titre est légèrement provocateur mais fidèle au contenu.

228 mots

Adéquation titre / contenu

Le titre reflète bien le thème central : la pérennité des LLM malgré leurs défauts, abordée sous l'angle de la difficulté à évaluer leur valeur.

Qualité & fiabilité

7/10

Discussion experte nuancée, mais sans références formelles ni données chiffrées ; opinions personnelles clairement identifiées.

Moments clés

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

Apport & nouveautés

L’apport original de cette vidéo est de mettre en lumière un angle souvent négligé : la difficulté épistémique à évaluer l’impact réel des LLM sur la productivité. Zeitler propose que l’adoption massive des LLM pourrait être irréversible même si elle n’est pas bénéfique, faute de méthodes de test adéquates. Il introduit l’idée que nous avons besoin de contrefactuels pour juger, ce qui est rarement discuté. Il relie cela à des précédents historiques (électricité, chemins de fer) et à des biais cognitifs (peur de rater une opportunité). Cette perspective est précieuse pour les chercheurs et décideurs.

Pour aller plus loin :

  • Stochastic Parrots — Concept clé mentionné dans la discussion, à explorer pour comprendre les critiques des LLM.
  • Turing Test — Référence pertinente pour la discussion sur l’évaluation de l’intelligence.
  • Counterfactual thinking — Pertinent pour l’argument de Zeitler sur la nécessité de contrefactuels pour évaluer l’impact des LLM.

147 mots

Profil radar

Le profil radar montre une vidéo équilibrée avec des scores modérés : la quantité d'information est correcte, la qualité est bonne, le niveau technique est accessible, et la fiabilité est moyenne. Cela reflète un débat d'experts sans données chiffrées, mais avec des arguments solides.

Fiabilité 6/10