He Co-Invented the Transformer. Now: Continuous Thought Machines [Llion Jones / Luke Darlow]

Item: He Co-Invented the Transformer. Now: Continuous Thought Machines [Llion Jones / Luke Darlow]
Rating: 4
Author: PostSingularity Institute

par Machine Learning Street Talk

Sciences formelles & physiques IA — Modèles & Recherche UYQIntelligence artificielle (IA)UYQNRéseaux neuronaux et systèmes flous

🎙 Machine Learning Street Talk 👥 218K 📅 23 novembre 2025 ⏱ 72 min 👁 107K 📄 revue d'actualité 🧭 2026-08-15

Disponible en : Français (actuel) English

Mots-clés

TransformerContinuous Thought MachinesAdaptive computationRecherche exploratoireSakana AI

Résumé

Dans cet épisode de Machine Learning Street Talk, Llion Jones, co-inventeur du Transformer, et Luke Darlow, chercheur chez Sakana AI, discutent des limites des architectures actuelles et présentent leur nouvelle approche : les Continuous Thought Machines (CTM). Llion explique pourquoi il s’éloigne des Transformers, les jugeant dans un ‘minimum local’ dû à un phénomène de ‘capture par le succès’. Il critique la standardisation de la recherche et plaide pour une plus grande liberté exploratoire, inspirée par les idées de Kenneth Stanley. Luke détaille ensuite le fonctionnement des CTM, une architecture récurrente inspirée de la biologie, qui utilise la synchronisation neuronale et le calcul adaptatif pour permettre un ’temps de réflexion’ variable selon la complexité du problème. Ils illustrent cela avec l’exemple du labyrinthe, où le modèle ‘marche’ pas à pas plutôt que de deviner le chemin d’un coup. La discussion aborde également la calibration des modèles, les limites des LLM actuels, et l’importance de préserver une recherche ouverte et non contrainte par des objectifs commerciaux. L’épisode se conclut sur le potentiel des CTM pour dépasser les limitations des Transformers et ouvrir de nouvelles voies vers une IA plus proche de la cognition humaine.

193 mots

Évaluation critique

Valeur des informations & solidité de l’argumentation

La valeur des informations est élevée : les intervenants sont des acteurs clés de la recherche en IA, et ils partagent des perspectives originales et critiques sur l’état du domaine. L’argumentation est solide, appuyée sur des exemples concrets (le problème de la spirale, l’analogie du labyrinthe) et des références académiques (articles sur les CTM, la spline theory, etc.). Ils défendent leur point de vue avec nuance, reconnaissant les succès des Transformers tout en soulignant leurs limites structurelles. La discussion est riche et stimulante, même si certaines affirmations restent spéculatives et mériteraient d’être validées par des expériences plus vastes.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est bonne : les intervenants citent plusieurs travaux de recherche pertinents, et la description de la vidéo fournit des liens vers les articles et ressources mentionnés. La qualité des sources est élevée, avec des références à des publications arXiv et à des travaux de recherche reconnus. L’adéquation entre le titre et le contenu est bonne : le titre annonce clairement le sujet principal, à savoir le recul de Llion Jones vis-à-vis des Transformers et la présentation des CTM. Les commentaires du public sont majoritairement positifs, saluant la profondeur de la discussion et la qualité des invités, bien que certains expriment des réserves sur la faisabilité des idées proposées.

224 mots

Adéquation titre / contenu

Le titre reflète bien le contenu : l'interview porte sur le recul de Llion Jones vis-à-vis des Transformers et sur la présentation des Continuous Thought Machines.

Qualité & fiabilité

8/10

Discussion experte avec des chercheurs reconnus, appuyée sur des références académiques solides (articles arXiv, publications de conférences). Les propos sont nuancés et critiques, mais certaines affirmations restent spéculatives et non vérifiées expérimentalement à grande échelle.

Chapitres

Sources citées

Continuous Thought Machines — Article de recherche présentant l'architecture CTM, discuté en détail dans la vidéo.
The Hardware Lottery — Article de Sara Hooker mentionné pour illustrer le concept de 'loterie matérielle' et la dépendance aux architectures dominantes.
Intelligent Matrix Exponentiation — Article cité comme exemple de représentation 'spirale' dans les réseaux de neurones.
A Spline Theory of Deep Networks — Théorie des splines pour les réseaux profonds, mentionnée pour expliquer le comportement des ReLU.
On the Biology of a Large Language Model — Article d'Anthropic sur la biologie des LLM, cité pour discuter des représentations internes.
Neural Turing Machine — Article fondateur sur les machines de Turing neuronales, mentionné comme inspiration pour les architectures récurrentes.
Adaptive Computation Time for Recurrent Neural Networks — Article sur le calcul adaptatif, pertinent pour la discussion sur le temps de réflexion.
Sudoku Bench — Benchmark proposé par Sakana AI pour mesurer le raisonnement, mentionné dans la vidéo.
Questioning Representational Optimism in Deep Learning: The Fractured Entangled Representation Hypothesis — Article cité pour discuter des limites des représentations dans les modèles profonds.
Why Greatness Cannot be Planned — Livre de Kenneth Stanley, source d'inspiration pour la philosophie de recherche de Sakana AI.

Sources concordantes

Continuous Thought Machines — Article principal présentant les CTM, en accord avec les propos de la vidéo.
The Hardware Lottery — Analyse de Sara Hooker sur les contraintes architecturales, soutenant l'idée de 'capture par le succès'.
A Spline Theory of Deep Networks — Théorie des splines expliquant le comportement des ReLU, en lien avec la critique des représentations.

Sources discordantes

On the Biology of a Large Language Model

Références externes

Apport & nouveautés

L’apport principal de cette vidéo est de mettre en lumière une critique profonde des architectures dominantes (Transformers) et de proposer une alternative concrète, les Continuous Thought Machines, qui intègrent le calcul adaptatif et une inspiration biologique. La discussion apporte un éclairage original sur les raisons pour lesquelles la recherche en IA est souvent conservatrice, et plaide pour une exploration plus ouverte. Les intervenants partagent des idées novatrices sur la manière de concevoir des modèles capables de ‘réfléchir’ de façon plus humaine.

Pour aller plus loin :

Continuous Thought Machines (article) — Article de référence sur l’architecture CTM, à lire pour approfondir les détails techniques.
The Hardware Lottery (article) — Analyse de Sara Hooker sur les contraintes matérielles et architecturales, pertinente pour comprendre le contexte.
Why Greatness Cannot be Planned (livre) — Ouvrage de Kenneth Stanley qui inspire la philosophie de recherche de Sakana AI.
A Spline Theory of Deep Networks (article) — Théorie des splines pour comprendre le comportement des réseaux ReLU, utile pour saisir les limites des représentations.
Neural Turing Machine (article) — Travail fondateur de Graves sur les machines de Turing neuronales, lié aux architectures récurrentes.
Adaptive Computation Time (article) — Article de Graves sur le calcul adaptatif, directement pertinent pour les CTM.
Sudoku Bench (site) — Benchmark de Sakana AI pour évaluer le raisonnement, mentionné dans la vidéo.

221 mots

Profil radar

Le profil radar montre une vidéo très riche en informations (quantité et qualité élevées) et avec un niveau technique soutenu. La fiabilité est bonne, mais légèrement inférieure aux autres scores, reflétant le caractère spéculatif de certaines propositions. La vidéo est donc une ressource de grande valeur pour un public averti, mais nécessite un esprit critique pour distinguer les faits établis des hypothèses.

Fiabilité 8/10

💬 Très positif. Sur les 30 commentaires analysés, la grande majorité exprime une admiration pour la profondeur de la discussion et la qualité des invités, certains allant jusqu'à qualifier l'épisode de 'meilleur talk IA' récent.