29.4% ARC-AGI-2 🤯 (TOP SCORE!) - Jeremy Berman

Item: 29.4% ARC-AGI-2 🤯 (TOP SCORE!) - Jeremy Berman
Rating: 4
Author: PostSingularity Institute

Sciences formelles & physiques IA — Modèles & Recherche UYQIntelligence artificielle (IA)UYQDIntelligence artificielle générale (IAG)

🎙 Jeremy Berman 👥 218K 📅 27 septembre 2025 ⏱ 68 min 👁 18K 📄 revue d'actualité 🧭 2026-08-15

Disponible en : Français (actuel) English

Mots-clés

ARC-AGI-2évolutionlangage naturelraisonnementapprentissage par renforcement

Résumé

Dans cet épisode de Machine Learning Street Talk, Tim Scarfe reçoit Jeremy Berman, chercheur chez Reflection AI, qui a récemment obtenu le meilleur score public sur le benchmark ARC-AGI-2 avec environ 29,4%. Berman explique comment il est passé d’une approche évolutive générant des programmes Python (pour ARC-AGI-1) à une approche évolutive générant des descriptions en langage naturel des règles de transformation, plus expressives et plus faciles à vérifier par un modèle de raisonnement. La discussion explore les implications pour la recherche en IA : la distinction entre mémorisation et déduction, le rôle de l’apprentissage par renforcement dans le raisonnement, les limites de la compositionnalité des réseaux de neurones, et la possibilité d’une adaptation continue des modèles. Berman défend l’idée que le raisonnement est la méta-compétence clé pour l’AGI, et que les modèles de langage pourraient un jour atteindre une véritable généralité, malgré les défis comme l’oubli catastrophique. L’épisode aborde également des sujets comme la composabilité des modèles, l’architecture des circuits neuronaux, et la nature de l’intelligence, avec des références à des travaux de recherche et des discussions philosophiques.

178 mots

Évaluation critique

Valeur des informations & solidité de l’argumentation

La valeur des informations est élevée : l’épisode présente une approche novatrice pour résoudre ARC-AGI-2, avec des détails techniques concrets sur l’évolution en langage naturel. L’argumentation est solide, Berman justifie ses choix par des observations empiriques et des considérations théoriques. La discussion est nuancée, reconnaissant les limites de l’approche et les débats ouverts. Les échanges entre l’hôte et l’invité sont riches et constructifs, apportant des perspectives complémentaires.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est bonne : les références citées sont pertinentes et récentes (articles de recherche, blogs techniques). La qualité des sources est élevée, avec des liens vers des publications académiques et des travaux de recherche reconnus. L’adéquation entre le titre et le contenu est bonne, le titre annonçant clairement le sujet principal. Les commentaires des spectateurs sont majoritairement positifs, appréciant la profondeur de la discussion et les références partagées.

152 mots

Adéquation titre / contenu

Le titre reflète bien le contenu : l'annonce du score de Jeremy Berman et la discussion approfondie sur son approche.

Qualité & fiabilité

8/10

Discussion experte avec un chercheur ayant obtenu le meilleur score public sur ARC-AGI-2, appuyée par des références académiques et techniques. Les propos sont nuancés et critiques, mais certaines affirmations restent spéculatives.

Moments clés

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

Sources citées

Jeremy Berman's ARC-AGI v1 Blog Post — Blog post décrivant l'approche initiale de Berman pour ARC-AGI-1.
Getting 50% on ARC-AGI with GPT-4o — Article de Redwood Research sur l'obtention de 50% sur ARC-AGI avec GPT-4o.
A Thousand Brains — Livre de Jeff Hawkins sur la théorie de l'intelligence.
Deep Learning with Python Rev 3 — Site du livre de François Chollet sur le deep learning.
NDEA — Site de la société NDEA.
On the Biology of a Large Language Model — Article de Transformer Circuits sur la biologie des grands modèles de langage.
Connectionism and Cognitive Architecture — Article de James Garson sur le connexionnisme et l'architecture cognitive.
Fractured Entangled Representation Hypothesis — Article arXiv sur l'hypothèse de représentation fracturée et enchevêtrée.
Shinka Evolve — Page de Sakana AI sur Shinka Evolve.
On the Measure of Intelligence — Article de François Chollet sur la mesure de l'intelligence.
The ARChitects — Vidéo sur l'équipe ARChitects.
AlphaEvolve — Vidéo sur AlphaEvolve.

Sources concordantes

On the Measure of Intelligence — Article de François Chollet définissant l'intelligence comme la capacité d'adaptation et d'efficacité, en accord avec les propos de Berman sur la méta-compétence de raisonnement.
Getting 50% on ARC-AGI with GPT-4o — Article de Redwood Research montrant des résultats sur ARC-AGI, en cohérence avec les défis évoqués.

Sources discordantes

Connectionism and Cognitive Architecture — Cet article de James Garson présente des arguments sur les limites du connexionnisme, en contraste avec les espoirs de Berman sur les réseaux de neurones.

Références externes

Apport & nouveautés

L’apport original de cette vidéo réside dans la présentation détaillée d’une approche évolutive utilisant le langage naturel comme espace de recherche pour résoudre des tâches de raisonnement abstrait, en contraste avec les approches basées sur le code. La discussion met en lumière des perspectives nouvelles sur la distinction entre mémorisation et déduction, et sur le rôle de l’apprentissage par renforcement dans le développement de compétences de raisonnement générales.

Pour aller plus loin :

ARC-AGI — Le site officiel du benchmark ARC-AGI, pour comprendre les défis posés.
Apprentissage par renforcement — Article Wikipédia sur l’apprentissage par renforcement, concept central de la discussion.
François Chollet — Page Wikipédia sur François Chollet, créateur d’ARC et auteur de ‘On the Measure of Intelligence’.

119 mots

Profil radar

Le profil radar montre des scores élevés en quantité d'information et en niveau technique, indiquant une discussion dense et spécialisée. La qualité de l'information et la fiabilité globale sont également bonnes, mais légèrement inférieures, reflétant des spéculations et des opinions personnelles.

Fiabilité 8/10

💬 Sur les 30 commentaires analysés, le climat est très positif : les spectateurs saluent la profondeur de la discussion, les références partagées et la qualité des échanges, avec quelques débats techniques enrichissants.