The AI Progress Chart Everyone Is Misreading — Beth Barnes & David Rein

Valeur des informations & solidité de l’argumentation

La valeur des informations est élevée : les intervenants sont les créateurs du graphique et expliquent en détail les choix méthodologiques, les biais potentiels et les limites. L’argumentation est solide, appuyée sur des exemples concrets (ARC-AGI, SWE-bench) et des analogies éclairantes (chevaux vs guichetiers). Ils défendent une approche non adversariale de la sélection des tâches pour obtenir des tendances plus stables. La discussion est nuancée, reconnaissant les incertitudes et les critiques possibles.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est bonne : les intervenants citent des travaux (GPQA, HCAST, time horizons) et des chercheurs (Melanie Mitchell, François Chollet). Les sources sont de première main, mais la discussion reste informelle. Le titre est adéquat : il met l’accent sur le graphique et son interprétation, ce qui correspond au contenu. Les commentaires (non fournis) ne sont pas analysés.

Le titre est pertinent : la conversation se concentre sur le graphique des horizons temporels de METR et sur les erreurs d'interprétation courantes, avec les créateurs de ce graphique.

8/10

Discussion approfondie avec des experts reconnus (Beth Barnes, fondatrice de METR, et David Rein, créateur de GPQA) sur la méthodologie des benchmarks et l'interprétation des courbes de progression. Les intervenants sont des acteurs clés du domaine, et l'échange est nuancé, avec des mises en garde sur les limites des mesures. La fiabilité est élevée, mais le format débat implique des opinions et des interprétations subjectives.

• 00:00Intro
• 02:06Sponsor break: Prolific human-feedback infrastructure
• 02:33Welcome and the scalable oversight motivation
• 06:02Construct validity, benchmark pathologies and the Chollet worry
• 15:45Time Horizons: human time, HCAST tasks and the 50% logistic
• 24:50Is human difficulty really one variable?
• 33:05Agent harness evolution and the inference-compute dividend
• 40:00Scaffolding bells, token budgets and the credit-assignment problem
• 44:15Look at the damn graph: regularisation bug and reliability nuance
• 50:00Why 50%? Reliability, reward hacking and pizza-party transcripts
• 55:20Extrapolation risk and straight lines on graphs
• 59:25Software engineering as a specification acquisition problem
• 1:07:40Compilers also made ugly code: vibe-coding quality and Claude on METR Slack
• 1:15:15Strongest defensible claim, Carlini's compiler swarm and AI 2027
• 1:23:45SWE-bench merge rates, the bank-teller analogy and horses
• 1:31:45Scheming, alignment faking and the mentalistic vocabulary problem
• 1:40:45Reward hacking, monitorability and chain-of-thought faithfulness
• 1:45:25Recursive self-improvement, knowledge vs intelligence and closing

• Prolific - Human data infrastructure — Sponsor de l'épisode, mentionné comme infrastructure pour obtenir des données humaines de qualité.
• Interview avec Beth Barnes et David Rein (lien YouTube) — Lien vers une interview complémentaire mentionnée dans la description.

• METR Time Horizons paper — Article décrivant la méthodologie et les résultats du graphique des horizons temporels.
• GPQA: A Graduate-Level Google-Proof Q&A Benchmark — Benchmark créé par David Rein, mentionné comme exemple de benchmark traditionnel.

• ARC-AGI-2