Software Costs Millions to Make but Claude Cracked It in Seconds. (Pt - 1)

Valeur des informations & solidité de l’argumentation

La valeur des informations est élevée : l’auteur cite des données chiffrées (tokens consommés, coûts, taux de réussite) et des sources publiques (GitHub, arxiv, blogs). L’argumentation est solide car il montre les deux faces : réussites et échecs, avec une explication mécaniste (présence d’un correcteur). Il démonte les mythes médiatiques tout en reconnaissant les progrès réels. La démonstration est progressive, appuyée par des exemples concrets et des comparaisons judicieuses.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est bonne : les sources sont indiquées dans la description et couvrent les articles, repos, et analyses. L’auteur prend soin de distinguer les affirmations vérifiées des suppositions, et il souligne les limites des métriques (ex. SRE-Bench). L’adéquation du titre est trompeuse car il laisse entendre une réussite totale, alors que le contenu est nuancé ; cela affecte la note globale mais ne masque pas la qualité de l’analyse.

Le titre suggère une performance instantanée de l'IA, mais la vidéo nuance fortement cette affirmation en montrant que le succès dépend d'un 'correcteur' (answer key). L'adéquation est partielle.

8/10

La vidéo s'appuie sur des sources variées (GitHub, papers, blogs) et fournit des chiffres précis avec contexte. L'analyse est nuancée et critique, évitant les exagérations médiatiques.

• 00:00$85,207 of tokens, no playable map
• 00:36Why it looks like everything's open
• 01:2799.2% within four tries: the footnote
• 02:30What a compiler throws away
• 03:41Guess and check: the answer key
• 05:25Melee: six years of answer key
• 06:13PhotoCraft grades itself against Photoshop
• 07:18Modern Warfare 2 had no grader
• 08:21426 times: the subsidy under the demos
• 09:00A crash is an answer key too

• PhotoCraft (GitHub) — Projet open source, clone de Photoshop en Rust, développé avec Claude Opus.
• ArtCraft apps (GitHub) — Ensemble de sept applications open source alternatives aux outils Adobe CC.
• ArtCraft launch post (Opus 5.5) — Annonce de la création des applications ArtCraft avec Claude Opus 5.5.
• Generative Fill runs on Adobe's servers — Discussion sur le fait que la fonctionnalité Generative Fill nécessite une connexion internet et s'exécute sur les serveurs d'Adobe.
• GPT-6 Astra figures (Simon Willison) — Analyse des chiffres annoncés pour GPT-6 Astra, dont le score SRE-Bench.
• SRE-Bench paper — Article présentant le benchmark SRE-Bench et ses conditions d'évaluation.
• Vals SRE Bench comparison — Comparaison indépendante des modèles sur SRE-Bench par Vals.
• MirrorCode — Article sur une technique de rétro-ingénierie assistée par IA.
• Matching decompilation test — Test de décompilation correspondante avec des LLM sur des jeux rétro.
• Melee 100% decompilation — Article sur la décompilation complète de Super Smash Bros. Melee avec l'aide de l'IA.
• MW2 agents post — Publication de Maurice Humeman sur la tentative de décompilation de Modern Warfare 2.
• MW2 audit — Audit des coûts et résultats de la décompilation de MW2.
• FFmpeg and curl bug economics — Étude sur la découverte de vulnérabilités par IA dans FFmpeg et curl, coûts et efficacité.
• TheFlow and the PS5 bug — Témoignage d'un hacker PlayStation sur l'impact de l'IA dans la signalisation de bugs.

• PhotoCraft (GitHub) — Le repository confirme l'utilisation d'un oracle Photoshop pour évaluer les rendus.
• SRE-Bench paper — Le papier détaille la présence de scripts de correction automatique, ce qui correspond à la thèse de la vidéo.