Google's Harness² Is This the End of Harness Engineering?

Item: Google's Harness² Is This the End of Harness Engineering?
Rating: 4
Author: PostSingularity Institute

Le Harness² de Google est-ce la fin de l'ingénierie des harnais ?

Historique des titres

Google's Harness² Is This the End of Harness Engineering? — observé le 20261031-2304 UTC (YouTube)

par Kai · Voir la chaîne sur PSI

Sciences appliquées & ingénierie Informatique & Cybersécurité UMZGénie logiciel UMZTTest et vérification de logiciel

🎙 Kai 👥 65K 📅 23 octobre 2026 ⏱ 22 min 👁 73K 📄 revue d'actualité 🧭 2026-10-31

Disponible en : Français (actuel) English

Mots-clés

ingénierie de harnaisagents IAamélioration récursivebenchmarkcoût de calcul

Résumé

Cette vidéo analyse en profondeur l’article Google Harness² (arXiv:2610.14224) qui présente un système d’auto-amélioration récursive des harnais d’agents IA. Le principe repose sur un modèle éditeur qui observe un agent et génère deux variantes de harnais, puis les teste pour ne conserver que les améliorations bénéfiques. L’expérience principale montre un gain de 11,5 points pour GLM-5 sur le benchmark WorkBuddy, mais l’auteur souligne que le harnais de base était vide, ce qui fausse la comparaison. En réalité, les outils existants comme Claude Code offrent déjà un harnais performant. Le coût en tokens et en exécutions est très élevé, nécessitant jusqu’à 20 runs par tâche. L’auteur examine les échecs possibles, comme le biais du modèle, le sur-apprentissage ou la contamination des benchmarks. Il conclut que l’ingénierie de harnais ne disparaît pas mais se déplace vers une couche d’abstraction supérieure, l’éditeur lui-même étant guidé par un harnais écrit à la main (annexe H). Enfin, il propose des conseils pratiques pour améliorer ses propres harnais sans utiliser le système complet.

167 mots

Évaluation critique

Valeur des informations & solidité de l’argumentation

La valeur des informations fournies est élevée : la vidéo détaille des chiffres concrets, compare les coûts et met en évidence des problèmes souvent ignorés comme le harnais de base vide et le biais du modèle. L’argumentation est solide et progressive, expliquant chaque mécanisme avec clarté. L’auteur critique avec justesse les exagérations des autres médias et apporte une perspective nuancée. Les exemples concrets d’améliorations (règle de nommage, vérification des fichiers) renforcent la crédibilité. Cependant, certaines interprétations restent subjectives, notamment sur l’avenir du métier.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est bonne : l’auteur a lu l’article complet, cite des annexes et des abandons. Il utilise des sources primaires (arXiv, GitHub) et mentionne les limitations. La qualité des sources est correcte puisque ce sont des références directes à l’étude. L’adéquation titre/contenu est bonne, le titre interroge et la vidéo répond clairement. Les analyses des commentaires ne sont pas intégrées ici, mais le public semble divisé entre enthousiasme et scepticisme sur le coût.

173 mots

Adéquation titre / contenu

Le titre est accrocheur et reflète bien le contenu qui interroge la fin de l'ingénierie de harnais face à Harness², avec une réponse nuancée.

Qualité & fiabilité

8/10

La vidéo s'appuie sur une lecture détaillée de l'article de recherche Google Harness², fournissant de nombreuses données chiffrées et une analyse critique, soulignant les limites de la comparaison et les coûts élevés. Quelques interprétations personnelles, mais l'ensemble est fiable et bien documenté.

Chapitres

Sources citées

Harness²: Recursive Agent Harnessing for an Open World (arXiv) — Article de recherche original présentant le système Harness²
Code et documentation Harness² — Dépôt GitHub officiel avec le code source et les fichiers
Expériences et détails du benchmark — Documentation des expériences, y compris le problème de téléchargement du rubrique
Requête de limite de dépense (issue 4) — Question concernant l'absence de limite de budget dans le code
Page du projet — Page officielle du projet Harness²
Meta-Harness (Joel Niklaus) — Outil de Joel Niklaus comparé dans la vidéo pour les coûts
Podcast Sequoia avec Logan Kilpatrick — Discussion sur l'absorption du harnais par les modèles

Apport & nouveautés

La vidéo apporte une analyse critique originale sur l’article Harness², en particulier en révélant que le harnais de base était vide et que la comparaison avec des outils commerciaux est plus nuancée. Elle détaille les coûts réels en tokens et en exécutions, et souligne le rôle crucial du harnais écrit à la main (annexe H) qui guide l’éditeur. Cette perspective n’est pas souvent mise en avant dans les autres vidéos. Pour aller plus loin :

Article Harness² — L’article original pour approfondir.
Projet Harness² sur GitHub — Explorer le code et la documentation.
Page du projet — Informations complémentaires.
Méta-harnais de Joel Niklaus — Comparaison avec un outil similaire.

109 mots

Profil radar

Le profil radar montre des scores élevés en quantité et qualité d'information, indiquant un contenu dense et bien analysé. Le niveau technique est bon, mais la fiabilité globale reste légèrement inférieure en raison d'une interprétation personnelle notable. L'ensemble est très informatif.

Fiabilité 8/10

💬 Sur les 30 commentaires analysés, le climat est équilibré : beaucoup de spectateurs apprécient l'analyse détaillée, tandis que certains critiquent le style de script répétitif et soulèvent des questions techniques. Quelques-uns reprennent des points clés de la vidéo, indiquant un engagement réel.