AI Agents can write 10,000 lines of hacking code in seconds [Dr. Ilia Shumailov]

Item: AI Agents can write 10,000 lines of hacking code in seconds [Dr. Ilia Shumailov]
Rating: 4
Author: PostSingularity Institute

par Machine Learning Street Talk

Sciences appliquées & ingénierie IA — Actualité & Applications UYInformatique UYQIntelligence artificielle (IA)

🎙 Machine Learning Street Talk 👥 218K 📅 4 octobre 2025 ⏱ 61 min 👁 15K 📄 revue d'actualité 🧭 2026-08-15

Disponible en : Français (actuel) English

Mots-clés

agents IAsécuritéinjection de promptsCAMLmenaces internes

Résumé

Dans cet entretien, le Dr Ilia Shumailov, ancien chercheur en sécurité chez DeepMind, discute des défis de sécurité posés par les agents IA. Il explique la différence entre sûreté (safety) et sécurité (security), soulignant que la sécurité concerne les pires scénarios avec des acteurs malveillants. Il détaille les risques d’injection de prompts indirects, où des instructions cachées dans des emails ou des pages web peuvent détourner un agent. Il présente le système CAML, développé avec Google et ETH Zurich, qui utilise une orchestration formelle pour contrôler les flux de données et empêcher les fuites. Il compare les agents à des adversaires pires que des humains, car ils peuvent travailler 24h/24, toucher tous les endpoints et générer des outils de hacking en quelques secondes. Il aborde aussi les backdoors architecturaux, les attaques sur la chaîne d’approvisionnement des modèles, et les limites de la censure des LLM. Enfin, il évoque le model collapse et donne des conseils de carrière, rendant hommage à son mentor Ross Anderson.

164 mots

Évaluation critique

Valeur des informations & solidité de l’argumentation

La valeur des informations est élevée : l’interview fournit des perspectives d’expert sur des sujets émergents, avec des exemples concrets et des références à des travaux récents. L’argumentation est solide, appuyée par des expériences pratiques et des publications. Shumailov nuance ses propos, reconnaissant les limites des approches actuelles. Il propose des solutions innovantes comme CAML, mais admet que la sécurité des agents reste un défi ouvert.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est bonne : l’invité cite des articles académiques et des travaux de recherche, et les liens de la description fournissent des sources primaires. La qualité des sources est élevée, avec des publications de Google DeepMind, Anthropic, et des conférences reconnues. L’adéquation titre/contenu est correcte, le titre étant un peu sensationnaliste mais fidèle au sujet. Les commentaires ne sont pas fournis, donc aucune analyse des tendances du public n’est possible.

153 mots

Adéquation titre / contenu

Le titre est accrocheur et reflète bien le contenu : la capacité des agents IA à générer du code de hacking est un thème central de l'interview.

Qualité & fiabilité

8/10

L'interview est menée par un chercheur reconnu en sécurité des systèmes d'IA, avec des références académiques solides et des exemples concrets. Les propos sont nuancés et s'appuient sur des travaux publiés. Quelques affirmations restent spéculatives, mais l'ensemble est fiable.

Chapitres

Sources citées

Lessons from Defending Gemini Against Indirect Prompt Injections — Article décrivant les défis de la défense contre les injections de prompts indirectes sur Gemini.
Defeating Prompt Injections by Design (CAML) — Article présentant le système CAML pour contrer les injections de prompts par conception.
Agentic Misalignment: How LLMs could be insider threats — Recherche d'Anthropic sur les risques de désalignement des agents LLM comme menaces internes.
STOP ANTHROPOMORPHIZING INTERMEDIATE TOKENS AS REASONING/THINKING TRACES! — Article critiquant l'anthropomorphisation des tokens intermédiaires comme traces de raisonnement.
Machine learning models have a supply chain problem — Article sur les problèmes de chaîne d'approvisionnement des modèles de machine learning.
Supply-chain attacks in machine learning frameworks — Article sur les attaques de la chaîne d'approvisionnement dans les frameworks ML.
Apache Log4j Vulnerability Guidance — Guide de la CISA sur la vulnérabilité Log4j, mentionné comme exemple d'attaque de la chaîne d'approvisionnement.
Architectural backdoors in neural networks — Article sur les backdoors architecturaux dans les réseaux de neurones.
Position: Fundamental Limitations of LLM Censorship Necessitate New Approaches — Article sur les limites fondamentales de la censure des LLM.
AlphaEvolve MLST interview — Interview de MLST sur AlphaEvolve, mentionnée comme référence.

Sources concordantes

Agentic Misalignment: How LLMs could be insider threats — Recherche d'Anthropic qui corrobore les risques de menaces internes des agents.
Defeating Prompt Injections by Design — Article présentant CAML, une solution défensive discutée dans la vidéo.

Sources discordantes

STOP ANTHROPOMORPHIZING INTERMEDIATE TOKENS AS REASONING/THINKING TRACES! — Cet article critique l'interprétation des tokens intermédiaires comme raisonnement, ce qui peut contredire certaines affirmations sur la compréhension des modèles.

Références externes

Apport & nouveautés

L’interview apporte un éclairage d’expert sur la sécurité des agents IA, un sujet émergent et crucial. Elle propose des solutions concrètes comme CAML et discute de concepts peu connus comme les backdoors architecturaux. L’originalité réside dans la perspective d’un ancien insider de DeepMind, qui combine recherche académique et expérience industrielle.

Pour aller plus loin :

Injection de prompts — Article Wikipédia sur l’injection de prompts, concept central de la vidéo.
Sécurité des systèmes d’information — Contexte général sur la sécurité informatique.
Apprentissage automatique — Pour comprendre les bases des modèles de ML.

92 mots

Profil radar

Le profil radar montre une excellente qualité et fiabilité des informations, avec un niveau technique élevé. La quantité d'informations est également bonne, mais la note globale est légèrement inférieure en raison de la nature spéculative de certains propos.

Fiabilité 8/10