Attacking AI - Jason Haddix - NDC Security 2026
Mots-clés
Résumé
165 mots
Évaluation critique
Valeur des informations & solidité de l’argumentation
La valeur des informations est élevée : le conférencier partage des études de cas réelles et une méthodologie éprouvée, ce qui est rare dans le domaine. L’argumentation est solide, basée sur des exemples concrets et des retours d’expérience. Il explique clairement les concepts et les étapes, rendant la présentation accessible tout en restant technique.
Rigueur scientifique, qualité des sources, adéquation du titre
La rigueur scientifique est bonne : le conférencier s’appuie sur son expérience et des cas réels, mais ne cite pas de sources académiques. Les sources mentionnées sont principalement des références à des outils et des CTF (Gandalf, Bad Words). L’adéquation titre/contenu est parfaite : le titre ‘Attacking AI’ résume bien le sujet. Aucun commentaire n’a été fourni pour analyser les tendances du public.
132 mots
Adéquation titre / contenu
Le titre 'Attacking AI' reflète parfaitement le contenu : une présentation de méthodes et d'exemples d'attaques contre des systèmes basés sur l'IA.
Qualité & fiabilité
8/10
Conférence d'un expert reconnu en sécurité offensive, présentant une méthodologie basée sur des études de cas réelles. Les informations sont pratiques et issues d'expériences de terrain, mais reposent sur des preuves anecdotiques et ne sont pas soumises à une validation académique.
Moments clés
Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.
- Introduction et présentation de l'orateur
- Explication de la première tentative d'échec et de la nature non déterministe des LLM
- Présentation de l'architecture des systèmes d'IA d'entreprise (RAG, agents, applications web)
- Introduction de la méthodologie en sept points
- Étude de cas : Amazon Rufus et l'encodage ASCII
- Étude de cas : système de santé et attaque via fichiers malveillants
- Étude de cas : système automobile interne
- Discussion sur les ressources pour apprendre (Gandalf, taxonomie d'Arcanum)
- Conclusion et remerciements
Sources citées
- NDC Security — Conférence où le talk a été donné
- NDC Conferences — Organisateur de la conférence
Sources concordantes
- OWASP Top 10 for LLM Applications — Liste des risques de sécurité pour les applications LLM, en accord avec les attaques présentées.
Apport & nouveautés
L’apport original de cette vidéo est la présentation d’une méthodologie pratique et éprouvée pour évaluer la sécurité des systèmes d’IA, basée sur des études de cas réelles. Contrairement aux approches académiques, elle se concentre sur des attaques réalistes et exploitables. Elle introduit également le concept de ‘first try fallacy’ et propose une taxonomie des injections de prompts.
Pour aller plus loin :
- Gandalf — CTF pour s’entraîner aux injections de prompts.
- OWASP Top 10 for LLM Applications — Référence pour les risques de sécurité des applications LLM.
- Prompt injection — Article Wikipédia sur le sujet.
95 mots
Profil radar
Le profil radar montre des scores élevés en quantité et qualité d'information, ainsi qu'en fiabilité, mais un niveau technique légèrement inférieur, indiquant que le contenu est accessible tout en restant pertinent pour les experts.