Towards building safe and secure AI: Lessons and Open Challenges

Valeur des informations & solidité de l’argumentation

La conférence apporte une valeur significative en synthétisant des travaux de recherche récents et en proposant une taxonomie des risques et des défenses pour les agents IA. L’argumentation est structurée et s’appuie sur des exemples concrets (attaques réelles, benchmarks). La distinction entre sécurité au niveau du modèle et sécurité au niveau du système d’agents est claire et pertinente. L’accent mis sur la nécessité d’une approche sociotechnique et de politiques fondées sur des preuves est bien argumenté. Cependant, certaines parties sont survolées par manque de temps, et la démonstration de l’asymétrie attaquant-défenseur aurait pu être plus détaillée.

Rigueur scientifique, qualité des sources, adéquation du titre

La conférence est scientifiquement rigoureuse : l’oratrice est une experte reconnue, et les travaux cités sont issus de publications académiques et de benchmarks publics. Les sources sont de haute qualité, bien que non détaillées dans la vidéo (pas de références précises). Le titre est adéquat, reflétant bien le contenu. La description fournit des informations sur l’oratrice et le contexte, mais pas de liens directs vers les travaux mentionnés. Aucune séquence publicitaire n’est présente.

Le titre est fidèle au contenu : la conférence aborde les défis de la sécurité et de la sûreté de l'IA, avec un accent sur les agents et la cybersécurité.

8/10

Conférence par une experte reconnue (professeure à UC Berkeley, prix prestigieux), présentant des travaux de recherche publiés et des benchmarks publics. Les affirmations sont étayées par des références à des papiers et des systèmes concrets, mais la forme orale limite la profondeur des preuves.

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

• 00:00Introduction par Dawn Song, professeure à UC Berkeley, et présentation du sujet : construire une IA sûre et sécurisée.
• 02:00Distinction entre sécurité au niveau du modèle et sécurité au niveau du système d'agents, et introduction des deux axes : protéger les agents et atténuer les mauvais usages.
• 05:00Présentation de la diversité des agents IA et de l'augmentation de la surface d'attaque avec la flexibilité.
• 08:00Exemples d'attaques réelles sur des agents (ClawHub) et introduction des propriétés de sécurité nécessaires.
• 10:00Présentation du red teaming automatique pour l'évaluation des agents, avec des exemples comme LeakAgent et AgentAv2.
• 12:00Présentation d'AgentExploit, un système multi-agents pour le red teaming automatique.
• 15:00Discussion sur les défenses en profondeur et présentation de ProAgent, un contrôle de privilèges programmable.
• 18:00Transition vers la cybersécurité : présentation des benchmarks CyberGym et ExploitGym pour mesurer les capacités des modèles frontières.
• 21:00Analyse de l'asymétrie attaquant-défenseur et plaidoyer pour une défense proactive par construction sécurisée.
• 24:00Présentation d'initiatives comme AgentBeast et Agents Last Exam, et invitation au sommet sur les agents.

• International AI Report — Rapport mentionné par l'oratrice, dirigé par Yasha Banjo, couvrant les risques de l'IA.
• AgentBeast — Plateforme pour l'évaluation standardisée des agents, mentionnée par l'oratrice.
• Agents Last Exam — Benchmark pour évaluer les agents sur des tâches économiquement précieuses, mentionné par l'oratrice.
• Agentic AI Learning — Cours en ligne sur l'IA agentique, mentionné par l'oratrice.

• AgentBeast — Plateforme d'évaluation des agents, cohérente avec les propos de l'oratrice.
• Agents Last Exam — Benchmark mentionné, cohérent avec les propos.