Day 3: Shafi Goldwasser - Trustworthy AI: Robustness and Alignment | ADIA Lab Symposium 2025

Valeur des informations & solidité de l’argumentation

La conférence apporte une valeur scientifique élevée en présentant des résultats de recherche originaux et des preuves formelles. L’argumentation est solide, s’appuyant sur des concepts cryptographiques et des théorèmes. Goldwasser explique clairement les limites des approches naïves et justifie la nécessité d’une modélisation rigoureuse des adversaires. Elle illustre ses propos avec des exemples concrets (backdoors dans les systèmes d’admission, jailbreaks) et des analogies pédagogiques (calculatrice). La démonstration de l’impossibilité de filtrage externe est particulièrement convaincante et repose sur des hypothèses de temps de calcul.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est exemplaire : les résultats présentés sont issus de publications académiques et de travaux de recherche. Goldwasser cite ses propres travaux et ceux de ses collaborateurs, ainsi que des travaux d’autres chercheurs (par exemple, Boaz Barak). Les sources sont de haute qualité, mais la transcription ne fournit pas de références complètes. Le titre est en adéquation avec le contenu, qui traite spécifiquement de la robustesse et de l’alignement. Aucun commentaire n’a été fourni pour analyse.

Le titre correspond parfaitement au contenu : il s'agit bien d'une conférence sur la fiabilité et l'alignement de l'IA, donnée par Shafi Goldwasser lors du symposium ADIA Lab 2025.

8/10

Exposé par une experte de renommée mondiale (prix Turing), présentant des résultats de recherche théorique publiés et des preuves formelles. Le contenu est rigoureux, mais la transcription est partielle et le format oral limite la profondeur des détails techniques.

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

• 00:00Introduction par l'hôte et présentation de Shafi Goldwasser.
• 01:00Goldwasser pose les questions fondamentales sur la fiabilité de l'IA.
• 03:00Définition des défis de l'IA de confiance : confidentialité, vérification, robustesse, alignement.
• 07:00Introduction à la robustesse et aux attaques internes (backdoors).
• 10:00Présentation des travaux sur les backdoors indétectables dans les réseaux de neurones.
• 13:00Méthodes de défense par post-traitement et propriétés de self-reducibility.
• 16:00Discussion sur l'alignement et les jailbreaks.
• 19:00Impossibilité de filtrer efficacement les entrées/sorties nuisibles, preuve cryptographique.
• 22:00Conclusion et perspectives.

• Planting Undetectable Backdoors in Machine Learning Models — Article présenté par Goldwasser sur les backdoors indétectables.
• Oblivious Defense in Machine Learning Models — Article sur les méthodes de défense par post-traitement.
• Puzzle Jailbreaking LLMs through Word Based Puzzles — Article cité comme exemple de jailbreak.

• Adversarial Robustness - Theory and Practice — Travaux sur la robustesse adversarial, cohérents avec les propos de Goldwasser.

• Scaling Laws for Neural Language Models — Certains travaux empiriques suggèrent que les grands modèles de langage peuvent être fiables dans une certaine mesure, contrairement à l'accent mis par Goldwasser sur les limites théoriques.