[M2L 2025] 2.1 Emerging Challenges in NLP - Seraphina Goldfarb-Tarrant

Valeur des informations & solidité de l’argumentation

La valeur des informations est élevée : l’intervenante, experte reconnue, apporte un éclairage original sur les défis de la sécurité en TAL, en s’appuyant sur des travaux de recherche récents et des exemples concrets. L’argumentation est solide et bien structurée : elle identifie trois changements majeurs et en tire des implications claires pour l’évaluation et l’atténuation des risques. Elle nuance ses propos en reconnaissant les limites des approches actuelles, comme la fragilité de l’alignement ou la difficulté d’évaluer la génération. La discussion sur les métriques intrinsèques de biais et leur manque de corrélation avec les biais applicatifs est particulièrement pertinente et étayée par des études citées.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est bonne : l’intervenante s’appuie sur des travaux publiés (Bertrand et Mullainathan, Bolukbasi et al., etc.) et cite ses propres recherches. La qualité des sources est correcte, même si certaines références ne sont pas explicitement données dans la vidéo. L’adéquation titre/contenu est bonne : le titre annonce clairement les défis émergents en TAL, et la conférence traite effectivement de ce sujet. Aucun commentaire n’étant fourni, aucune tendance du public n’est analysée.

Le titre est fidèle au contenu : il s'agit bien d'une présentation des défis émergents en TAL, avec un focus sur la sécurité.

8/10

Exposé structuré par une chercheuse reconnue, s'appuyant sur des travaux publiés et des exemples concrets. Les propos sont nuancés et les limites des méthodes sont clairement identifiées. La fiabilité est élevée, même si certains points restent des opinions expertes.

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

• 00:00Introduction : présentation du plan de la conférence et définition de la sécurité en TAL.
• 02:00Définition des deux perspectives d'évaluation de la sécurité : équité et contenu nuisible.
• 05:00Exemples d'évaluation de l'équité : performance égale et invariance.
• 08:00Exemples de contenu nuisible : désinformation et instructions dangereuses.
• 10:00Premier changement : passage des modèles spécialisés aux modèles généralistes.
• 15:00Discussion sur les métriques intrinsèques de biais et leur manque de corrélation avec les biais applicatifs.
• 20:00Deuxième changement : passage de la classification à la génération.
• 25:00Troisième changement : uniformisation des méthodes d'atténuation autour de l'alignement.
• 30:00Discussion sur les limites de l'alignement et la fragilité des modèles.
• 40:00Conclusion et questions-réponses.

• Bertrand, M., & Mullainathan, S. (2004). Are Emily and Greg More Employable Than Lakisha and Jamal? A Field Experiment on Labor Market Discrimination. — Cité pour l'exemple des noms à consonance ethnique dans l'évaluation de l'équité.
• Bolukbasi, T., Chang, K. W., Zou, J., Saligrama, V., & Kalai, A. (2016). Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings. — Cité comme travail fondateur sur le biais de genre dans les plongements de mots.
• Goldfarb-Tarrant, S., et al. (2021). Intrinsic bias metrics do not correlate with application bias. — Travail de l'intervenante sur le manque de corrélation entre métriques intrinsèques et biais applicatifs.
• Voita, E., et al. (2019). Information-Theoretic Probing with Minimum Description Length. — Méthode de sondage informationnelle mentionnée pour l'analyse des représentations.

• Bender, E. M., et al. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? — Discute des risques des grands modèles de langage, en cohérence avec les préoccupations soulevées.
• Weidinger, L., et al. (2021). Ethical and social risks of harm from Language Models. — Analyse des risques éthiques et sociaux des modèles de langage, en accord avec les propos.