HAI Seminar: Intersectional Biases in Generative Language Models and Their Psychosocial Impacts

Cette présentation offre une analyse rigoureuse et nuancée des biais intersectionnels dans les modèles de langage génératifs. La force principale réside dans la méthodologie : l’étude s’appuie sur un large corpus (500 000 histoires) et une diversité de modèles, ce qui renforce la généralisabilité des résultats. Les intervenants intègrent des perspectives interdisciplinaires, alliant informatique, éducation et psychologie sociale, ce qui enrichit l’analyse. Ils ancrent leurs travaux dans des concepts établis comme la ‘menace du stéréotype’ (Steele & Aronson) et les études sur les noms (Bertrand & Mullainathan), conférant une crédibilité académique. L’argumentation est solide : ils montrent comment des biais subtils dans les récits générés peuvent avoir des impacts concrets sur les apprenants, en affectant leur sentiment d’appartenance et leurs performances. Cependant, quelques limites sont à noter. D’abord, la présentation ne fournit pas de résultats quantitatifs détaillés, se concentrant sur des exemples qualitatifs. On aimerait voir des statistiques plus précises sur l’ampleur des biais. Ensuite, la taxonomie des races basée sur la proposition de recensement américain de 2023 est discutable, car elle peut ne pas capturer toute la complexité des identités. De plus, l’étude se limite aux modèles anglophones, ce qui restreint la portée des conclusions. Enfin, la présentation ne discute pas suffisamment des stratégies d’atténuation, bien qu’elle mentionne des pistes. Malgré ces réserves, la valeur scientifique est élevée : l’étude est originale, bien conçue et répond à un besoin crucial de recherche sur les impacts sociétaux de l’IA. La qualité des sources est bonne, avec des références à des travaux académiques reconnus. L’adéquation entre le titre et le contenu est parfaite. Dans l’ensemble, cette présentation constitue une contribution importante à la compréhension des biais algorithmiques et de leurs conséquences psychosociales.

Le titre reflète précisément le contenu : l'étude des biais intersectionnels dans les modèles de langage génératifs et leurs impacts psychosociaux.

8/10

Présentation d'une étude originale avec une méthodologie détaillée (500 000 histoires générées, 4 modèles, 3 domaines), des sources académiques citées (stereotype threat, études sur les noms), et un ancrage dans des travaux reconnus. La démarche est transparente et les limites sont évoquées.

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

• 00:00Introduction et reconnaissance des terres ancestrales
• 05:00Présentation des intervenants et motivation personnelle
• 10:00Exemple de biais avec le prompt 'American star student'
• 15:00Discussion avec le public sur les stéréotypes perçus
• 20:00Méthodologie de l'étude : domaines, conditions, modèles
• 30:00Analyse des marqueurs d'identité (noms, pronoms)
• 40:00Liens avec la menace du stéréotype et impacts éducatifs
• 50:00Discussion sur les implications et les limites
• 1:00:00Questions-réponses avec le public

• Steele, C. M., & Aronson, J. (1995). Stereotype threat and the intellectual test performance of African Americans. — Référence au concept de menace du stéréotype mentionné dans la vidéo.
• Bertrand, M., & Mullainathan, S. (2004). Are Emily and Greg More Employable Than Lakisha and Jamal? A Field Experiment on Labor Market Discrimination. — Étude sur l'impact des noms dans les discriminations, citée pour justifier l'utilisation des noms comme marqueurs de race.
• US Census Bureau (2023). Proposed 2023 Census Proposal for Race and Ethnicity. — Référence à la taxonomie des races utilisée dans l'étude.

• Bolukbasi, T., et al. (2016). Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings. — Étude pionnière sur les biais de genre dans les représentations vectorielles, concordant avec les résultats sur les biais dans les modèles de langage.
• Sheng, E., et al. (2019). The Woman Worked as a Babysitter: On Biases in Language Generation. — Recherche sur les biais dans la génération de texte, en accord avec les observations de la vidéo.

• Blodgett, S. L., et al. (2020). Language (Technology) is Power: A Critical Survey of 'Bias' in NLP.