Conférence plénière : Jean Philippe Magué (ENS Lyon, France -- 26 septembre 2025)

Conférence plénière : Jean Philippe Magué (ENS Lyon, France -- 26 septembre 2025)

par Jean-Philippe Magué

Sciences humaines, sociales & pensée Mathématiques PBMathématiques
🎙 Jean-Philippe Magué 👥 63 📅 2 décembre 2025 ⏱ 41 min 👁 53 📄 conférence 🧭 2026-08-16
Disponible en : Français (actuel) English

Mots-clés

variation linguistiquegenreLLMstéréotypesanalyse discriminante

Résumé

Jean-Philippe Magué présente une étude sur la capacité des grands modèles de langue (LLM) à inférer le genre d’un utilisateur de Twitter à partir de ses tweets. Il commence par un jeu interactif avec le public, montrant que les humains réussissent cette tâche dans 63% des cas, avec une asymétrie : les hommes se trompent plus souvent en identifiant des femmes. Il utilise un corpus de 650 millions de tweets, dont 4000 utilisateurs ont été annotés manuellement pour le genre et l’âge. Il sélectionne 1000 tweets (500 hommes, 500 femmes) et les soumet à GPT-4 avec trois conditions de prompt : le modèle doit se présenter comme homme, comme femme, ou sans indication de genre. Les résultats montrent que GPT-4 atteint des performances similaires aux humains (63-65%), avec la même asymétrie. Il analyse ensuite les justifications produites par le modèle en les projetant dans un espace vectoriel (embeddings) et en utilisant une analyse discriminante linéaire pour identifier les axes de variation. Il montre que les justifications varient selon le genre assigné au modèle, révélant des stéréotypes de genre : les femmes sont associées à l’émotion, à la politesse, aux emojis, tandis que les hommes sont associés à la rudesse, à la compétition, au registre factuel. Il discute de l’importance de ces résultats pour comprendre comment les LLM reproduisent et amplifient les stéréotypes sociaux.

223 mots

Évaluation critique

Valeur des informations & solidité de l’argumentation

La valeur des informations est élevée : l’étude est originale, s’appuyant sur un corpus massif et une méthodologie rigoureuse. L’argumentation est solide, avec une progression claire : d’abord la performance humaine, puis celle du modèle, puis l’analyse des justifications. L’auteur prend soin de reconnaître les limites (échantillon non représentatif, approche binaire du genre) et de nuancer ses conclusions. Il montre une bonne maîtrise des outils numériques et une réflexion critique sur leur utilisation.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est bonne : l’auteur détaille la construction du corpus, les méthodes d’annotation, les conditions expérimentales. Il utilise des méthodes statistiques appropriées (analyse discriminante linéaire) et interprète les résultats avec prudence. Les sources ne sont pas explicitement citées dans la vidéo, mais la méthodologie est transparente. Le titre est adéquat, bien que générique, et correspond au contenu. La conférence s’inscrit dans un cadre académique (colloque CRIHN), ce qui renforce sa crédibilité.

161 mots

Adéquation titre / contenu

Le titre est descriptif et correspond au contenu : il s'agit bien d'une conférence plénière donnée par Jean-Philippe Magué à l'ENS Lyon, dans le cadre d'un colloque sur les humanités numériques et l'IA.

Qualité & fiabilité

8/10

Conférence scientifique présentant une étude originale avec une méthodologie détaillée, des données réelles et une analyse critique. Les limites méthodologiques sont reconnues (échantillon non représentatif, approche binaire du genre). La démarche est transparente et les résultats sont présentés avec nuance.

Moments clés

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

Apport & nouveautés

L’apport original de cette conférence est de montrer que les LLM, comme GPT-4, peuvent inférer le genre d’un utilisateur à partir de ses tweets avec une précision comparable à celle des humains, mais que cette capacité est influencée par le genre assigné au modèle dans le prompt. L’analyse des justifications révèle que le modèle mobilise des stéréotypes de genre de manière différenciée selon sa posture, ce qui soulève des questions sur la reproduction des biais sociaux par l’IA.

Pour aller plus loin :

  • Sociolinguistique — Discipline qui étudie les liens entre langue et société, pertinente pour comprendre la variation linguistique.
  • Analyse discriminante linéaire — Méthode statistique utilisée pour séparer des classes, ici pour distinguer les justifications selon le genre.
  • Biais algorithmique — Concept clé pour discuter des stéréotypes reproduits par les modèles d’IA.

133 mots

Profil radar

Le profil radar montre des scores élevés en quantité et qualité d'information, ainsi qu'en fiabilité, avec un niveau technique modéré. Cela indique une conférence riche en contenu, bien structurée et fiable, mais nécessitant un certain niveau de familiarité avec les méthodes numériques.

Fiabilité 8/10