Dana Arad: SAEs for Content Control

Valeur des informations & solidité de l’argumentation

La valeur des informations est élevée : la présentatrice expose des résultats de recherche originaux, avec une méthodologie claire et des exemples concrets. L’argumentation est solide, appuyée sur des expériences et des comparaisons avec des méthodes de référence. Elle répond aux questions avec précision et nuance, reconnaissant les limites de son approche. La distinction entre caractéristiques d’entrée et de sortie est bien motivée et illustrée, et la méthode d’unlearning est présentée comme une avancée prometteuse.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est bonne : les travaux sont présentés avec des détails méthodologiques, et les références à des travaux antérieurs (Anthropic, Stanford, etc.) sont mentionnées. La qualité des sources est correcte, bien que la présentation ne cite pas explicitement toutes les publications. L’adéquation titre/contenu est parfaite : le titre reflète exactement le sujet de l’exposé.

Le titre est précis et correspond exactement au contenu : présentation de deux travaux sur l'utilisation des SAE pour le contrôle de contenu.

8/10

Exposé scientifique de haut niveau par une chercheuse spécialiste, s'appuyant sur des travaux publiés et des résultats expérimentaux. Les méthodes sont décrites avec précision, les limites sont évoquées, et les références sont clairement identifiées. La présentation est rigoureuse, avec une distinction nette entre observations et interprétations.

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

• 00:00Introduction et contexte de la présentation
• 02:00Définition de la polysémanticité et introduction aux SAE
• 05:00Explication du fonctionnement des SAE et de leur entraînement
• 10:00Présentation du concept de steering et de ses applications
• 15:00Discussion sur les limites des SAE pour le steering et comparaison avec des méthodes simples
• 20:00Introduction de la taxonomie input/output features
• 25:00Définition des scores d'entrée et de sortie et exemples
• 30:00Analyse de l'émergence des features selon les couches du modèle
• 35:00Présentation de la méthode d'unlearning persistant avec les SAE
• 40:00Discussion et questions-réponses

• Steering LLMs: Even Simple Baselines Outperform Sparse Autoencoders — Comparaison des méthodes de steering, mentionnée comme source de motivation
• Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet — Travail d'Anthropic sur les SAE et le steering, cité pour l'exemple de biais de genre
• Gemma Scope — SAE pré-entraînés sur Gemma, utilisés pour les exemples de steering

• Scaling Monosemanticity — Confirme l'utilité des SAE pour le steering dans certains cas
• Steering LLMs: Even Simple Baselines Outperform Sparse Autoencoders — Montre les limites des SAE pour le steering, ce qui motive la taxonomie proposée

• Steering LLMs: Even Simple Baselines Outperform Sparse Autoencoders — Ce travail suggère que les SAE ne sont pas efficaces pour le steering, contrairement à ce que la présentatrice défend, mais elle explique que cela est dû à une sélection inadéquate des caractéristiques.