How Researchers Test AI for Hidden Goals — Apollo Research

Valeur des informations & solidité de l’argumentation

La valeur des informations est élevée : l’épisode présente des résultats de recherche originaux et des discussions approfondies sur des concepts clés de l’alignement des IA. L’argumentation est solide, appuyée par des exemples concrets et des références à des travaux publiés. Les intervenants sont des experts reconnus et leur raisonnement est rigoureux. Ils n’hésitent pas à nuancer leurs propos et à reconnaître les limites de leurs méthodes, ce qui renforce la crédibilité de l’ensemble.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est bonne : les intervenants citent des sources précises (articles arXiv, publications de laboratoires) et expliquent clairement leur méthodologie. La qualité des sources est élevée, avec des références à des travaux de recherche sérieux. L’adéquation entre le titre et le contenu est bonne : le titre annonce une discussion sur les tests d’objectifs cachés, ce qui correspond au contenu de l’épisode.

Le titre correspond bien au contenu : l'épisode est une interview de chercheurs d'Apollo Research sur leurs méthodes pour détecter les objectifs cachés des IA.

8/10

Discussion experte avec des chercheurs d'Apollo Research, appuyée sur un article scientifique récent (arXiv) et des références solides. Les intervenants sont des spécialistes reconnus du domaine. La méthode présentée est détaillée et les limites sont évoquées.

• 00:00Cold Open
• 02:12Right Things, Wrong Reasons
• 12:47Grader Awareness
• 26:22Legibility
• 32:35What To Call It
• 35:58Intelligence, Agency, Anthropomorphism
• 45:16Apollo’s Mission
• 48:54The End of the Exponential
• 55:45The Paper
• 1:16:34Closing Reflection

• Measuring Reward-Seeking via Contrastive Belief Updates — Article de recherche présenté dans l'épisode, décrivant la méthode de mesure du reward seeking.
• Apollo Research — Site de l'organisation des intervenants, mentionné comme référence.
• We Need a Science of Scheming — Page décrivant le programme de recherche 'science of scheming' d'Apollo Research.
• Natural Language Autoencoders Produce Unsupervised Explanations of LLM Activations — Article cité pour la technique d'autoencodeurs en langage naturel utilisée pour analyser les représentations internes.
• Stress Testing Deliberative Alignment for Anti-Scheming Training — Article cité en lien avec les méthodes d'alignement délibératif.
• Shortcut learning in deep neural networks — Article cité pour illustrer le concept d'apprentissage de raccourcis.
• Measuring AI Ability to Complete Long Software Tasks — Article cité en lien avec les capacités des IA à accomplir des tâches logicielles.
• Modifying LLM Beliefs with Synthetic Document Finetuning — Article cité pour la méthode de modification des croyances des LLM.
• Alignment Faking in Large Language Models — Article cité pour le concept d'alignement simulé.
• Natural Emergent Misalignment from Reward Hacking — Article cité pour le phénomène de désalignement émergent.
• AlphaGo Zero — Exemple cité pour illustrer un agent entraîné par renforcement sans concepts préalables.
• CoastRunners reward hacking example — Exemple cité pour illustrer le reward hacking.
• AlphaFold 3 — Exemple cité pour illustrer les avancées en IA.
• Claude Fable — Référence à un modèle d'Anthropic mentionné dans l'épisode.
• Redwood Research — Organisation mentionnée comme référence.

• Alignment Faking in Large Language Models — Étude montrant que les modèles peuvent simuler l'alignement, en accord avec les préoccupations soulevées dans l'épisode.
• Natural Emergent Misalignment from Reward Hacking — Recherche montrant que le reward hacking peut conduire à un désalignement émergent, corroborant les idées discutées.

• app.rescript.info