Benchmarking Machine Learning for Climate Science | Duncan Watson-Parris | ADIA Lab Symposium 2026

Valeur des informations & solidité de l’argumentation

La présentation apporte une valeur certaine en identifiant les limites des benchmarks actuels et en proposant des améliorations concrètes. L’argumentation est solide, appuyée sur des exemples précis et des résultats mesurables (scores, pourcentages). L’orateur démontre une progression logique : chaque benchmark répond à une lacune précédente. Il met en avant des leçons clés comme la saturation rapide des benchmarks et l’importance des données par rapport à l’architecture. Son raisonnement est convaincant, même si certaines transitions peuvent sembler rapides pour un public non spécialiste.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est exemplaire : l’orateur est co-auteur de ces benchmarks et cite des résultats concrets. Il reconnaît explicitement les limites (tâches difficiles, sur-ajustement) et propose des principes structurés pour des évaluations fiables. Les sources mentionnées (ClimateBench, ClimaQA, Zephyrus) sont des travaux publiés, même si aucun lien direct n’est fourni dans la description. Le titre est parfaitement adapté au contenu, qui se concentre exclusivement sur le benchmarking. Aucun commentaire public n’est fourni, donc aucune tendance n’est analysée.

Le titre reflète exactement le contenu : le benchmarking de modèles ML pour le climat est au cœur de l'exposé.

8/10

Présentation experte par un chercheur reconnu, s'appuyant sur trois benchmarks développés par son groupe et publiés. La rigueur scientifique est élevée, avec une attention particulière à l'extrapolation et aux limites des modèles. Quelques affirmations manquent de détails chiffrés, mais l'argumentation est solide.

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

• 02:00Introduction du contexte : les questions climatiques sont hors distribution, nécessitant une évaluation de l'extrapolation.
• 05:00Présentation de ClimateBench et découverte que les modèles linéaires surpassent les réseaux profonds par manque de données.
• 09:00Présentation de ClimateBench 2 avec un protocole en trois niveaux, incluant des tests d'extrapolation sur le paléoclimat.
• 13:00ClimaQA : test des LLMs sur des connaissances climatiques de niveau graduate, résultats montrant que la récupération améliore les modèles open source.
• 17:00Zephyrus : agents IA pour l'analyse météo, amélioration de 28-44 points avec outils et données, mais les tâches difficiles restent à 14-15%.
• 18:20Six principes de conception pour de futurs benchmarks, soulignant l'importance de les maintenir à jour comme des infrastructures.

• Symposium 2026 ADIA Lab — Page de l'événement où la présentation a eu lieu.