Stabilizing PDE-ML system || How Does Neural Network Training Work || Oct 17, 2025

Stabilizing PDE-ML system || How Does Neural Network Training Work || Oct 17, 2025

par CRUNCH Group: Home of Math + Machine Learning + X

Sciences formelles & physiques IA — Modèles & Recherche UYQIntelligence artificielle (IA)UYQNRéseaux neuronaux et systèmes flous
🎙 CRUNCH Group: Home of Math + Machine Learning + X 👥 4K 📅 17 octobre 2025 ⏱ 140 min 👁 645 📄 séminaire scientifique 🧭 2026-08-15
Disponible en : Français (actuel) English

Mots-clés

PDE-MLstabilisationEdge of Stabilityréseaux de neuronesMori-Zwanzig

Résumé

Ce séminaire du CRUNCH Group présente deux exposés scientifiques. Le premier, par Saad Qadeer (PNNL), traite de la stabilisation des systèmes couplés équations aux dérivées partielles (PDE) et apprentissage machine (ML). Il étudie un problème prototype basé sur l’équation de Burgers visqueuse, où le terme de diffusion est remplacé par un réseau de neurones. Il montre que l’instabilité provient du biais spectral des réseaux de neurones, qui ne capturent pas correctement les hautes fréquences, conduisant à une accumulation d’énergie et à une explosion de la solution. Il propose une solution simple : appliquer un filtre passe-bas pour limiter les hautes fréquences, ce qui stabilise le système mais au prix d’une perte de précision. Il introduit ensuite le formalisme de Mori-Zwanzig pour améliorer la précision du modèle réduit. Le second exposé, par Chulhee (Charlie) Yun (KAIST), explore le phénomène ‘Edge of Stability’ dans l’entraînement des réseaux de neurones, où la netteté (sharpness) de la fonction de perte dépasse le seuil prédit par l’analyse classique de la descente de gradient, tout en continuant à diminuer la perte. Il propose une hypothèse de ‘vallée fluviale’ pour le paysage de la perte et analyse l’optimiseur Schedule-Free AdamW à travers ce prisme.

197 mots

Évaluation critique

Valeur des informations & solidité de l’argumentation

Les deux exposés présentent une valeur scientifique élevée. Le premier apporte une analyse détaillée du problème d’instabilité dans les systèmes PDE-ML, avec une identification claire de la cause (biais spectral) et une stratégie de stabilisation simple mais efficace. L’argumentation est solide, appuyée par des simulations numériques et des décompositions mathématiques. Le second expose un phénomène récent et important dans l’entraînement des réseaux de neurones, avec une revue des explications théoriques et une nouvelle hypothèse originale. L’argumentation est rigoureuse, s’appuyant sur des résultats publiés et des analyses empiriques.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est élevée : les présentations sont basées sur des travaux de recherche originaux, avec des démonstrations mathématiques et des résultats expérimentaux. Les sources ne sont pas explicitement listées dans la description, mais les références aux travaux de Defazio et al. (2024) et aux publications sur le Edge of Stability sont implicites. Le titre est adéquat, couvrant les deux thèmes principaux. La qualité des sources est bonne, mais l’absence de références explicites dans la description limite la vérifiabilité.

182 mots

Adéquation titre / contenu

Le titre reflète bien les deux thèmes principaux : la stabilisation des systèmes PDE-ML et le fonctionnement de l'entraînement des réseaux de neurones.

Qualité & fiabilité

8/10

Exposés de deux chercheurs (PNNL, KAIST) présentant des travaux de recherche originaux, avec des démonstrations mathématiques et des résultats expérimentaux. Le niveau est avancé et le contenu est rigoureux, mais la vidéo ne fournit pas de sources écrites détaillées dans la description.

Moments clés

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

Sources citées

  • Defazio et al. (2024) - Schedule-Free AdamW — Cité dans le second exposé pour l'analyse de l'optimiseur Schedule-Free AdamW.

Sources concordantes

Apport & nouveautés

L’apport original de cette vidéo réside dans la présentation de deux avancées récentes : d’une part, une stratégie de stabilisation des systèmes PDE-ML basée sur l’analyse du biais spectral et l’application de filtres passe-bas, avec une perspective d’amélioration via le formalisme de Mori-Zwanzig ; d’autre part, une nouvelle hypothèse sur le paysage de la fonction de perte dans l’entraînement des réseaux de neurones, la ‘vallée fluviale’, qui offre un cadre pour comprendre le phénomène Edge of Stability et les avantages des optimiseurs sans planification.

Pour aller plus loin :

  • Équation de Burgers — Équation aux dérivées partielles fondamentale en mécanique des fluides, utilisée comme problème prototype.
  • Biais spectral — Phénomène où les réseaux de neurones apprennent préférentiellement les basses fréquences, expliquant les difficultés avec les hautes fréquences.
  • Formalisme de Mori-Zwanzig — Méthode de réduction de modèles pour les systèmes dynamiques, utilisée pour améliorer la précision des modèles réduits.
  • Edge of Stability — Phénomène observé dans l’entraînement des réseaux de neurones, où la netteté dépasse le seuil de stabilité classique.
  • Schedule-Free AdamW — Optimiseur récent sans planification de taux d’apprentissage, analysé dans le second exposé.

184 mots

Profil radar

Le profil radar montre un niveau technique élevé (9/10) et une bonne fiabilité globale (8/10), avec une quantité et une qualité d'information solides (8/10). Cela indique un contenu dense et rigoureux, destiné à un public averti.

Fiabilité 8/10

💬 Sur les 0 commentaires analysés, aucune tendance n'a pu être dégagée.