Abnormal convergence issue in DeepONet || ML in modeling turbulent mixing || Sep 5, 2025

Item: Abnormal convergence issue in DeepONet || ML in modeling turbulent mixing || Sep 5, 2025
Rating: 4
Author: PostSingularity Institute

par CRUNCH Group: Home of Math + Machine Learning + X

Sciences formelles & physiques IA — Modèles & Recherche UYQIntelligence artificielle (IA)UYQNRéseaux neuronaux et systèmes flous

🎙 CRUNCH Group: Home of Math + Machine Learning + X 👥 4K 📅 5 septembre 2025 ⏱ 125 min 👁 204 📄 séminaire scientifique 🧭 2026-08-15

Disponible en : Français (actuel) English

Mots-clés

DeepONetopérateur neuronalconvergenceQR décompositionapprentissage automatique

Résumé

Ce séminaire du CRUNCH Group présente deux interventions. La première, par Jie Zhao (Pengcheng Laboratory, Chine), traite d’un problème de convergence anormale dans les DeepONet (Deep Operator Networks). Zhao explique que les DeepONet, qui apprennent des opérateurs entre espaces de fonctions, peuvent montrer une non-convergence lorsque la largeur des couches augmente. Il identifie une cause : la dépendance linéaire des fonctions de base apprises par le réseau ’trunk’. Pour y remédier, il propose une modification simple : après la sortie du trunk, il force la matrice à être de rang plein en mettant les éléments au-dessus de la diagonale à zéro et en fixant la diagonale à 1, puis applique une décomposition QR pour obtenir une base orthonormale. Cette modification, appelée ‘QR-DeepONet’, est testée sur plusieurs équations (Burger, etc.) et montre une amélioration de la convergence et de la précision, avec un surcoût de calcul modéré (moins de 30% en temps d’entraînement). La deuxième intervention, par Sébastien Thévenin (Lawrence Livermore National Laboratory), porte sur la contribution de l’apprentissage automatique à la modélisation du mélange turbulent. Thévenin présente des approches de ML pour améliorer les modèles de fermeture en turbulence, en utilisant des réseaux de neurones pour prédire des termes non fermés. Il discute des défis liés à la généralisation et à la physique sous-jacente. Le séminaire se conclut par une session de questions-réponses où les participants discutent des différences avec d’autres méthodes (two-step DeepONet, POD) et des coûts de calcul.

240 mots

Évaluation critique

Valeur des informations & solidité de l’argumentation

La valeur des informations est élevée pour un public spécialisé. La première présentation apporte une analyse originale du problème de convergence dans les DeepONet, avec une explication basée sur l’analyse en valeurs singulières de la matrice trunk. L’argumentation est solide : l’auteur montre des résultats expérimentaux sur plusieurs problèmes types et compare avec la méthode originale. La discussion avec les pairs permet de clarifier les points clés et de situer la contribution par rapport à d’autres travaux (two-step DeepONet, POD). La deuxième présentation, plus brève, offre un aperçu des applications du ML en turbulence, mais avec moins de détails techniques. L’ensemble est cohérent et de bon niveau.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est bonne. Les présentations sont basées sur des travaux de recherche, avec des références implicites à la littérature (DeepONet original, etc.). Cependant, aucune source explicite n’est citée dans la transcription, et la description ne fournit pas de liens. L’adéquation titre/contenu est bonne : le titre mentionne les deux sujets principaux. La qualité des sources est donc limitée par le manque de références explicites, mais le contenu semble fiable. Les commentaires ne sont pas fournis, donc aucune analyse des tendances du public n’est possible.

208 mots

Adéquation titre / contenu

Le titre reflète bien le contenu : deux présentations sur des sujets de ML pour la modélisation, avec un accent sur un problème de convergence dans DeepONet.

Qualité & fiabilité

8/10

Exposé technique de niveau recherche, avec présentation de résultats expérimentaux et discussion critique. Les méthodes sont détaillées et les limites sont reconnues. La fiabilité est bonne, mais l'absence de publication associée et le format de séminaire limitent la vérifiabilité.

Moments clés

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

Apport & nouveautés

L’apport principal de cette vidéo est la présentation d’une méthode originale (QR-DeepONet) pour résoudre le problème de convergence dans les DeepONet. Cette méthode est simple à implémenter et améliore significativement la précision et la convergence. La discussion avec les pairs permet de situer cette contribution par rapport à d’autres approches (two-step DeepONet, POD) et d’identifier les limites potentielles (coût de calcul, généralisation).

Pour aller plus loin :

DeepONet: Learning nonlinear operators — Article fondateur des DeepONet, utile pour comprendre le contexte.
Two-step DeepONet — Méthode alternative pour améliorer la convergence, discutée dans la vidéo.
Proper Orthogonal Decomposition (POD) — Technique classique de réduction de modèle, comparée à la méthode proposée.
QR decomposition — Outil mathématique utilisé dans la méthode proposée.

120 mots

Profil radar

Le profil radar montre un contenu très technique et dense, avec des scores élevés en quantité d'information, qualité et niveau technique. La fiabilité est également bonne, mais légèrement inférieure, ce qui reflète le manque de sources explicites. Le contenu est donc très informatif et rigoureux, mais nécessite un public averti.

Fiabilité 8/10