Transformer-Inspired Physics-Informed DeepONet|| From RoPINN to ProPINN ||Dec 19, 2025

Transformer-Inspired Physics-Informed DeepONet|| From RoPINN to ProPINN ||Dec 19, 2025

🎙 CRUNCH Group: Home of Math + Machine Learning + X 👥 4K 📅 19 décembre 2025 ⏱ 115 min 👁 1K 📄 revue d'actualité 🧭 2026-08-15
Disponible en : Français (actuel) English

Mots-clés

DeepONetPINNTransformerEDPApprentissage d'opérateurs

Résumé

Ce séminaire en ligne présente deux exposés sur l’amélioration des réseaux de neurones informés par la physique (PINN) et des DeepONets. Le premier exposé, par Zhi-Feng Wei (PNNL), introduit des variantes de DeepONet inspirées des transformers, qui établissent un conditionnement croisé bidirectionnel entre les réseaux branch et trunk. Ces variantes, testées sur des équations d’advection, de diffusion-réaction, de Burgers et de Korteweg-de Vries, offrent une précision comparable ou supérieure au DeepONet modifié tout en réduisant le coût d’entraînement. L’efficacité est validée par des tests statistiques rigoureux (Wilcoxon, Glass’s Delta, Spearman). Le second exposé, par Haixu Wu (MIT), présente RoPINN (NeurIPS 2024) et ProPINN (arXiv 2025). RoPINN améliore l’optimisation des PINNs en passant de contraintes ponctuelles à des contraintes régionales, tandis que ProPINN analyse le phénomène de propagation des erreurs et propose une architecture inspirée des éléments finis. Les deux exposés soulignent l’importance de l’interaction entre les composants du réseau et l’adaptation à la physique du problème.

156 mots

Évaluation critique

Valeur des informations & solidité de l’argumentation

Les informations présentées sont d’une grande valeur pour la communauté scientifique : elles proposent des améliorations concrètes et efficaces des méthodes existantes, avec des gains de performance mesurables. L’argumentation est solide, appuyée par des expériences numériques sur plusieurs équations aux dérivées partielles et par des tests statistiques rigoureux. Les auteurs justifient clairement le choix de leurs variantes en les reliant à la physique sous-jacente (par exemple, l’utilisation des coefficients de Fourier pour l’équation de Burgers visqueuse). La discussion après le premier exposé montre une ouverture aux critiques et aux alternatives, renforçant la crédibilité.

Rigueur scientifique, qualité des sources, adéquation du titre

Les sources citées sont principalement les articles fondateurs de DeepONet (Lu et al., 2019) et de PINN (Raissi et al., 2019), ainsi que les travaux des intervenants (RoPINN, ProPINN). La qualité des sources est élevée, car il s’agit de publications dans des revues prestigieuses (Nature Machine Intelligence, Science Advances) ou de prépublications récentes. Le titre est adéquat, bien qu’il mélange deux sujets distincts. La rigueur scientifique est exemplaire : les méthodes sont détaillées, les résultats sont quantifiés et les incertitudes sont discutées.

190 mots

Adéquation titre / contenu

Le titre reflète bien le contenu : deux présentations sur des améliorations de PINNs et DeepONets inspirées des transformers.

Qualité & fiabilité

8/10

Exposés techniques de deux chercheurs (PNNL, MIT) présentant des travaux récents avec validation statistique rigoureuse (tests de Wilcoxon, Glass's Delta, corrélation de Spearman). Les méthodes sont détaillées et les résultats quantifiés. La fiabilité est élevée, mais les travaux ne sont pas encore publiés dans des revues à comité de lecture pour le second.

Moments clés

Sources citées

Sources concordantes

  • Modified DeepONet — Référence au DeepONet modifié, mentionné comme baseline dans l'exposé.

Apport & nouveautés

L’apport principal de ce séminaire est la proposition de variantes de DeepONet inspirées des transformers, qui améliorent l’interaction entre les réseaux branch et trunk sans augmenter significativement le coût de calcul. Les résultats montrent que ces variantes peuvent égaler ou surpasser le DeepONet modifié sur plusieurs équations, avec une efficacité accrue. De plus, l’introduction de RoPINN et ProPINN offre de nouvelles perspectives pour l’optimisation et l’architecture des PINNs.

Pour aller plus loin :

116 mots

Profil radar

Le profil radar montre un niveau technique élevé (9/10) et une bonne fiabilité (8/10), avec une quantité d'information substantielle (8/10). La qualité de l'information est également élevée (8/10), indiquant un contenu dense et fiable, adapté à un public expert.

Fiabilité 8/10