From the Ball-proximal (Broximal) Point Method to Efficient Training of LLM

From the Ball-proximal (Broximal) Point Method to Efficient Training of LLM

par Peter Richtarik

Sciences formelles & physiques Mathématiques PBMathématiquesPBUOptimisation
🎙 Peter Richtarik 👥 75K 📅 5 mars 2026 ⏱ 52 min 👁 629 📄 exposé scientifique 🧭 2026-08-03
Disponible en : Français (actuel) English

Mots-clés

Broximal Point Methodoptimisation non-lisseoptimisation non-convexeaccélérationLLM

Résumé

L’exposé de Peter Richtarik, donné dans le cadre de l’atelier ‘Learning from Heterogeneous Sources’ au Simons Institute, présente une nouvelle méthode d’optimisation appelée Broximal Point Method (BPM). Cette méthode s’inspire de la méthode classique du point proximal (PPM) mais remplace la pénalité quadratique par une contrainte de boule (ball constraint). L’orateur commence par motiver l’importance de l’optimisation non-lisse et non-convexe, notamment pour l’entraînement de grands modèles de langage (LLM). Il définit ensuite l’opérateur broximal, qui minimise la fonction sur une boule de rayon contrôlé autour du point courant, et montre que la méthode itérative correspondante converge linéairement et en un nombre fini d’étapes dans le régime convexe non-lisse, contrairement à la PPM qui n’a qu’une convergence sous-linéaire. Il introduit également le concept de ‘ball-convexity’ pour étendre les garanties à des fonctions potentiellement non-convexes. Richtarik souligne que la BPM est un cadre conceptuel ‘inutile’ en pratique car non implémentable directement, mais qu’elle sert de base à des approximations efficaces, comme l’optimiseur Muon, qui a montré des performances de pointe pour l’entraînement de LLM. Il mentionne des travaux connexes et des extensions possibles, notamment pour l’apprentissage fédéré, mais le temps imparti ne lui permet pas de détailler ces aspects. L’exposé se conclut par une discussion sur les perspectives de recherche.

208 mots

Évaluation critique

L’exposé de Peter Richtarik est d’une grande rigueur scientifique. Il présente une contribution théorique originale, la Broximal Point Method, avec des preuves mathématiques solides. La motivation est claire : améliorer la convergence dans des contextes non-lisses et non-convexes, pertinents pour l’optimisation en apprentissage profond. L’orateur maîtrise son sujet et communique avec pédagogie, en expliquant les intuitions derrière les concepts. Les résultats théoriques sont impressionnants : convergence linéaire et en temps fini pour des fonctions convexes non-lisses, là où la méthode du point proximal classique ne garantit qu’une convergence sous-linéaire. L’introduction de la ‘ball-convexity’ est astucieuse et élargit le champ d’application. Cependant, la partie pratique, notamment l’application à l’entraînement de LLM via l’optimiseur Muon, est traitée de manière superficielle. L’orateur mentionne des résultats de pointe mais ne fournit pas de détails expérimentaux ni de comparaisons chiffrées. De plus, le lien avec l’apprentissage fédéré, pourtant le thème de l’atelier, est à peine esquissé, faute de temps. Les sources citées sont principalement les travaux de l’orateur et de ses collaborateurs, ce qui est acceptable pour un exposé de recherche, mais on pourrait souhaiter une mise en perspective plus large avec d’autres approches. L’adéquation entre le titre et le contenu est bonne, même si le titre promet un lien plus direct avec l’entraînement des LLM que ce qui est réellement présenté. En résumé, c’est un exposé de très haute qualité sur le plan théorique, mais qui laisse le spectateur sur sa faim concernant les applications pratiques. La note globale de 4 étoiles reflète cet équilibre.

251 mots

Adéquation titre / contenu

Le titre annonce le lien entre une méthode théorique (Broximal Point Method) et l'entraînement efficace de LLM ; le contenu couvre effectivement les fondements théoriques et mentionne des applications pratiques, bien que la partie sur les LLM soit peu développée.

Qualité & fiabilité

8/10

Exposé théorique rigoureux par un chercheur reconnu, s'appuyant sur des travaux publiés et des preuves mathématiques. La présentation est claire et structurée, mais certaines affirmations sur l'efficacité pratique (entraînement de LLM) reposent sur des résultats non détaillés dans cette vidéo.

Moments clés

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

Sources citées

Sources concordantes

Apport & nouveautés

L’apport principal est la proposition de la Broximal Point Method (BPM), une nouvelle méthode d’optimisation qui remplace la pénalité quadratique du proximal point method par une contrainte de boule. Cette approche permet d’obtenir des garanties de convergence linéaire et en temps fini pour des fonctions convexes non-lisses, là où la méthode classique ne donne qu’une convergence sous-linéaire. De plus, l’introduction de la ball-convexity étend ces garanties à des fonctions non-convexes. La BPM est présentée comme un cadre conceptuel inspirant des méthodes pratiques efficaces, comme l’optimiseur Muon pour l’entraînement de LLM.

Pour aller plus loin :

  • Proximal Point Method — La méthode classique dont s’inspire la BPM.
  • Optimisation non-lisse — Domaine d’application de la BPM.
  • Muon Optimizer — Optimiseur inspiré de la BPM pour l’entraînement de LLM (dépôt GitHub).

128 mots

Profil radar

Le profil radar montre un niveau technique très élevé (9/10), une quantité et une qualité d'information élevées (8/10 chacune), et une fiabilité globale de 8/10. Cela indique un exposé théorique dense et fiable, mais avec une portée pratique limitée dans la vidéo.

Fiabilité 8/10