Aleksandar Terzić: Structured Sparse Transition Matrices to Enable State Tracking in SSMs

Aleksandar Terzić: Structured Sparse Transition Matrices to Enable State Tracking in SSMs

par Aleksandar Terzić

Sciences formelles & physiques IA — Modèles & Recherche UYQIntelligence artificielle (IA)UYQMApprentissage par la machine
🎙 Aleksandar Terzić 👥 3K 📅 13 mai 2026 ⏱ 50 min 👁 67 📄 revue de littérature 🧭 2026-08-16
Disponible en : Français (actuel) English

Mots-clés

SSMmatrice de transitionexpressivitéautomates finisparallélisation

Résumé

La présentation d’Aleksandar Terzić, chercheur à IBM et ETH Zurich, porte sur la conception de matrices de transition structurées et creuses pour les State Space Models (SSM) afin d’améliorer leur expressivité, notamment pour le suivi d’état. Il commence par rappeler le rôle croissant des SSM dans les modèles de langage hybrides, en soulignant leur efficacité computationnelle par rapport à l’attention. Il introduit ensuite le cadre théorique de l’expressivité des SSM via les automates finis, montrant que la structure de la matrice de transition détermine la classe d’automates représentables. Il compare différentes structures : diagonale réelle (Mamba), diagonale complexe, dense, et les modèles DeltaNet. Il propose une nouvelle architecture, PDSSM, qui combine une matrice diagonale complexe et une matrice colonne-one-hot, générée par un mécanisme de sélection non différentiable avec straight-through estimator. Cette structure permet une multiplication matricielle efficace et préserve la stabilité. Il démontre que PDSSM peut émuler tout automate fini à N états avec une seule couche et une taille d’état N, et qu’il existe des automates nécessitant au moins N-1 états. Les résultats expérimentaux montrent que PDSSM maintient un surcoût constant par rapport aux modèles diagonaux, tout en étant plus expressif. Il conclut sur l’importance de la structure pour concilier efficacité et expressivité.

204 mots

Évaluation critique

Valeur des informations & solidité de l’argumentation

La valeur des informations est élevée : la présentation offre une synthèse claire des résultats théoriques sur l’expressivité des SSM, en les reliant à des concepts algébriques (groupes résolubles, décomposition de Krohn-Rhodes). L’argumentation est solide, s’appuyant sur des preuves formelles et des expériences. L’orateur justifie chaque choix de conception par des considérations théoriques et pratiques, et discute des compromis. Il mentionne les limites des approches existantes et propose une solution originale. La démonstration est convaincante, même si certains détails techniques sont omis pour la clarté.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est bonne : l’orateur cite des travaux pertinents (NeurIPS 2025, CMZL 2025, Merrill) et présente des résultats expérimentaux. Les sources sont de qualité, bien que la présentation ne soit pas une publication évaluée par les pairs. L’adéquation titre/contenu est excellente : le titre décrit précisément le sujet. Aucune séquence publicitaire n’est présente. Les commentaires ne sont pas fournis, donc aucune analyse des tendances n’est possible.

168 mots

Adéquation titre / contenu

Le titre reflète précisément le contenu : la présentation porte sur l'utilisation de matrices de transition structurées et creuses dans les SSM pour améliorer le suivi d'état.

Qualité & fiabilité

8/10

Exposé scientifique rigoureux, s'appuyant sur des travaux publiés (NeurIPS 2025, CMZL 2025, Merrill) et présentant des résultats expérimentaux. La méthodologie est claire et les limites sont évoquées. La fiabilité est élevée, bien que la présentation soit un séminaire et non une publication évaluée par les pairs.

Moments clés

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

Sources citées

  • NeurIPS 2025 paper (non spécifié) — Travail présenté par l'orateur, mentionné comme publié à NeurIPS 2025.
  • CMZL 2025 (non spécifié) — Résultats sur DeltaNet et Delta Product, cités pour les garanties d'expressivité.
  • Merrill, W. (travaux sur l'expressivité des SSM) — Critère de solvabilité pour séparer les classes d'automates.
  • Fan et al. 2023 — Motivation pour la contrainte de norme sur les matrices de transition.

Sources concordantes

  • Merrill, W. (travaux sur l'expressivité des SSM) — Les résultats sur la solvabilité sont cohérents avec les observations de l'orateur.
  • CMZL 2025 (non spécifié) — Les garanties pour DeltaNet sont en accord avec la classification proposée.

Sources discordantes

  • Aucune source discordante identifiée — Les travaux cités sont cohérents entre eux.

Apport & nouveautés

L’apport original est la proposition d’une nouvelle structure de matrice de transition, PDSSM, qui combine une matrice diagonale complexe et une matrice colonne-one-hot. Cette structure permet d’atteindre une expressivité équivalente aux matrices denses pour l’émulation d’automates finis, tout en maintenant un coût computationnel linéaire. L’article démontre des garanties théoriques (émulation de tout automate fini, optimalité en taille d’état) et des résultats pratiques (généralisation en longueur).

Pour aller plus loin :

97 mots

Profil radar

Le profil radar montre un niveau technique élevé et une bonne fiabilité, avec une quantité d'information substantielle. La qualité de l'information est excellente, mais la note globale reste modérée en raison de la spécialisation du sujet.

Fiabilité 8/10