[M2L 2025] 1.2 Modularity and Compositionality for Collaborative, Efficient ... - Ivan Vulić

Valeur des informations & solidité de l’argumentation

La valeur des informations est élevée : l’orateur fournit une synthèse claire et structurée des approches modulaires en deep learning, avec des explications pédagogiques sur des concepts clés comme LoRA, les task vectors et les sous-réseaux épars. L’argumentation est solide, s’appuyant sur des exemples concrets et des analogies (création de logiciels, modularité) pour illustrer les bénéfices. Il souligne également les limites des approches actuelles, comme la prolifération de variantes de LoRA, et propose des pistes de recherche. La présentation est bien organisée, passant de la motivation aux définitions, puis aux trois types de modules, avec des liens entre eux.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est bonne : l’orateur cite des concepts et des méthodes bien établis dans la littérature (LoRA, adapters, MoE, etc.) et fait référence à des travaux antérieurs, bien que sans citations explicites dans la transcription. La qualité des sources est implicite, mais la présentation semble reposer sur des travaux de recherche reconnus. L’adéquation titre/contenu est bonne : le titre annonce les thèmes principaux et la présentation les couvre effectivement. Cependant, le titre est long et pourrait être plus concis.

Le titre est long mais reflète bien le contenu : il annonce les concepts clés (modularité, compositionnalité) et les applications (collaboratif, efficace, décentralisé, continu).

8/10

Exposé scientifique structuré, couvrant des concepts établis (LoRA, adapters, MoE) avec des références implicites à la littérature. Le niveau technique est élevé, mais la présentation orale manque de citations explicites et de vérification des sources.

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

• 02:00Introduction et règles d'engagement
• 05:00Motivation : limites des modèles monolithiques
• 10:00Niveaux de modularité : données, tâches, modèles
• 15:00Définition d'un module et types de modules
• 20:00Composition de paramètres : LoRA et ses variantes
• 25:00Task vectors et arithmétique de tâches
• 30:00Sous-réseaux épars et pruning
• 35:00Composition d'entrée : prompt tuning et prefix tuning
• 40:00Composition de fonctions : adapters et mixture of experts
• 45:00Conclusion et perspectives

• LoRA: Low-Rank Adaptation of Large Language Models — Cité comme exemple principal de composition de paramètres.
• The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks — Mentionné en lien avec les sous-réseaux épars.
• Prefix-Tuning: Optimizing Continuous Prompts for Generation — Cité comme exemple de composition d'entrée.

• LoRA: Low-Rank Adaptation of Large Language Models — Confirme les explications sur LoRA.
• The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks — Confirme les explications sur les sous-réseaux épars.