CS 471/671 (How to grow language models) - #12 - Fall 2026 - Guest lecture by Arda Uzunoglu

Valeur des informations & solidité de l’argumentation

La valeur de ce contenu réside dans sa capacité à démystifier des mécanismes complexes par des explications pas à pas, intégrant des questions interactives et une démonstration visuelle. L’argumentation est construite autour de la logique des opérations : pourquoi normaliser par sqrt(d), pourquoi masquer avant softmax, pourquoi distinguer les positions de padding. Le raisonnement procède par questions rhétoriques et réponses attendues, ce qui structure la compréhension. Les choix techniques sont justifiés par des contraintes pratiques (parallélisation GPU, stabilité numérique, coût computationnel). L’exposé reste précis et cohérent, sans dérive spéculative.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est élevée : le contenu s’appuie sur des références académiques standards (architecture Transformer, GPT-2) et les explications sont conformes aux implémentations courantes. La qualité des sources est indirecte (cours universitaire), mais le seul lien fourni vers la page du cours (https://self-supervised.cs.jhu.edu/fa2026/ ) donne accès à des supports pédagogiques et références supplémentaires. L’adéquation titre/contenu est satisfaisante : le titre annonce une conférence sur la croissance des modèles de langage, et le contenu couvre effectivement les mécanismes d’entraînement et les architectures. Aucun commentaire public n’a été analysé.

Le titre 'How to grow language models' reflète l'intention de former des modèles de langage, et le contenu couvre les mécanismes fondamentaux pour leur entraînement (attention, masking, architectures).

8/10

Cours universitaire technique, rigoureux, appuyé sur des concepts établis et une démonstration concrète. Les explications sont précises et cohérentes avec l'état de l'art, mais sans citations explicites de sources primaires.

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

• 02:00Rappel du fonctionnement de l'attention : projection QKV, normalisation par sqrt(d), softmax.
• 12:00Explication du masquage causal (attention masking) pour empêcher la fuite d'informations futures.
• 21:00Discussion sur les tokens de padding et les différentes stratégies (padding à droite pour l'entraînement, à gauche pour l'inférence).
• 30:00Démonstration interactive d'un GPT-2 : visualisation des têtes d'attention et des opérations de la couche Transformer.
• 40:00Introduction de l'architecture encodeur-décodeur, avec deux flux d'information distincts pour l'encodeur et le décodeur.
• 50:00Détail de l'attention croisée : queries du décodeur, keys et values de l'encodeur, et classification des types d'attention.
• 55:00Quiz sur le nombre et la connexion des couches encodeur/décodeur, résolution par la droite (représentations finales).

• Page du cours CS 471/671 (Fall 2026) — Page officielle du cours, référence pour les supports et éventuels travaux cités.

• Page du cours CS 471/671 (Fall 2026) — Confirme les sujets abordés et fournit le contexte académique.