Generative AI L23: Training the transformer

Generative AI L23: Training the transformer

par Agha Ali Raza

Sciences formelles & physiques IA — Modèles & Recherche UYQIntelligence artificielle (IA)UYQMApprentissage par la machine
🎙 Agha Ali Raza 👥 3K 📅 18 mai 2026 ⏱ 51 min 👁 49 📄 cours magistral 🧭 2026-08-15
Disponible en : Français (actuel) English

Mots-clés

transformertrainingbackpropagationAdam optimizerteacher forcing

Résumé

Ce cours de la série ‘Foundations of Generative AI’ (CS5302/EE519) à LUMS, dispensé par Agha Ali Raza, se concentre sur l’entraînement du transformer. L’enseignant commence par un rappel de l’architecture du transformer, en soulignant le rôle de l’encodeur et du décodeur, ainsi que les mécanismes d’attention et de normalisation. Il détaille ensuite les étapes de l’entraînement : préparation des données (corpus parallèle, tokenisation BPE, partage de vocabulaire), constitution des batches par longueur pour optimiser l’utilisation du GPU, préparation d’un exemple d’entraînement avec teacher forcing, passage avant dans l’encodeur et le décodeur, projection de sortie, calcul de la loss, rétropropagation, optimisation avec Adam, et enfin les techniques de régularisation. Le tout est expliqué de manière pédagogique, avec des exemples concrets et des interactions avec les étudiants. La vidéo est en anglais avec des passages en ourdou, et s’adresse à un public ayant déjà des bases en apprentissage automatique.

147 mots

Évaluation critique

Valeur des informations & solidité de l’argumentation

La valeur des informations est élevée : le cours couvre de manière exhaustive le processus d’entraînement du transformer, en expliquant non seulement le ‘comment’ mais aussi le ‘pourquoi’ de chaque étape. L’argumentation est solide, s’appuyant sur des explications mathématiques et intuitives. L’enseignant justifie chaque choix (par exemple, le partage des embeddings, le batch par longueur) en reliant aux contraintes pratiques et théoriques. La progression est logique, du niveau global au niveau détaillé, ce qui facilite la compréhension.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est bonne : le contenu est conforme aux concepts établis dans la littérature (Vaswani et al., 2017). Cependant, aucune source n’est explicitement citée dans la vidéo, bien que la description fournisse des liens vers le cours et les slides. Le titre est en adéquation avec le contenu. Les commentaires ne sont pas fournis, donc aucune analyse des tendances du public n’est possible.

157 mots

Adéquation titre / contenu

Le titre correspond parfaitement au contenu : la vidéo traite spécifiquement de l'entraînement du transformer, comme annoncé.

Qualité & fiabilité

8/10

Cours universitaire de niveau master, structuré et pédagogique, s'appuyant sur des concepts établis (transformer, backpropagation, Adam). L'exposé est clair et cohérent, avec des explications détaillées. Aucune source externe citée dans la vidéo, mais le contenu est conforme aux connaissances académiques.

Chapitres

Sources citées

Sources concordantes

  • Attention Is All You Need — Article original décrivant l'architecture du transformer, dont le cours s'inspire directement.

Apport & nouveautés

Cette vidéo apporte une explication pédagogique détaillée de l’entraînement du transformer, en insistant sur les aspects pratiques (batching, teacher forcing) et en reliant chaque étape aux concepts théoriques. Elle est utile pour les étudiants en apprentissage automatique.

Pour aller plus loin :

83 mots

Profil radar

Le profil radar montre un niveau élevé dans toutes les dimensions, avec une légère prédominance de la qualité de l'information et du niveau technique, reflétant un contenu dense et précis.

Fiabilité 8/10