Lec 34: Learning Rate Scaling & Training Dynamics

Valeur des informations & solidité de l’argumentation

La valeur des informations est élevée pour un public technique : les règles de scaling sont correctement énoncées et contextualisées. L’argumentation est solide, s’appuyant sur des analogies pédagogiques (recette de gâteau, randonnée) et des références à la littérature (Goyal et al., 2017). Les recommandations pratiques (warm-up, gestion des stragglers) sont directement applicables. Cependant, la présentation reste orale et manque de démonstrations chiffrées ou d’études de cas concrets, ce qui limite la profondeur de l’argumentation.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est correcte : les concepts sont présentés avec précision et les règles de scaling sont attribuées à leurs auteurs (Goyal et al., 2017). Les sources citées dans la description (cours NPTEL, playlist) sont institutionnelles et fiables. L’adéquation titre/contenu est parfaite. Cependant, la vidéo ne fournit pas de références bibliographiques détaillées ni de liens vers les articles originaux, ce qui limite la vérifiabilité directe. Les commentaires ne sont pas fournis, donc aucune analyse des tendances du public n’est possible.

Le titre correspond exactement au contenu : la vidéo traite du scaling du taux d'apprentissage et de la dynamique d'entraînement.

7/10

Cours universitaire structuré, présentant des règles de scaling (linéaire, racine carrée, adaptative) et des recommandations pratiques issues de la littérature. Les concepts sont corrects mais la présentation est orale, sans démonstration formelle ni vérification expérimentale dans la vidéo.

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

• 00:00Introduction au cours et à la semaine 8 : scaling du learning rate et dynamique d'entraînement.
• 02:00Explication des trois changements sous-jacents lors du passage à plusieurs GPU : batch size, learning rate, nouveaux modes de défaillance.
• 05:00Définition des termes clés : batch size, learning rate, gradient, itération, époque.
• 08:00Présentation de la règle de scaling linéaire (Goyal et al., 2017) et de la règle racine carrée.
• 10:00Exemple concret de scaling : passage de 1 GPU à 32 GPU, calcul du nouveau learning rate.
• 12:00Discussion sur le warm-up : pourquoi il est nécessaire et comment le mettre en œuvre.
• 15:00Présentation des règles de scaling adaptatives (LAMB) et des critères de choix.
• 18:00Problèmes de synchronisation : stragglers, perte de performance et stratégies de mitigation.
• 21:00Gestion des loss spikes : causes, solutions (checkpointing, skip batch).
• 24:00Résumé des points clés et annonce des prochaines sessions.

• Applied Accelerated Artificial Intelligence - Course Page — Page du cours NPTEL, source institutionnelle du contenu.
• Playlist YouTube du cours — Playlist contenant l'ensemble des vidéos du cours.

• Linear Scaling Rule (Goyal et al., 2017) — Référence théorique pour la règle de scaling linéaire mentionnée dans la vidéo.
• LAMB optimizer — Optimiseur adaptatif mentionné pour les très grands batchs.