CUDA Programming for NVIDIA H100s – Comprehensive Course

Ce cours se distingue par sa profondeur technique et sa rigueur. L’auteur, Prateek Shukla, démontre une expertise avancée en programmation CUDA, en particulier sur l’architecture Hopper. La structure est pédagogiquement solide : chaque leçon s’appuie sur les précédentes, et l’accent est mis sur la compréhension des modèles mentaux plutôt que sur la mémorisation. Les explications sont précises et étayées par des références à la documentation officielle NVIDIA et au code source de Cutlass. La progression est logique, allant de l’architecture matérielle aux instructions spécifiques comme WGMMA et cp.async.bulk. La qualité des informations est excellente, avec des détails techniques rares et précieux. Cependant, la vérification indépendante des sources est limitée : bien que l’auteur cite des ressources officielles, il ne fournit pas de liens directs vers des publications académiques ou des benchmarks indépendants. De plus, le cours est extrêmement technique et peut être intimidant pour les débutants, mais cela est compensé par les prérequis clairement énoncés. L’adéquation entre le titre et le contenu est parfaite : le cours couvre effectivement tous les aspects annoncés. La présence d’une séquence publicitaire (Scrimba) est brève et n’affecte pas la qualité du contenu. En résumé, ce cours est une ressource exceptionnelle pour les développeurs CUDA avancés, offrant une formation complète et à jour sur les GPU Hopper.

Le titre est parfaitement adapté : le cours couvre effectivement la programmation CUDA pour les H100, de l'architecture à la mise en œuvre pratique.

8/10

Cours technique approfondi, structuré et progressif, s'appuyant sur des références officielles (documentation NVIDIA, code source Cutlass) et une pratique intensive. La rigueur est élevée, mais la vérification indépendante des sources est limitée.

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

• 00:00Introduction au cours et objectifs.
• 07:27Table des matières et aperçu du cours.
• 23:30Leçon 1 : Architecture du GPU H100 Hopper.
• 25:47Spécifications H100 : HBM3, bande passante et puissance.
• 26:22Aperçu des Tensor Cores.
• 27:24Tensor Memory Accelerator (TMA).
• 34:44Transformer Engine.
• 34:58Architecture du cache L2.
• 35:21GPCs, TPCs et disposition des SM.
• 37:00Thread Block Clusters.
• 46:22Mémoire partagée distribuée.
• 52:44Sous-partitions SM (SMSPs).
• 54:01Warp Schedulers et unités de dispatch.
• 1:02:37Mémoire partagée et mouvement de données.
• 1:12:20Occupancy.
• 1:32:49Leçon 2 : Clusters, types de données, PTX inline et pointeurs.
• 1:32:57Programmation des Thread Block Clusters.
• 1:42:11Configuration des dimensions de cluster.
• 1:48:08PTX inline.
• 1:59:31State Spaces.

• Site du cours — Site officiel du cours avec ressources complémentaires.
• Dépôt GitHub du cours — Code source et exemples du cours.
• Scrimba (plateforme d'apprentissage) — Partenaire de la chaîne, mentionné dans la description.

• Documentation CUDA C++ Programming Guide — Référence officielle pour les concepts CUDA abordés.
• NVIDIA Hopper Architecture Whitepaper — Détails techniques sur l'architecture Hopper.
• Cutlass — Bibliothèque utilisée pour les optimisations de multiplication matricielle.