Stanford CS231N | Spring 2025 | Lecture 4: Neural Networks and Backpropagation

Cette leçon constitue une introduction solide et pédagogique aux réseaux de neurones et à la rétropropagation, dans la lignée des standards du cours CS231N. Le professeur Ehsan Adeli maîtrise son sujet et adopte un ton clair, ponctué d’exemples concrets. La progression est logique : rappel des fondamentaux, construction d’un réseau simple, puis discussion des fonctions d’activation. La valeur pédagogique est indéniable, notamment grâce à l’explication intuitive de la nécessité des non-linéarités (sans elles, les couches se réduisent à une transformation linéaire). L’argumentation est rigoureuse, s’appuyant sur des concepts mathématiques bien établis. Les sources citées sont principalement les ressources officielles du cours (site du cours, page d’inscription), ce qui est cohérent pour un cours magistral. Cependant, on peut regretter que la rétropropagation, pourtant annoncée dans le titre, ne soit qu’effleurée en fin de leçon, laissant présager une suite plus approfondie. De plus, le cours s’adresse à un public ayant déjà des bases en calcul et en algèbre linéaire, ce qui peut constituer une barrière pour les débutants. L’adéquation entre le titre et le contenu est parfaite. En résumé, une leçon de grande qualité, bien structurée, qui pose des fondations solides pour la suite du cours.

Le titre correspond exactement au contenu : il s'agit bien de la quatrième leçon du cours CS231N, consacrée aux réseaux de neurones et à la rétropropagation.

9/10

Cours magistral de niveau universitaire (Stanford CS231N) dispensé par un professeur assistant, couvrant les fondamentaux des réseaux de neurones et de la rétropropagation. Le contenu est structuré, pédagogique et s'appuie sur des concepts mathématiques solides. La fiabilité est élevée, bien que le format de cours ne permette pas une vérification exhaustive des sources.

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

• 00:00Introduction et rappel des concepts précédents (fonction de perte, régularisation, optimisation)
• 05:00Discussion sur la fonction de perte hinge loss et comparaison avec softmax
• 10:00Rappel sur la descente de gradient et les optimisateurs (SGD, momentum, RMSProp, Adam)
• 15:00Introduction aux réseaux de neurones : définition d'un réseau à deux couches et importance des dimensions
• 20:00Explication du rôle de la non-linéarité (fonction max) et exemple de transformation non linéaire (coordonnées polaires)
• 25:00Discussion sur les perceptrons multicouches (MLP) et l'empilement de couches
• 30:00Interprétation des neurones cachés comme des templates de parties d'objets
• 35:00Présentation des fonctions d'activation : ReLU, Leaky ReLU, ELU, GELU, SiLU, sigmoïde, tanh
• 40:00Explication de la nécessité des non-linéarités : sans elles, les couches se réduisent à une transformation linéaire
• 45:00Conclusion et annonce de la suite : la rétropropagation sera détaillée dans la prochaine leçon

• Site du cours CS231N — Page officielle du cours, contenant le syllabus, les slides et les devoirs.
• Page d'inscription au cours en ligne CS231N — Page décrivant la version professionnelle du cours CS231N.
• Page d'inscription au programme XCS231N — Lien vers les détails du cours XCS231N, version professionnelle du CS231N.
• Programme d'intelligence artificielle de Stanford — Page présentant les programmes en ligne d'intelligence artificielle de Stanford.
• Playlist du cours CS231N — Playlist YouTube contenant toutes les leçons du cours CS231N.

• Deep Learning (livre de Goodfellow, Bengio, Courville) — Ouvrage de référence en deep learning, couvrant les réseaux de neurones et la rétropropagation.
• CS231n: Convolutional Neural Networks for Visual Recognition — Notes de cours en ligne du CS231n, qui complètent la leçon avec des détails supplémentaires.