[ИАД, весна 2026] Введение в машинное обучение. Лекция 2: Градиентная оптимизация и линейные модели

Valeur des informations & solidité de l’argumentation

La valeur des informations est élevée : la leçon fournit une base solide pour comprendre les algorithmes d’optimisation utilisés en machine learning, en particulier la descente de gradient stochastique, qui est essentielle pour l’entraînement des réseaux de neurones. L’argumentation est rigoureuse : le professeur justifie chaque concept, par exemple en expliquant pourquoi le coefficient de régularisation est nécessaire, ou en montrant comment l’utilisation d’un seul objet par itération peut être efficace. Il s’appuie sur des références historiques (Robbins-Monro, Nesterov) et sur des considérations pratiques (heuristiques). La démonstration est progressive et pédagogique, avec des questions posées aux étudiants pour stimuler la réflexion.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est bonne : les concepts sont présentés avec précision et les formules sont correctes. Cependant, aucune source externe n’est citée dans la vidéo, ce qui limite la vérifiabilité. Le titre est en adéquation avec le contenu : il annonce une introduction au machine learning avec un accent sur l’optimisation par gradient et les modèles linéaires, ce qui correspond exactement à ce qui est enseigné. La qualité des sources est donc moyenne, mais le contenu est fiable car il s’agit de connaissances établies.

Le titre annonce une introduction au machine learning, et la leçon couvre effectivement l'optimisation par gradient et les modèles linéaires, en cohérence avec le contenu.

8/10

Cours universitaire structuré, présentant des concepts fondamentaux (minimisation du risque empirique, descente de gradient stochastique) avec rigueur mathématique. Les explications sont claires et s'appuient sur des références historiques (Robbins-Monro, Nesterov). Aucune source externe n'est citée dans la vidéo, mais le contenu est conforme aux connaissances établies en apprentissage automatique.

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

• 00:00Introduction et annonces sur les projets de fin de semestre.
• 05:00Rappel des trois principes du machine learning et plan de la leçon.
• 10:00Formulation générale du problème : fonction de perte, régularisateur, coefficient de régularisation.
• 20:00Introduction à la descente de gradient et au gradient stochastique.
• 30:00Explication de la moyenne mobile exponentielle et de son utilisation pour suivre la perte.
• 40:00Méthode de Polyak (momentum) et gradient accéléré de Nesterov.
• 50:00Heuristiques pour améliorer la convergence : initialisation, ordre des objets, pas adaptatif, méthodes du second ordre, multi-start.
• 1:00:00Résumé des avantages du gradient stochastique pour les grands volumes de données.
• 1:10:00Typologie des problèmes d'apprentissage supervisé : régression, classification, ranking.
• 1:20:00Fonctions de perte pour la régression et la classification, introduction aux modèles linéaires.

• Robbins, H., & Monro, S. (1951). A Stochastic Approximation Method — Référence historique pour l'introduction de la méthode de gradient stochastique.
• Nesterov, Y. (1983). A method for solving the convex programming problem with convergence rate O(1/k^2) — Référence pour la méthode du gradient accéléré de Nesterov.

• Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning — Ouvrage de référence qui couvre en détail la descente de gradient et les modèles linéaires.
• Bishop, C. M. (2006). Pattern Recognition and Machine Learning — Manuel classique traitant des modèles linéaires et de l'optimisation.