[ИАД, осень 2025] Методы глубокого обучения. Занятие 8: Multi-armed Bandits, Monte Carlo Methods

Valeur des informations & solidité de l’argumentation

La valeur des informations est élevée pour un public étudiant : les concepts sont expliqués de manière intuitive et progressive, avec des exemples concrets (marche de l’enfant, jeu pierre-feuille-ciseaux, échecs). L’argumentation est solide, s’appuyant sur une formalisation mathématique progressive (définition de la politique, de la récompense, de l’objectif). L’enseignant prend soin de justifier les choix de modélisation, comme la propriété de Markov, en expliquant ses implications. La démarche pédagogique est claire et structurée, bien que le cours soit long et parfois redondant.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est bonne : les définitions sont précises et les notations sont cohérentes. Cependant, aucune source n’est citée dans la transcription, ce qui limite la vérifiabilité. Le titre mentionne ‘Méthodes de deep learning’ et ‘Multi-armed Bandits, Monte Carlo Methods’, mais le contenu de la transcription ne couvre que les bases du RL, sans aborder explicitement les bandits ni les méthodes de Monte Carlo. Cette inadéquation est notable, mais elle peut s’expliquer par le fait que la transcription est partielle (le cours dure 3h06, et la transcription s’arrête après environ 1h30).

Le titre annonce un cours sur les méthodes d'apprentissage profond, mais le contenu se concentre sur les bases de l'apprentissage par renforcement (bandits, méthodes de Monte Carlo), ce qui est partiellement en adéquation.

8/10

Cours universitaire structuré, présentant les fondements théoriques de l'apprentissage par renforcement (processus de décision markovien, politiques, récompenses) avec des exemples pédagogiques. La rigueur est bonne, mais l'absence de sources explicites et le format oral limitent la vérifiabilité.

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

• 00:00Introduction : motivation de l'apprentissage par renforcement avec l'exemple de l'enfant qui apprend à marcher.
• 05:00Rappel sur l'apprentissage supervisé et non supervisé, et les limites pour les problèmes séquentiels.
• 10:00Exemples de problèmes où les réponses ne sont pas uniques (conduite autonome, robotique).
• 15:00Définition des concepts d'agent, d'environnement, d'état, d'action et de récompense.
• 20:00Formalisation de la politique (policy) et de la fonction de transition de l'environnement.
• 25:00Exemple détaillé du jeu pierre-feuille-ciseaux pour illustrer le processus de décision markovien.
• 30:00Discussion sur la propriété de Markov et son importance pour simplifier le problème.
• 35:00Formulation mathématique de l'objectif : maximiser l'espérance de la somme des récompenses.
• 40:00Définition de la politique optimale et de l'argmax sur l'espérance de récompense.
• 45:00Question d'un étudiant sur la pertinence de l'espérance comme critère, et réponse de l'enseignant.