Lecture 22 | MIT 6.832 (Underactuated Robotics), Spring 2019

Cette leçon offre une introduction critique et nuancée à l’apprentissage par renforcement, en le situant dans le contexte plus large du contrôle optimal. L’orateur, Russ Tedrake, est un expert reconnu en robotique, et son approche pédagogique est claire et structurée. Il commence par définir le RL comme une optimisation boîte noire, ce qui est une perspective utile pour comprendre les méthodes actuelles. Il souligne à juste titre que le RL est souvent utilisé lorsque le modèle dynamique est inconnu ou trop complexe, mais il met en garde contre l’abandon des méthodes basées sur un modèle lorsque celui-ci est disponible, car elles sont généralement plus efficaces. Cette position est étayée par des exemples concrets, comme le vol battu, où la dynamique des fluides est difficile à modéliser, et la manipulation, où les contacts sont complexes. L’orateur insiste sur l’importance de la prise en compte de l’aléa et de la diversité des situations, ce qui est un apport intéressant du RL. Cependant, la leçon est datée (2019) et ne couvre pas les développements récents comme les grands modèles de langage ou les méthodes de RL hors ligne. De plus, la transcription est partielle et peut contenir des erreurs, ce qui rend certaines explications moins précises. Malgré cela, la rigueur scientifique et la qualité des arguments sont élevées. L’adéquation entre le titre et le contenu est parfaite. En résumé, cette leçon est une excellente introduction critique au RL pour un public averti, mais elle gagnerait à être complétée par des références plus récentes.

Le titre est clair et précis, correspondant exactement au contenu : une leçon du cours MIT 6.832 sur la robotique sous-actionnée, consacrée à l'apprentissage par renforcement.

8/10

Cours universitaire de niveau avancé, présenté par un expert reconnu (Russ Tedrake), avec une approche pédagogique structurée et des références à des travaux scientifiques. La transcription est partielle et peut contenir des erreurs, mais le contenu est rigoureux et les concepts sont correctement expliqués.

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

• 00:00Introduction au cours et au sujet de la leçon : l'apprentissage par renforcement.
• 02:00Définition de l'apprentissage par renforcement comme optimisation boîte noire de problèmes de contrôle optimal stochastique.
• 05:00Discussion sur les deux composantes du RL : l'optimisation et la prise en compte de l'aléa.
• 10:00Exemple du vol battu avec une plaque plane : pourquoi l'optimisation boîte noire est pertinente.
• 15:00Présentation des expériences de Jun Zhang sur la plaque plane et les vortex.
• 20:00Discussion sur les cas où l'optimisation boîte noire est justifiée et où elle ne l'est pas.
• 30:00Conclusion : recommandations sur l'utilisation du RL par rapport aux méthodes basées sur un modèle.

• Site du cours Underactuated Robotics — Page officielle du cours, contenant les notes de cours et les références.

• Reinforcement Learning: An Introduction — Ouvrage de référence de Sutton et Barto, qui présente les fondements du RL.

• Deep Reinforcement Learning: A Survey — Certaines méthodes de RL profond peuvent surpasser les méthodes basées sur un modèle dans des domaines spécifiques, ce qui nuance l'affirmation de Tedrake selon laquelle les méthodes basées sur un modèle sont généralement meilleures.