Lecture 23 | MIT 6.832 (Underactuated Robotics), Spring 2019

Ce cours magistral de Russ Tedrake, professeur au MIT, offre une introduction rigoureuse et nuancée à l’apprentissage par renforcement dans le contexte de la robotique. La valeur principale réside dans la clarté conceptuelle et l’équilibre entre optimisme et prudence. L’enseignant expose d’abord les limites des méthodes de gradient de politique, notamment la complexité d’échantillonnage et la non-convexité, en s’appuyant sur un exemple concret de système linéaire où l’ensemble des gains stabilisants est déconnecté. Cet exemple, proposé par un collègue expert, illustre de manière frappante les difficultés de l’optimisation directe dans l’espace des paramètres. Cette mise en garde est précieuse car elle contrebalance l’enthousiasme parfois excessif autour du RL. Cependant, l’enseignant reconnaît que ces cas pathologiques pourraient être moins pertinents en pratique, et il exprime un optimisme mesuré quant aux formulations plus riches, comme la randomisation de domaine, qui pourraient atténuer les problèmes de non-convexité. La seconde partie du cours se concentre sur l’apprentissage des fonctions de valeur, en particulier le Q-learning et les méthodes acteur-critique. L’explication est pédagogique, mais elle reste à un niveau introductif, sans entrer dans les détails algorithmiques avancés. L’enseignant souligne à juste titre que ces méthodes visent à améliorer l’efficacité d’échantillonnage par rapport aux méthodes de gradient de politique pures, en s’inspirant de la programmation dynamique. La discussion sur les compromis entre l’apprentissage de la dynamique, de la politique ou de la fonction de coût est pertinente et ouvre des perspectives de recherche. La qualité des sources est bonne, bien que le cours ne cite pas explicitement des références bibliographiques. Le lien vers le site du cours fournit des ressources supplémentaires. L’adéquation entre le titre et le contenu est parfaite. En résumé, ce cours est une excellente introduction pour des étudiants avancés ou des chercheurs, offrant une perspective équilibrée et des mises en garde importantes. Il mérite une note élevée, mais la profondeur limitée sur certains aspects techniques et l’absence de références explicites justifient une note de 4 étoiles.

Le titre est parfaitement adéquat : il s'agit bien de la 23e leçon du cours MIT 6.832 sur la robotique sous-actionnée, couvrant l'apprentissage par renforcement.

8/10

Cours magistral d'une université de premier plan (MIT), présenté par un expert reconnu en robotique et contrôle. Le contenu est structuré, rigoureux, et s'appuie sur des concepts mathématiques solides. Les limites et les incertitudes sont clairement exposées. La qualité est élevée, mais le format de cours magistral ne permet pas une vérification exhaustive des sources.

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

• 00:00Introduction et rappel des concepts clés de l'apprentissage par renforcement.
• 02:00Discussion sur les préoccupations concernant les méthodes de gradient de politique : complexité d'échantillonnage et non-convexité.
• 05:00Exemple de non-convexité avec un système linéaire simple où l'ensemble des gains stabilisants est déconnecté.
• 10:00Optimisme sur les formulations riches comme la randomisation de domaine pour atténuer la non-convexité.
• 15:00Introduction à l'apprentissage des fonctions de valeur et au Q-learning.
• 20:00Explication de la fonction de valeur d'état et de la fonction de valeur d'action (Q).
• 25:00Discussion sur les méthodes acteur-critique et leur efficacité.
• 30:00Compromis entre l'apprentissage de la dynamique, de la politique ou de la fonction de coût.
• 35:00Conclusion et perspectives de recherche.

• Site du cours Underactuated Robotics — Page officielle du cours MIT 6.832, contenant les notes de cours, les diapositives et les ressources associées.

• Reinforcement Learning: An Introduction — Ouvrage de référence de Sutton et Barto, qui présente les concepts de Q-learning et d'actor-critic de manière détaillée.