6.8210 Spring 2024 Lecture 6: Dynamic Programming III

Ce cours offre une introduction solide et pédagogique aux méthodes de programmation dynamique approchée, en particulier l’itération de valeur avec approximation par réseau de neurones. L’instructeur adopte une démarche progressive, partant des bases de l’itération de valeur tabulaire pour motiver la nécessité d’une approximation. La présentation est claire et structurée, avec des schémas et des exemples concrets (pendule, acrobate) qui illustrent les concepts. La rigueur scientifique est bonne : les équations sont dérivées proprement et les hypothèses sont explicitées. Cependant, on peut regretter que le cours ne fournisse pas d’analyse théorique approfondie de la convergence de l’algorithme proposé, ni de comparaison quantitative avec d’autres méthodes. Les sources citées sont principalement des références de cours, ce qui est cohérent avec le format, mais on aurait pu attendre des références à des articles fondateurs. L’adéquation entre le titre et le contenu est parfaite. Dans l’ensemble, ce cours est une ressource précieuse pour les étudiants et les chercheurs souhaitant comprendre les fondements de l’apprentissage par renforcement basé sur la programmation dynamique, même s’il ne couvre pas tous les aspects pratiques de la mise en œuvre.

Le titre est précis et correspond exactement au contenu : il s'agit bien du sixième cours de la série 6.8210 sur la programmation dynamique, avec un focus sur les méthodes approchées.

8/10

Cours universitaire de niveau supérieur (MIT) présentant des concepts avancés de programmation dynamique et d'apprentissage par renforcement. L'exposé est structuré, s'appuie sur des démonstrations et des exemples concrets. La fiabilité est élevée, mais le contenu est une introduction à des méthodes qui nécessitent une validation expérimentale approfondie.

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

• 02:35Introduction : objectif du cours, approfondir l'itération de valeur avec approximation par réseau de neurones.
• 05:00Rappel des concepts clés de LQR et de la linéarisation locale pour les systèmes non linéaires.
• 10:00Discussion sur les limites de l'itération de valeur sur une grille : exemple du pendule et de l'acrobate.
• 15:00Introduction de l'approximation par réseau de neurones : définition de la fonction valeur paramétrée.
• 20:00Formalisation de l'algorithme de fitted value iteration : échantillonnage, calcul des cibles, apprentissage supervisé.
• 25:00Discussion sur l'interpolation barycentrique et son rôle dans l'approximation.
• 30:00Questions sur la gestion des contraintes et l'échantillonnage dans des espaces non triviaux.
• 35:00Exemple d'application au pendule et comparaison avec la méthode tabulaire.
• 40:00Discussion sur les défis de convergence et les perspectives.

• Cours 6.8210 - Underactuated Robotics — Le cours fait partie de la série 6.8210 du MIT, disponible en ligne.

• Underactuated Robotics — Le site du cours contient des notes et des exemples complémentaires.