Stanford AA203 Optimal and Learning-Based Control | Spring 2026 | Lecture 9: Stochastic Dyn. Program

Ce cours magistral de niveau universitaire offre une introduction rigoureuse à la programmation dynamique stochastique, un pilier du contrôle optimal et de l’apprentissage par renforcement. Le professeur Pavone, expert reconnu dans le domaine, présente les concepts avec une clarté pédagogique remarquable, en s’appuyant sur des dérivations mathématiques précises et des exemples concrets. La valeur des informations est élevée : les fondements théoriques sont solidement établis, et les liens avec les applications pratiques (gestion de stock, LQR) sont pertinents. L’argumentation est solide, chaque étape étant justifiée par des hypothèses explicites (markovien, risque neutre) et des références à des ouvrages de référence (Bertsekas). La rigueur scientifique est exemplaire : les démonstrations sont esquissées, les limites des modèles sont soulignées, et les notations sont clarifiées entre les communautés (contrôle, informatique, recherche opérationnelle). Les sources citées (manuel, slides, site du cours) sont fiables et directement liées au contenu. L’adéquation entre le titre et le contenu est parfaite : le cours couvre exactement ce qui est annoncé. En termes de points faibles, on peut noter que le cours reste introductif et ne traite pas en profondeur des variantes comme les formulations sensibles au risque ou les approches adverses, mais cela est mentionné comme hors du cadre. De plus, la présentation est unidirectionnelle, sans interaction avec les étudiants, ce qui limite l’approfondissement. Néanmoins, la qualité globale est excellente, et ce cours constitue une ressource précieuse pour les étudiants et les chercheurs souhaitant maîtriser les bases de la programmation dynamique stochastique.

Le titre est clair et précis, correspondant exactement au contenu : cours magistral sur la programmation dynamique stochastique.

9/10

Cours universitaire de niveau master, présenté par un expert reconnu (Prof. Marco Pavone), avec support de slides et références à un manuel. Contenu rigoureux, dérivations mathématiques et exemples concrets. La fiabilité est élevée, mais la notation est subjective et le cours ne couvre pas toutes les variantes (ex. risque).

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

• 00:00Introduction et rappel du cadre de contrôle optimal en boucle fermée.
• 02:00Formulation du problème avec perturbations aléatoires et hypothèse markovienne.
• 10:00Présentation du principe d'optimalité et de l'équation de Bellman pour le cas stochastique.
• 20:00Exemple détaillé de gestion de stock avec résolution manuelle de la récursion.
• 40:00Extension au LQR stochastique et dérivation de la loi de commande optimale.
• 1:00:00Introduction aux MDP à horizon infini avec facteur d'actualisation.
• 1:10:00Définition de la fonction Q et son importance pour l'apprentissage par renforcement.
• 1:15:00Annonce des algorithmes d'itération sur la valeur et sur la politique pour la prochaine séance.

• Page du cours AA203 — Page officielle du cours pour plus d'informations sur l'inscription.
• Principles of Robot Autonomy (manuel) — Manuel compagnon du cours, disponible gratuitement en ligne.
• Site du cours AA203 (Spring 2025-26) — Calendrier et syllabus du cours.
• Slides de la leçon 9 — Supports de cours utilisés pendant la leçon.
• Playlist complète du cours — Accès à toutes les vidéos du cours.

• Dynamic Programming and Optimal Control (Vol. 1) — Le professeur Pavone référence les travaux de Dimitri Bertsekas pour les preuves du principe d'optimalité.