Reinforcement Learning 2026 - Session 13

Cette session de cours avancé sur l’apprentissage par renforcement (RL) débute par un rappel des concepts clés de la session précédente : l’utilisation d’un modèle de l’environnement (fonction F) appris à partir de données, la planification par cross-entropy method (CEM), et l’exécution du premier action (MPC). Le problème principal identifié est le surajustement du modèle, qui conduit à des prédictions erronées et à une planification sous-optimale. Pour y remédier, l’incertitude épistémique est introduite, et une approche par ensemble de réseaux de neurones est proposée pour moyenner les prédictions et réduire les effets de surajustement. Ensuite, la discussion porte sur l’efficacité comparée des méthodes model-based et model-free : bien que les premières nécessitent moins d’interactions avec l’environnement, elles sont souvent plus lentes en temps réel à cause de la planification. Pour accélérer, l’idée d’apprendre une politique directement à travers le modèle (backpropagation à travers le temps) est explorée, mais elle souffre du problème de vanishing gradient. Une alternative plus robuste est présentée : utiliser le modèle pour générer des données synthétiques (model-based acceleration) et entraîner une politique model-free sur ces données. Cependant, cette approche accumule des erreurs de prédiction sur de longs horizons. La solution finale combine des rouleaux courts (short rollouts) avec le modèle, en les amorçant sur des états réels, et utilise un algorithme off-policy (comme SAC) pour entraîner la politique sur un mélange de données réelles et synthétiques. Cette méthode, appelée modèle-based RL avec short rollouts, constitue l’algorithme version 3 présenté.