AI@UCI Workshop on Markov Chains!!

Cet atelier, animé par Shreya en visioconférence, introduit les chaînes de Markov discrètes. L’animatrice commence par une question concrète sur les lieux d’étude pour illustrer la propriété de Markov : l’état futur ne dépend que de l’état présent, pas du passé. Elle explique ensuite la modélisation par graphes orientés et matrices de transition, en insistant sur le fait que les lignes de la matrice somment à 1. Un exemple interactif avec les états ‘rot’ et ’locked in’ permet de construire un graphe et une matrice. La notion de dépendance conditionnelle est abordée, montrant que les états à différents instants ne sont pas indépendants mais le deviennent conditionnellement à l’état courant. L’atelier se termine par une introduction aux processus de décision markoviens (MDP) et aux processus de récompense markoviens (MRP), posant les bases pour la séance suivante sur l’apprentissage par renforcement. L’approche est pédagogique, avec des exemples concrets et des interactions avec les participants, mais reste introductive et ne couvre pas les aspects avancés comme les distributions stationnaires ou les chaînes absorbantes.