[ИАД, осень 2025] Байесовский выбор моделей. Лекция 4: Обоснованность (evidence)

Item: [ИАД, осень 2025] Байесовский выбор моделей. Лекция 4: Обоснованность (evidence)
Rating: 4
Author: PostSingularity Institute

par Machine Learning – Intelligent Systems

Sciences formelles & physiques IA — Modèles & Recherche UYQIntelligence artificielle (IA)UYQMApprentissage par la machine

🎙 Machine Learning – Intelligent Systems 👥 8K 📅 1 octobre 2025 ⏱ 90 min 👁 100 📄 cours magistral 🧭 2026-08-16

Disponible en : Français (actuel) English

Mots-clés

bayésienrégression linéaireevidencerégularisationa priori

Résumé

Ce cours magistral, quatrième leçon d’une série sur la sélection bayésienne de modèles, se concentre sur le concept de vraisemblance marginale (evidence) et son rôle dans la régression linéaire bayésienne. L’enseignant commence par rappeler les limites de la régression linéaire classique par moindres carrés, notamment en cas de bruit non gaussien ou de sous-détermination, et introduit la régularisation L1 et L2 comme solutions ingénieriques. Il montre ensuite que ces régularisations correspondent à des choix de distributions a priori sur les poids : une gaussienne pour L2 et une Laplace pour L1. Le cœur de la leçon est l’introduction de l’approche bayésienne complète : considérer les poids comme des variables aléatoires avec une distribution a priori, puis calculer la distribution a posteriori via le théorème de Bayes. L’enseignant explique comment la maximisation de la vraisemblance marginale (evidence) permet de sélectionner les hyperparamètres, comme la force de régularisation, en comparant les modèles. Il illustre cela avec des exemples, notamment la régression polynomiale et la tomographie, et discute de la différence entre les approches fréquentiste et bayésienne. La leçon se termine par une introduction à la vraisemblance marginale comme outil de comparaison de modèles, soulignant son importance pour l’inférence bayésienne.

197 mots

Évaluation critique

Valeur des informations & solidité de l’argumentation

La valeur des informations est élevée : le cours fournit une explication claire et approfondie des fondements bayésiens de la régularisation et de la sélection de modèles. L’argumentation est solide, s’appuyant sur des démonstrations mathématiques et des exemples concrets (température, tomographie). L’enseignant relie systématiquement les concepts théoriques aux pratiques d’apprentissage automatique, ce qui renforce la pertinence du contenu. La progression pédagogique est bien construite, partant des limites de l’approche classique pour aboutir à la formulation bayésienne complète.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est bonne : les dérivations mathématiques sont correctes et les explications sont cohérentes. Cependant, la vidéo ne cite pas de sources bibliographiques explicites, ce qui limite la vérifiabilité des affirmations. Le titre est en adéquation avec le contenu, bien que le terme ’evidence’ soit introduit tardivement. La qualité des sources est donc moyenne, mais la rigueur interne est satisfaisante.

154 mots

Adéquation titre / contenu

Le titre annonce une leçon sur la vraisemblance marginale (evidence) dans le cadre bayésien, et le contenu couvre effectivement ce sujet, en le reliant à la régression linéaire bayésienne.

Qualité & fiabilité

8/10

Cours universitaire structuré, exposé pédagogique rigoureux, fondé sur des démonstrations mathématiques et des exemples concrets. La qualité est élevée, mais l'absence de sources explicites et de références bibliographiques dans la vidéo limite la vérifiabilité.

Moments clés

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

Apport & nouveautés

L’apport original de cette leçon est de montrer comment la régularisation L1 et L2 découle naturellement de choix de distributions a priori dans un cadre bayésien, et d’introduire la vraisemblance marginale comme critère de sélection de modèles. Cette perspective unifie des concepts souvent présentés séparément.

Pour aller plus loin :

Théorème de Bayes — Fondement de l’inférence bayésienne.
Régression ridge — Lien avec la régularisation L2.
Lasso (statistiques) — Lien avec la régularisation L1.
Vraisemblance marginale — Concept clé pour la comparaison de modèles.

84 mots

Profil radar

Le profil radar montre un niveau élevé et équilibré sur les quatre axes, avec une légère prédominance de la quantité d'information et de la fiabilité, reflétant un cours dense et rigoureux.

Fiabilité 8/10