High dimensional statistics - session 2

High dimensional statistics - session 2

par Robust and Interpretable Machine Learning Lab

Sciences formelles & physiques Mathématiques PBMathématiquesPBTProbabilité et statistiques
🎙 Robust and Interpretable Machine Learning Lab 👥 1K 📅 15 octobre 2025 ⏱ 83 min 👁 212 📄 cours magistral 🧭 2026-08-16
Disponible en : Français (actuel) English

Mots-clés

haute dimensionclassificationerreur de Bayesconvergencesparsité

Résumé

Ce cours de statistiques en haute dimension, deuxième session, poursuit l’étude de la classification binaire dans un cadre où le nombre de caractéristiques (d) est grand, potentiellement comparable au nombre d’échantillons (n). Le professeur rappelle d’abord le cadre du problème : deux classes gaussiennes avec des moyennes opposées et une matrice de covariance commune. Il avait établi précédemment que le classifieur optimal (au sens de Bayes) compare les densités et que son erreur est donnée par une fonction de la distance de Mahalanobis. En pratique, la moyenne étant inconnue, on l’estime par la moyenne empirique et on l’injecte dans le classifieur optimal, ce qui donne un classifieur ‘plug-in’. L’objectif est d’analyser le comportement asymptotique de l’erreur de ce classifieur plug-in lorsque n tend vers l’infini. Pour cela, le cours introduit les notions de convergence en probabilité et le théorème de mapping continu. Ensuite, une décomposition de l’erreur est effectuée, faisant apparaître des termes faisant intervenir la moyenne estimée. Sous l’hypothèse que le rapport d/n tend vers une constante α0 (éventuellement non nulle), le cours montre que l’erreur du classifieur plug-in converge vers une valeur qui dépend de α0. Si α0=0 (régime classique où d est fixe), on retrouve l’erreur de Bayes optimale. Si α0>0, l’erreur est plus élevée, ce qui illustre la malédiction de la dimension. Le cours conclut en discutant de la nécessité d’ajouter des hypothèses structurelles, comme la sparsité, pour surmonter ce problème.

235 mots

Évaluation critique

Valeur des informations & solidité de l’argumentation

La valeur principale de ce cours réside dans sa démonstration rigoureuse de l’effet de la dimension sur la performance des classifieurs plug-in. L’argumentation est solide : elle s’appuie sur des théorèmes classiques (convergence en probabilité, loi des grands nombres, théorème de mapping continu) et sur des calculs explicites. Le professeur prend soin de justifier chaque étape et de discuter les hypothèses, notamment celle sur le rapport d/n. La conclusion est claire : en haute dimension, l’estimation naïve de la moyenne dégrade l’erreur de classification, et des hypothèses supplémentaires comme la sparsité sont nécessaires. Cependant, le cours reste théorique et ne fournit pas d’exemples numériques ou d’illustrations pratiques, ce qui limite sa portée pour un public non spécialiste.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est élevée : les démonstrations sont mathématiquement correctes et les concepts sont bien définis. Le cours s’appuie sur des résultats classiques de statistique et de probabilité, mais aucune source externe n’est citée explicitement. Le titre est en adéquation avec le contenu : il s’agit bien d’une session de statistiques en haute dimension. La chaîne ‘Robust and Interpretable Machine Learning Lab’ suggère une expertise dans le domaine, mais la vidéo ne fournit pas de références bibliographiques pour approfondir.

212 mots

Adéquation titre / contenu

Le titre est clair et correspond exactement au contenu : une session de cours sur les statistiques en haute dimension.

Qualité & fiabilité

8/10

Cours magistral de niveau universitaire, présentant des démonstrations mathématiques rigoureuses et des références implicites à des concepts statistiques établis. La démarche est pédagogique et structurée, mais aucune source externe n'est citée explicitement.

Moments clés

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

Apport & nouveautés

Ce cours apporte une démonstration pédagogique et détaillée de l’effet de la haute dimension sur la classification plug-in, en mettant en évidence le rôle du rapport d/n. Il illustre la malédiction de la dimension et motive l’utilisation de méthodes régularisées ou de modèles parcimonieux.

Pour aller plus loin :

  • Théorie de l’estimation en haute dimension — Pour une vue d’ensemble des défis statistiques en grande dimension.
  • Régularisation (statistiques) — Pour comprendre les méthodes de régularisation comme le LASSO.
  • Sparsité — Concept clé pour les modèles parcimonieux.
  • Erreur de Bayes — Pour approfondir la notion d’erreur optimale.

96 mots

Profil radar

Le profil radar montre un niveau technique élevé et une bonne fiabilité, mais une quantité d'information modérée et une qualité d'information correcte. Cela reflète un cours théorique dense, avec peu d'exemples concrets.

Fiabilité 8/10