Pruning decision trees

Cette vidéo pédagogique présente les forces et faiblesses des arbres de décision, en mettant l’accent sur le problème du surapprentissage et sur les techniques d’élagage pour y remédier. L’auteur commence par énumérer les avantages : interprétabilité, classement des caractéristiques, gestion des données mixtes, pré-traitement minimal, gestion des données déséquilibrées et rapidité d’entraînement. Il souligne ensuite les inconvénients : pouvoir de prédiction limité (prédictions constantes par morceaux), instabilité et forte variance, et surtout tendance au surapprentissage. Pour contrer ce dernier, il présente deux approches : l’élagage préalable (pré-élagage) qui consiste à limiter la croissance de l’arbre (profondeur maximale, nombre minimal d’échantillons par nœud) et l’élagage postérieur (post-élagage) qui consiste à simplifier un arbre déjà construit en remplaçant certains sous-arbres par des feuilles. La méthode détaillée pour l’élagage postérieur repose sur un critère combinant l’erreur d’entraînement et une pénalité de complexité (paramètre alpha). L’auteur explique comment calculer le coût d’élagage pour chaque nœud, puis comment élaguer itérativement le maillon le plus faible. Enfin, il aborde le choix de alpha par validation croisée et présente le processus global de construction et d’élagage d’un arbre de décision.