Gradient-based explanations (saliency maps)

Cette vidéo de la chaîne ‘Machine learning classroom’ présente les méthodes d’explication de modèles d’apprentissage automatique basées sur les gradients, notamment les cartes de saillance (saliency maps). L’orateur commence par poser la question centrale : comment la prédiction change-t-elle si l’on modifie légèrement une caractéristique d’entrée ? Il explique que les méthodes par gradient mesurent la sensibilité locale du modèle à chaque caractéristique, en utilisant les dérivées partielles. Il illustre le concept avec un exemple de classification d’image (un grand requin blanc) où les pixels importants sont mis en évidence. Ensuite, il détaille le cadre mathématique : le modèle est une fonction différentiable, et l’attribution de chaque caractéristique est basée sur la norme du gradient. Il souligne les limites de cette approche : elle mesure des changements infinitésimaux, est sensible aux perturbations de l’entrée, et peut être trompeuse en cas de saturation du modèle. Pour remédier à ces problèmes, il introduit les gradients intégrés (integrated gradients), qui agrègent la sensibilité le long d’un chemin entre un point de référence (baseline) et le point d’intérêt, et qui satisfont une propriété de complétude. Il compare brièvement les gradients intégrés avec SHAP et LIME, en notant leurs dépendances respectives. Enfin, il résume les forces (rapidité, passage à l’échelle, complétude) et les limites (nécessité de différentiabilité, sensibilité au choix de la baseline, caractère local) de ces méthodes.