Sklearn make_scorer tutoriel : Créer vos propres métriques.
Mots-clés
Résumé
153 mots
Évaluation critique
Valeur des informations & solidité de l’argumentation
La valeur principale de cette vidéo réside dans son approche pratique et directement applicable. L’auteur explique clairement le problème métier (métriques spécifiques au client) et montre pas à pas comment y répondre avec make_scorer. L’argumentation est solide : il justifie l’utilité de la fonction, illustre avec un exemple concret, et démontre l’erreur courante d’utiliser une fonction brute au lieu d’un scoreur. La démonstration avec cross_val_score et GridSearchCV renforce la crédibilité. Cependant, l’argumentation aurait pu être enrichie par une discussion sur les pièges potentiels (par exemple, la gestion des métriques de classification vs régression) et par des références à la documentation officielle.
Rigueur scientifique, qualité des sources, adéquation du titre
La rigueur scientifique est correcte pour un tutoriel : les explications sont cohérentes avec la documentation de scikit-learn et les bonnes pratiques. Les sources citées dans la description (site web, GitHub, Discord) sont pertinentes pour approfondir, mais aucune référence académique n’est mentionnée. Le titre est en adéquation avec le contenu, sans exagération. La chaîne est reconnue pour ses tutoriels de qualité en français, ce qui renforce la fiabilité. Cependant, l’absence de sources primaires (articles, documentation officielle) limite la rigueur scientifique au sens strict.
199 mots
Adéquation titre / contenu
Le titre correspond parfaitement au contenu : la vidéo explique comment utiliser make_scorer pour créer des métriques personnalisées.
Qualité & fiabilité
8/10
Tutoriel clair et pratique, sans erreurs techniques majeures. L'auteur est un data scientist expérimenté, mais la vidéo ne fournit pas de références académiques et se concentre sur l'implémentation.
Moments clés
Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.
- Introduction : présentation de make_scorer et de son utilité pour créer des métriques personnalisées.
- Exemple concret : métrique client avec tolérance de ±20% sur les prédictions.
- Création de la fonction custom_metrics calculant la proportion de prédictions dans la tolérance.
- Conversion de la fonction en scoreur avec make_scorer et paramètre greater_is_better.
- Utilisation du scoreur dans cross_val_score et démonstration de l'erreur si on passe la fonction brute.
- Intégration du scoreur dans GridSearchCV avec un modèle SVR et recherche d'hyperparamètres.
- Évaluation du meilleur modèle et comparaison avec le modèle initial.
- Conclusion et exercice proposé : créer une métrique RMSE personnalisée.
Sources citées
- Machine Learnia - Site officiel — Site de l'auteur avec ressources complémentaires.
- Machine Learnia - GitHub — Dépôt GitHub contenant les codes sources des tutoriels.
- Livre gratuit : Apprendre le Machine Learning en une semaine — Offre d'un livre gratuit pour débuter en machine learning.
Sources concordantes
- Documentation scikit-learn : make_scorer — La documentation officielle confirme la syntaxe et l'utilisation de make_scorer.
- Guide de validation croisée scikit-learn — Confirme l'utilisation des scoreurs dans cross_val_score.
Apport & nouveautés
L’apport original de cette vidéo est de combler un manque de tutoriels en français sur la création de métriques personnalisées avec scikit-learn. Elle fournit une méthode claire et réutilisable pour adapter les métriques aux besoins métier, ce qui est souvent négligé dans les formations classiques. L’exemple concret avec une tolérance de ±20% est pertinent et facilement transposable.
Pour aller plus loin :
- Documentation officielle de make_scorer — Référence incontournable pour les paramètres et exemples.
- Cross-validation: evaluating estimator performance — Guide sur la validation croisée et l’utilisation des scoreurs.
- GridSearchCV documentation — Détails sur la recherche d’hyperparamètres avec scoring personnalisé.
- Custom scorers in scikit-learn — Section sur les scoreurs personnalisés dans le guide de sélection de modèles.
116 mots
Profil radar
Le profil radar montre des scores élevés en qualité d'information et fiabilité, mais un peu plus faibles en quantité d'information et niveau technique, ce qui reflète un tutoriel ciblé et pratique plutôt qu'une revue exhaustive.