1. Le piège fatal du taux de succès global (Accuracy Paradox)

Imaginons un jeu de données médical où une maladie rare ne touche que 1 individu sur 1’000 (0.1% de la population). Un classifieur naïf qui prédirait systématiquement que tout patient est sain obtiendrait une exactitude (accuracy) de 99.9%. Pourtant, ce modèle est totalement inutile et dangereux car il n’a détecté aucun malade ! C’est pourquoi l’exactitude brute doit être bannie des jeux de données déséquilibrés au profit de métriques spécialisées.

2. La matrice de confusion décryptée

La matrice de confusion croise les valeurs réelles avec les prédictions du modèle pour faire apparaître quatre issues fondamentales :

3. Précision, Rappel et le score F1

• La Précision : Parmi toutes les alertes déclenchées par le modèle, quelle fraction était réellement positive ? ( ext{Précision} = rac{VP}{VP + FP}). Cruciale lorsque les fausses alertes coûtent cher (ex. blocage injustifié d’un virement bancaire).
• Le Rappel (Sensibilité / Recall) : Parmi tous les cas positifs réels, quelle proportion le modèle a-t-il réussi à intercepter ? ( ext{Rappel} = rac{VP}{VP + FN}). Crucial lorsque manquer un cas est dramatique (ex. diagnostic médical, détection d’attaque terroriste).
• Le F1-Score : La moyenne harmonique de la précision et du rappel : (F1 = 2 cdot rac{ ext{Précision} cdot ext{Rappel}}{ ext{Précision} + ext{Rappel}}). Offre une mesure équilibrée sans complaisance.

4. La courbe ROC et l’aire sous la courbe (AUC)

En faisant varier le seuil de classification de 0 à 1, la courbe ROC trace le taux de vrais positifs contre le taux de faux positifs. L’AUC (Area Under the Curve) résume cette capacité en un score unique : une valeur de 0.5 équivaut à un tirage à pile ou face, tandis qu’une valeur supérieure à 0.9 traduit un modèle doté d’un exceptionnel pouvoir de discrimination.