1. Le surapprentissage (Overfitting) : le piège numéro un

Le surapprentissage survient lorsqu’un modèle apprend par cœur le bruit et les spécificités anecdotiques du jeu d’entraînement au lieu d’en extraire des règles générales. Conséquence : le modèle affiche un score quasi parfait sur les données d’entraînement, mais échoue lamentablement face à de nouvelles données réelles.

À l’opposé, le sous-apprentissage (Underfitting) traduit un modèle trop simpliste incapable de capter la structure sous-jacente des données.

2. Évaluation rigoureuse des modèles de classification

L’exactitude brute (Accuracy) est souvent trompeuse, particulièrement en présence de classes déséquilibrées (ex. : 99% de transactions normales et 1% de fraudes). Il convient alors d’analyser la matrice de confusion :

  • Vrais Positifs (TP) et Vrais Négatifs (TN) : Prédictions correctes.
  • Faux Positifs (FP – Erreur de type I) : Fausse alerte (ex. un courriel légitime classé comme spam).
  • Faux Négatifs (FN – Erreur de type II) : Alerte manquée (ex. une maladie non détectée, danger critique).
  • Précision (Precision) : Proportion de vrais positifs parmi tous les cas prédits positifs.
  • Rappel (Recall / Sensibilité) : Capacité du modèle à capturer la totalité des cas positifs réels.
  • F1-Score : Moyenne harmonique entre précision et rappel, offrant un équilibre robuste.

3. Évaluation des modèles de régression

Pour les variables continues, on mesure l’écart moyen entre prédictions et valeurs réelles :

  • MAE (Mean Absolute Error) : Erreur absolue moyenne, simple et intuitive.
  • RMSE (Root Mean Squared Error) : Racine de l’erreur quadratique moyenne, pénalisant plus lourdement les grands écarts.
  • R² (Coefficient de détermination) : Proportion de la variance expliquée par le modèle (de 0 à 1).

4. Validation croisée (K-Fold Cross-Validation)

Pour garantir la stabilité des estimations, les données sont divisées en k sous-ensembles. Le modèle est entraîné k fois en utilisant successivement chaque pli comme ensemble de validation, garantissant une mesure statistique impartiale.

PreviousNext