1. Les spécificités des problèmes de classification

Contrairement à la régression qui vise une grandeur continue, la classification consiste à prédire l’appartenance d’un échantillon à une catégorie discrète. Nous distinguons :

  • La classification binaire : Choix entre deux classes mutuellement exclusives (ex. Transaction légitime vs Fraude ; Solvable vs Non solvable).
  • La classification multi-classes : Affectation parmi trois catégories ou plus (ex. Classification d’un ticket de support client entre Facturation, Technique ou Résiliation).

2. La régression logistique : Fondements et fonction sigmoïde

Malgré son nom historique de « régression », la régression logistique est un algorithme de classification probabiliste. Elle transforme une combinaison linéaire de variables en une probabilité continue bornée entre 0 et 1 grâce à la fonction mathématique sigmoïde :

P(y=1|X) = 1 / (1 + e^-(w·X + b))

Par défaut, un seuil de décision (threshold) fixé à 0.5 convertit cette probabilité en classe binaire. En fonction des enjeux métiers (ex. diagnostic médical où les faux négatifs sont critiques), ce seuil peut être ajusté avec précision.

3. L’algorithme des k plus proches voisins (k-NN)

L’algorithme k-Nearest Neighbors est une méthode non paramétrique intuitive fondée sur la similarité géométrique :

  • Pour classifier un nouvel échantillon, l’algorithme calcule sa distance euclidienne par rapport à tous les points de l’ensemble d’entraînement.
  • Il sélectionne les k voisins les plus proches et lui attribue la classe majoritaire par vote démocratique.
  • Un k trop faible engendre un modèle hypersensible au bruit local (overfitting), tandis qu’un k trop élevé noie les particularités locales dans la moyenne globale.

4. Les arbres de décision (Decision Trees)

Les arbres de décision segmentent récursivement l’espace des données selon des règles de coupure successives (ex. Si Revenu > 80’000 CHF ET Âge < 35). À chaque nœud, l’arbre retient la variable et le seuil qui maximisent la pureté des sous-ensembles créés, mesurée par l’indice d’impureté de Gini ou l’entropie de Shannon. Leur lisibilité visuelle exceptionnelle en fait un outil de choix pour les organisations exigeant une totale explicabilité de leurs décisions.

PreviousNext