1. La régression linéaire : Le socle analytique incontournable

La régression linéaire est l’algorithme d’apprentissage supervisé par excellence lorsqu’il s’agit de prédire une grandeur numérique continue. Dans sa version simple, elle modélise la relation entre une variable explicative (X) et la cible (y) par une équation affine :

y = w₁ · x + w₀ + ε

où (w₁) est le coefficient directeur (poids accordé à la variable), (w₀) l’ordonnée à l’origine (biais ou intercept) et (arepsilon) l’erreur résiduelle non expliquée. Dans sa version multiple, l’équation s’étend vectoriellement à l’ensemble des (p) caractéristiques.

2. L’estimation des coefficients par les Moindres Carrés Ordinaires (OLS)

L’algorithme calcule les coefficients optimaux en minimisant la somme des carrés des résidus (Ordinary Least Squares). Cette minimisation garantit que la droite (ou l’hyperplan) calculée traverse le nuage de points de la manière la plus équilibrée possible.

3. Évaluer la qualité d’une régression : Métriques clés

Pour mesurer la précision d’un modèle de régression sur des données de test, nous utilisons quatre indicateurs complémentaires :

• MAE (Mean Absolute Error) : Moyenne des erreurs absolues. Très intuitive car exprimée dans l’unité exacte de la cible.
• MSE (Mean Squared Error) : Moyenne des erreurs au carré. Pénalise sévèrement les erreurs d’estimation importantes.
• RMSE (Root Mean Squared Error) : Racine carrée de la MSE. Combine la sensibilité aux valeurs extrêmes tout en conservant l’unité de mesure initiale.
• R² (Coefficient de détermination) : Proportion de la variance de la cible expliquée par le modèle (compris entre 0 et 1). Un score de 0.85 signifie que 85% de la variabilité est fidèlement capturée.

4. Régression polynomiale et régularisation (Ridge & Lasso)

Lorsque la relation entre les variables est curviligne, l’adjonction de termes polynomiaux ((x^2, x^3)) permet d’assouplir le modèle. Cependant, cette flexibilité accrue augmente considérablement le risque de surapprentissage. Les techniques de régularisation introduisent une pénalité sur la magnitude des coefficients :

• Régularisation Ridge (L2) : Réduit l’amplitude des coefficients sans jamais les annuler complètement, stabilisant ainsi les modèles confrontés à des variables fortement corrélées.
• Régularisation Lasso (L1) : Force certains coefficients secondaires à s’annuler exactement, opérant une sélection automatique et parcimonieuse des variables les plus pertinentes.