1. La « malédiction de la dimensionnalité » (Curse of Dimensionality)

Lorsque le nombre de caractéristiques (p) d’un jeu de données devient très important (dizaines ou centaines de colonnes), le volume de l’espace géométrique augmente exponentiellement. Les observations deviennent extrêmement éparses et isolées, les distances euclidiennes perdent leur pouvoir discriminant et le temps de calcul des algorithmes s’effondre. C’est ce que les data scientists nomment la malédiction de la dimensionnalité.

2. Le principe mathématique de l’ACP (Principal Component Analysis)

L’Analyse en Composantes Principales (ACP) est une technique d’algèbre linéaire non supervisée qui projette les données d’origine sur de nouveaux axes orthogonaux non corrélés, appelés composantes principales :

• Le premier axe principal est orienté dans la direction qui capture la variance maximale (le maximum d’information et de dispersion des données).
• Le second axe, orthogonal au premier, capture la plus grande part de variance résiduelle, et ainsi de suite.

3. Le ratio de variance expliquée

L’attribut explained_variance_ratio_ de Scikit-Learn indique précisément le pourcentage de l’information originelle préservé par chaque axe. Par exemple, si les deux premières composantes totalisent 82% de la variance expliquée, nous pouvons réduire un tableau complexe de 30 variables à seulement 2 dimensions tout en ne perdant que 18% d’information marginale.

4. Applications majeures : Compression et visualisation graphique

La réduction de dimensionnalité remplit deux missions stratégiques :

1. La visualisation de données complexes : Projeter des jeux de données multidimensionnels dans un plan 2D ou 3D facilement compréhensible par l’œil humain et les comités de direction.
2. Le prétraitement accélérateur de modèles : Réduire la complexité d’entrée avant d’alimenter un algorithme de classification ou de régression, réduisant le temps d’entraînement et le risque de surapprentissage.