1. L’adage fondamental : « Garbage In, Garbage Out »

En intelligence artificielle, aucun algorithme, quelle que soit sa sophistication, ne peut compenser des données d’entraînement de mauvaise qualité, incomplètes ou erronées. La phase de collecte et de préparation des données (Data Preparation) représente fréquemment 70 à 80% du temps total consacré à un projet d’ingénierie IA.

2. Les typologies de données rencontrées en entreprise

  • Données structurées : Tableaux relationnels, bases SQL, feuilles de calcul avec types de champs prédéfinis.
  • Données semi-structurées : Fichiers JSON, logs serveurs, documents XML présentant une structure flexible sans schéma rigide.
  • Données non structurées : Textes bruts, enregistrements audio, photographies, flux vidéo, représentant plus de 80% du volume des données créées dans le monde.

3. Le pipeline de nettoyage et de transformation (Feature Engineering)

Avant d’alimenter un algorithme, la donnée brute doit subir une série de transformations méthodiques :

  1. Gestion des valeurs manquantes (Missing Values) : Imputation par la moyenne/médiane, suppression ciblée ou utilisation d’estimateurs de régression.
  2. Traitement des valeurs aberrantes (Outliers) : Détection statistique par écart-type ou intervalle interquartile pour préserver la stabilité du modèle.
  3. Encodage catégoriel : Conversion des étiquettes textuelles en vecteurs numériques (One-Hot Encoding, Ordinal Encoding).
  4. Normalisation et Standardisation : Mise à l’échelle des plages de valeurs (Min-Max Scaling ou Z-Score) afin d’éviter qu’une variable à forte magnitude ne biaise l’apprentissage.

4. Le partitionnement des jeux de données : Train, Validation, Test

Pour mesurer objectivement la capacité de généralisation d’un modèle sans tricherie méthodologique, les données sont scindées en trois partitions étanches :

  • Ensemble d’entraînement (Train – env. 70%) : Sert à ajuster les paramètres internes du modèle.
  • Ensemble de validation (env. 15%) : Utilisé pour calibrer les hyperparamètres et stopper l’entraînement au moment optimal.
  • Ensemble de test (env. 15%) : Réservé pour la mesure finale de performance sur des données jamais rencontrées auparavant.
PreviousNext