1. Quels sont les systèmes d’IA qualifiés de « Haut Risque » ?

Sont classés à haut risque les systèmes d’IA déployés dans les domaines vitaux tels que :

  • La gestion des infrastructures critiques (réseaux électriques, eau potable, trafic).
  • L’éducation et la formation professionnelle (évaluation des examens, sélection aux admissions).
  • Les ressources humaines et l’emploi (tri automatisé des CV, évaluation de la performance des salariés).
  • L’octroi de crédits et l’évaluation de solvabilité financière.
  • L’évaluation du risque d’assurance médicale et prévoyance.
  • L’application de la loi et la justice (évaluation du risque de récidive).

2. Les 7 obligations de conformité pour les systèmes à haut risque

  1. Système de gestion des risques continu : Identification, analyse et mitigation continue des risques tout au long du cycle de vie du modèle.
  2. Gouvernance rigoureuse des données : Jeux d’entraînement, de validation et de test soumis à des contrôles stricts de représentativité, d’absence d’erreurs et de correction des biais statistiques.
  3. Documentation technique exhaustive : Dossier technique préalable décrivant les algorithmes, l’architecture et les choix d’ingénierie permettant l’auditabilité par les autorités.
  4. Enregistrement automatique des logs : Traçabilité continue des décisions pour permettre l’audit post-incident.
  5. Transparence et notice d’utilisation : Fourniture d’instructions claires pour les opérateurs humains.
  6. Supervision humaine effective (Human-in-the-Loop) : Capacité pour un être humain qualifié d’interrompre, corriger ou désactiver le système d’IA à tout instant.
  7. Robustesse, précision et cybersécurité : Résistance aux attaques contradictoires (Adversarial Attacks) et aux empoisonnements de données.