NIST AI RMF — Gestion des risques pour l'IA

Le NIST AI RMF — Aperçu du Cadre

Pourquoi un cadre pour les risques liés à l'IA ?

Les systèmes d'IA échouent différemment des logiciels traditionnels. Ils peuvent :

• Halluciner — fournir des résultats plausibles mais faux
• Renforcer les biais — reproduire des discriminations systématiques issues des données d'entraînement
• Dériver — se comporter différemment après le déploiement qu'au test
• Être opaques — décisions en boîte noire sans logique compréhensible

Le NIST AI RMF offre un cadre structuré pour gérer ces risques de manière proactive — et non réactive.

GOVERN — Le cadre organisationnel

Question centrale : Avons-nous les bonnes structures pour opérer l'IA de manière responsable ?

GOVERN est la base de toutes les autres fonctions. Sans lui, MAP, MEASURE et MANAGE sont inefficaces.

Ce que couvre GOVERN :

• Politiques : Quels systèmes d'IA pouvons-nous utiliser ? Lesquels ne pouvons-nous pas ?
• Rôles et responsabilités : Qui est responsable des risques liés à l'IA ?
• Culture : Le risque lié à l'IA est-il pris au sérieux — et pas seulement comme un problème informatique ?
• Documentation : Les systèmes d'IA et leurs risques sont-ils documentés de manière traçable ?
• Processus de gouvernance : Comment les décisions liées à l'IA sont-elles vérifiées ?

Exemple pratique : Une autorité utilise l'IA pour la détection de fraude. GOVERN signifie : il existe une politique écrite sur qui peut utiliser le système, comment les résultats sont vérifiés et quels cas sont escaladés aux humains.

MAP — Identifier et contextualiser les risques

Question centrale : Quels risques ce système d'IA génère-t-il dans ce contexte ?

MAP va au-delà de l'analyse technique — il s'interroge sur le contexte sociotechnique.

Ce que couvre MAP :

• Contexte : Dans quel environnement le système est-il utilisé ?
• Parties prenantes : Qui est influencé par le système ?
• Dommages potentiels : Que peut-il mal tourner — pour qui — avec quelle probabilité ?
• Catégorisation : Quel type de risque ? (Biais, sécurité, protection des données, performance...)
• Dépendances : De quelles données, systèmes et personnes le système d'IA dépend-il ?

Important : MAP n'est pas une étape unique. Le contexte d'un système d'IA change — un système sûr en 2023 peut présenter d'autres risques en 2025 dans un contexte différent.

MEASURE — Analyser et quantifier les risques

Question centrale : Quelle est l'ampleur réelle des risques identifiés ?

MEASURE traduit les risques qualitatifs en grandeurs mesurables.

Ce que couvre MEASURE :

• Métriques de performance : Précision, rappel, mais aussi des métriques dépendantes du contexte
• Équité et biais : Certains groupes sont-ils systématiquement désavantagés ?
• Robustesse : Comment le système se comporte-t-il face à des entrées inhabituelles ?
• Explicabilité : Les décisions peuvent-elles être comprises ?
• Surveillance de la dérive : Le comportement du système change-t-il au fil du temps ?

Perspicacité critique : La précision seule ne suffit pas. Un système avec 95% de précision peut fonctionner avec un taux d'erreur de 60% pour un groupe de population. MEASURE exige une analyse multicouche.

MANAGE — Prioriser et réduire les risques

Question centrale : Quelles mesures prenons-nous — et comment surveillons-nous leur efficacité ?

MANAGE est le niveau de mise en œuvre du cadre.

Ce que couvre MANAGE :

• Priorisation : Quels risques doivent être traités en premier ?
• Mesures : Comment les risques sont-ils réduits ? (Techniquement, procéduralement, organisationnellement)
• Surveillance continue : Le système est-il surveillé après le déploiement ?
• Réponse aux incidents : Que se passe-t-il lorsqu'un problème d'IA survient ?
• Boucles de rétroaction : Comment les connaissances sont-elles réintégrées dans MAP et MEASURE ?

L'interaction

GOVERN (établir les conditions cadres)
    ↓
MAP (identifier les risques)
    ↓
MEASURE (quantifier les risques)
    ↓
MANAGE (réduire + surveiller les risques)
    ↑_________________________________|
        (cycle continu)

Le cadre est non linéaire — en pratique, les quatre fonctions se déroulent en parallèle et s'influencent mutuellement.

MAP et MEASURE — Identifier et évaluer les risques

MAP en pratique

MAP est plus qu'une simple liste de contrôle — c'est une approche structurée de réflexion sur le contexte et les conséquences.

Étape 1 : Comprendre le système et son objectif

Avant de pouvoir identifier les risques, il est essentiel de clarifier :

• Que fait exactement le système ?
• Que ne fait-il pas (limites du système) ?
• Dans quel processus décisionnel est-il intégré ?

Étape 2 : Analyse des parties prenantes

Directement concernées : Qui reçoit des décisions par le système ? Indirectement concernées : De qui les données sont-elles utilisées ? Qui subit les conséquences ? Opérateur : Qui déploie le système et en assume la responsabilité ?

Exemple : Pour un filtre de candidature basé sur l'IA, les personnes directement concernées sont : les candidats. Indirectement : les futurs collègues, la culture d'entreprise. Opérateur : le département RH et les dirigeants.

Étape 3 : Identifier les catégories de risques

NIST distingue plusieurs dimensions de risque :

MEASURE en pratique

Au-delà de la précision

La principale leçon de MEASURE : Une seule métrique ne suffit jamais.

Mesurer l'équité — concrètement

Trois métriques d'équité courantes :

1. Parité démographique : Chaque groupe reçoit-il aussi souvent des décisions positives ?
2. Égalité des chances : Chaque groupe a-t-il le même taux de vrais positifs ?
3. Calibration : Les déclarations de probabilité sont-elles équivalentes entre les groupes ?

Important : Ces métriques peuvent être contradictoires — il n'existe pas de standard parfait d'équité. La décision de prioriser une métrique est une décision éthique et organisationnelle, pas uniquement technique.

Surveillance de la dérive

Les systèmes d'IA évoluent au fil du temps — pas dans le code, mais dans leur impact :

• Dérive des données : Les données d'entrée changent (par exemple, nouveaux groupes de clients)
• Dérive conceptuelle : La réalité change (par exemple, une crise économique modifie le risque de crédit)
• Dérive du modèle : Le modèle se dégrade en raison de changements dans les motifs de données

MEASURE exige une surveillance continue — pas un test unique lors du déploiement.

# MANAGE — Réduire et surveiller les risques

---

## De la connaissance à l'action

MANAGE est le point où l'analyse des risques devient une **gouvernance actionnable**.

---

## Prioriser les risques

Tous les risques ne peuvent pas être immédiatement résolus. MANAGE commence par la priorisation :

**Critères :**
- **Gravité :** Quels dommages surviennent si le risque se réalise ?
- **Probabilité :** Quelle est la probabilité de l'occurrence du dommage ?
- **Réversibilité :** Un dommage peut-il être annulé ?
- **Personnes concernées :** Combien de personnes sont affectées ?

Les risques avec une gravité élevée + une probabilité élevée + un effet irréversible sont traités en premier.

---

## Types de mesures

### Mesures techniques
- Corrections de biais lors de l'entraînement ou du post-traitement
- Tests de robustesse et tests adversariaux
- Couches d'explicabilité (LIME, SHAP)
- Alertes automatiques de dérive

### Mesures procédurales
- **Human-in-the-Loop (HITL) :** Un humain vérifie les décisions critiques avant exécution
- Principe des quatre yeux pour les décisions à haut risque
- Voies d'escalade pour les cas limites
- Revues régulières des modèles

### Mesures organisationnelles
- Responsabilités claires pour les systèmes d'IA
- Mécanismes de plainte pour les personnes concernées
- Formations pour les opérateurs de systèmes

---

## Surveillance continue

MANAGE ne se termine pas après l'introduction d'un système. La surveillance comprend :

| Quoi surveiller | Fréquence | Responsable |
|---|---|---|
| Indicateurs de performance | Continu / quotidien | Équipe IA |
| Indicateurs de justice | Mensuel | Équipe IA + Conformité |
| Retour d'utilisateur et plaintes | Continu | Opérateur |
| Dérive du modèle | Trimestriel | Équipe IA |
| Conformité de la gouvernance | Annuel | Conformité |

---

## Réponse aux incidents

Que se passe-t-il lorsqu'un système d'IA cause un dommage ?

**Préparation (avant l'incident) :**
- Documenter un plan de réponse aux incidents pour les systèmes d'IA
- Définir des voies d'escalade claires
- "Kill Switch" — rendre le système désactivable

**Réaction (lors de l'incident) :**
1. Arrêter le système ou le mettre en mode sécurisé
2. Informer les personnes concernées
3. Analyser la cause (Cause Racine)
4. Documenter les mesures
5. Intégrer les leçons apprises dans GOVERN + MAP

---

## MANAGE et le cycle

MANAGE n'est **pas un point final**. Les connaissances issues de la surveillance sont réintégrées :

- Nouveaux risques → retour à MAP
- Indicateurs détériorés → retour à MEASURE
- Problèmes structurels → retour à GOVERN

C'est le cœur du RMF : **amélioration continue**, pas une conformité ponctuelle.

NIST AI RMF vs. EU AI Act

Deux cadres, un objectif

Les deux normes visent une IA responsable — mais de manière différente :

Où ils se complètent

EU AI Act → NIST AI RMF

Le EU AI Act exige que les systèmes d'IA à haut risque soient soumis à un système de gestion des risques (Art. 9). Le NIST AI RMF est une approche reconnue de ce à quoi ce système peut ressembler.

Pratiquement : Une entreprise qui implémente le NIST AI RMF satisfait automatiquement à de nombreuses exigences du EU AI Act concernant le système de gestion des risques de l'IA.

NIST AI RMF → EU AI Act

Le NIST AI RMF aide à rendre les exigences du EU AI Act opérationnalisables. Il propose des activités concrètes (profils, playbooks), là où le EU AI Act présente des exigences abstraites.

Chevauchements en détail

Ce que chaque cadre fait mieux

EU AI Act mieux adapté pour :

• Question claire : "Suis-je conforme ?"
• Décisions à haut risque ("Puis-je utiliser ce système ?")
• Reporting réglementaire aux autorités

NIST AI RMF mieux adapté pour :

• Mise en œuvre pratique de la gestion des risques
• Projets internationaux en dehors de l'UE
• Conseils opérationnels détaillés

Recommandation pour la pratique

Utilisez les deux ensemble :

• EU AI Act comme liste de vérification de conformité et limite légale
• NIST AI RMF comme cadre de processus pour la mise en œuvre quotidienne

Pour ceux qui visent ISO 42001 : NIST AI RMF et ISO 42001 sont également fortement alignés — une mise en œuvre NIST accélère considérablement la certification ISO.