Mettre en œuvre la gouvernance de l'IA techniquement
1. Quelle mesure la différence de parité démographique (DPD) ?
DPD = |P(Ŷ=1|A=0) - P(Ŷ=1|A=1)| — Différence des taux positifs.
2. Quelle bibliothèque Python fournit MetricFrame pour les métriques d'équité par groupe ? 2 pts
fairlearn.metrics.MetricFrame — Norme pour l'évaluation de l'équité.
3. Pourquoi la Parité Démographique et les Chances Égalisées ne peuvent-elles pas être satisfaites simultanément ?
Chouldechova 2017 : Les définitions de l'équité sont mathématiquement incompatibles en présence de taux de base inégaux.
4. Que calcule SHAP pour une prédiction individuelle ?
SHAP explique UNE prédiction — pourquoi le modèle a-t-il pris exactement cette décision ?
5. Quand LIME est-il préférable à SHAP ?
LIME = Explications Interprétables Locales Indépendantes du Modèle. Fonctionne avec n'importe quel modèle.
6. Une fiche modèle contient pour un modèle de crédit à haut risque : Les métriques d'équité montrent DPD=0.07. Que signifie cela ? 2 pts
EU AI Act : DPD < 0.05 est recommandé comme seuil. 0.07 = Révision, pas d'arrêt immédiat.
7. Que doit-on enregistrer conformément à l'Art. 12 du EU AI Act — et que ne doit-on PAS enregistrer ?
Art. 12 + DSGVO : Audit-Trail oui, mais pas de journalisation directe des PII. Hash au lieu de données brutes.
8. Quel outil est utilisé pour la détection de dérive des données en production ?
Evidently AI — Outil standard pour la détection de dérive et la surveillance des modèles en production.
9. Qu'est-ce que MLflow suit dans le contexte de la gouvernance de l'IA ?
MLflow = Suivi d'expériences + Piste d'audit. Enregistrer les métriques d'équité avec mlflow.log_metrics().
10. Que prescrit l'Annex IV (Documentation technique) du EU AI Act pour les systèmes à haut risque ? 2 pts
L'Annexe IV définit 8 sections obligatoires. Doit être disponible avant la mise sur le marché.
11. À quelle fréquence la documentation technique doit-elle être mise à jour selon l'Art. 11 ?
Art. 11 : La documentation doit être maintenue à jour — à chaque version du modèle.
12. Un modèle de crédit montre pour les demandeurs de < 25 ans un TPR de 0,68 contre 0,91 au total. Quelle est la réaction correcte ?
Sous-performance systématique pour un groupe = Biais. Cause première d'abord, puis atténuation.
13. Quelle est la différence entre SHAP pour les modèles ML classiques et les LLMs ?
LLMs : stochastiques, très nombreux paramètres, Attention ≠ Importance. L'explicabilité est fondamentalement plus difficile.
14. Quelle métrique RAGAS mesure si une réponse RAG est couverte par les documents récupérés ?
fidélité = Score de fondement. Indique combien de la réponse est vérifiable dans le contexte.
15. Qu'offre la Microsoft Responsible AI Toolbox au-delà de Fairlearn ?
RAI Toolbox = Fairlearn + Analyse des erreurs + Explicabilité + Causalité + Contrefactuels.
16. Quel outil est le meilleur choix pour la détection de dérive en production ?
Évidemment : spécialisé dans la dérive des données, la dérive des modèles, la qualité des données — en production.
17. Un agent a : accès CRM (PII), recherche Web (non fiable), envoi d'e-mails. Quel est le risque ? 2 pts
Trifecta mortelle : L'attaquant injecte via la recherche Web → L'agent accède au CRM → envoie par e-mail.
18. Que signifie le principe du moindre privilège pour les agents IA ?
PoLP : Portée de capacité minimale. Niveau de confiance 'faible' = pas d'écriture, pas d'API externe, pas d'e-mail.
19. Un agent attend 5 minutes pour l'approbation HITL. Aucune réponse humaine. Que se passe-t-il ?
Fail-closed : Le délai d'attente n'est pas un accord implicite. En cas d'incertitude, bloquer.
20. Vous développez un système de scoring de crédit. Quelle pile technologique est entièrement conforme au EU AI Act pour les systèmes à haut risque ? 2 pts
Haut risque nécessite : Mesure de l'équité + Explicabilité + Piste d'audit + Surveillance des dérives + Documentation technique + Supervision humaine.