Assessment

1. Wat meet Demographic Parity Difference (DPD)?

DPD = |P(Ŷ=1|A=0) - P(Ŷ=1|A=1)| — Verschil van de Positieve Rates.

2. Welke Python-bibliotheek levert MetricFrame voor eerlijkheidsmetriek per groep? 2 pts

fairlearn.metrics.MetricFrame — Standaard voor Fairness-Evaluatie.

3. Waarom kunnen Demographic Parity en Equalized Odds niet tegelijkertijd worden vervuld?

Chouldechova 2017: Fairness-definities zijn mathematisch incompatibel bij ongelijke basispercentages.

4. Wat berekent SHAP voor een enkele voorspelling?

SHAP legt EEN voorspelling uit — waarom heeft het model precies dat besloten?

5. Wanneer is LIME beter dan SHAP?

LIME = Lokale Interpreteerbare Model-agnostische Verklaringen. Werkt met elk model.

6. Een Model Card bevat voor een hoogrisico-kredietmodel: Fairness-metrieken tonen DPD=0.07. Wat betekent dit? 2 pts

EU AI Act: DPD < 0.05 wordt als drempel aanbevolen. 0.07 = Beoordeling, niet onmiddellijke stop.

7. Wat logt men volgens EU AI Act Art. 12 — en wat logt men NIET?

Art. 12 + DSGVO: Audit-trail ja, maar geen directe PII-logging. Hash in plaats van ruwe gegevens.

8. Welk hulpmiddel wordt gebruikt voor Data Drift Detection in de productieomgeving?

Evidently AI — Standaardtool voor drift-detectie en modelmonitoring in productie.

9. Wat volgt MLflow in de context van AI Governance?

MLflow = Experiment-Tracking + Audit-Trail. Fairness-metrieken als mlflow.log_metrics() loggen.

10. Wat schrijft EU AI Act Annex IV (Technische Documentatie) voor hoogrisico-systemen voor? 2 pts

Bijlage IV definieert 8 verplichte secties. Moet voor marktintroductie beschikbaar zijn.

11. Hoe vaak moet de Technische Documentatie volgens Art. 11 worden bijgewerkt?

Art. 11: Documentatie moet up-to-date worden gehouden — bij elke modelversie.

12. Een kredietmodel toont voor aanvragers < 25 jaar een TPR van 0,68 versus 0,91 algemeen. Wat is de correcte reactie?

Systematische onderprestatie voor een groep = Bias. Eerst de hoofdoorzaak, dan mitigatie.

13. Wat is het verschil tussen SHAP voor klassieke ML-modellen en LLMs?

LLM's: stochastisch, zeer veel parameters, Attention ≠ Belang. Verklaarbaarheid is fundamenteel moeilijker.

14. Welke RAGAS-metriek meet of een RAG-antwoord door de opgevraagde documenten wordt gedekt?

faithfulness = Grounding-Score. Geeft aan hoeveel van het antwoord in de context verifieerbaar is.

15. Wat biedt de Microsoft Responsible AI Toolbox naast Fairlearn?

RAI Toolbox = Fairlearn + Foutenanalyse + Verklaarbaarheid + Causaal + Tegenfeitelijkheden.

16. Welk hulpmiddel is de beste keuze voor Production Drift Detection?

Evidently: gespecialiseerd in Data Drift, Model Drift, Data Quality — in productie.

17. Een agent heeft: CRM-toegang (PII), webzoekopdracht (onbetrouwbaar), e-mailverzending. Wat is het risico? 2 pts

Dodelijke Drievoud: Aanvaller injecteert via webzoekopdracht → Agent benadert CRM → verzendt per e-mail.

18. Wat betekent het principe van minste privilege voor AI-agenten?

PoLP: Minimale Capability-omvang. Vertrouwensniveau 'laag' = geen Write, geen Externe API, geen E-mail.

19. Een agent wacht 5 minuten op HITL-goedkeuring. Geen mens reageert. Wat gebeurt er?

Fail-closed: Timeout is geen impliciete goedkeuring. Bij onzekerheid blokkeren.

20. U bouwt een kredietscoresysteem. Welke stack is volledig correct voor EU AI Act hoogrisico? 2 pts

Hoge risico vereist: Fairness-meting + Verklaarbaarheid + Audit-Trail + Drift-Monitoring + technische documentatie + menselijke toezicht.