Implementar a governança de AI tecnicamente
1. O que mede a Diferença de Paridade Demográfica (DPD)?
DPD = |P(Ŷ=1|A=0) - P(Ŷ=1|A=1)| — Diferença das Taxas Positivas.
2. Qual biblioteca Python fornece MetricFrame para métricas de equidade por grupo? 2 pts
fairlearn.metrics.MetricFrame — Padrão para Avaliação de Justiça.
3. Por que Paridade Demográfica e Probabilidades Igualadas não podem ser atendidas simultaneamente?
Chouldechova 2017: Definições de justiça são matematicamente incompatíveis em taxas de base desiguais.
4. O que o SHAP calcula para uma única previsão?
SHAP explica UMA previsão — por que o modelo decidiu exatamente isso?
5. Quando LIME é melhor que SHAP?
LIME = Local Interpretable Model-agnostic Explanations. Funciona com qualquer modelo.
6. Uma Model Card contém para um modelo de crédito de alto risco: Métricas de justiça mostram DPD=0.07. O que isso significa? 2 pts
EU AI Act: DPD < 0.05 é recomendado como limiar. 0.07 = Revisão, não parada imediata.
7. O que se registra de acordo com o EU AI Act Art. 12 — e o que NÃO se registra?
Art. 12 + DSGVO: Audit-Trail sim, mas sem registro direto de PII. Hash em vez de dados brutos.
8. Qual ferramenta é utilizada para Detecção de Desvio de Dados em operação de produção?
Evidently AI — Ferramenta padrão para detecção de desvio e monitoramento de modelos em produção.
9. O que o MLflow rastreia no contexto da Governança de IA?
MLflow = Rastreamento de Experimentos + Trilhas de Auditoria. Registrar métricas de equidade como mlflow.log_metrics().
10. O que estabelece o Anexo IV do EU AI Act (Documentação Técnica) para sistemas de alto risco? 2 pts
O Anexo IV define 8 seções obrigatórias. Deve estar disponível antes da introdução no mercado.
11. Com que frequência a Documentação Técnica deve ser atualizada de acordo com o Art. 11?
Art. 11: A documentação deve ser mantida atualizada — a cada versão do modelo.
12. Um modelo de crédito mostra para solicitantes < 25 anos um TPR de 0,68 vs. 0,91 no total. Qual é a reação correta?
Desempenho sistematicamente inferior para um grupo = Bias. Primeiro a causa raiz, depois a mitigação.
13. Qual é a diferença entre SHAP para modelos clássicos de ML e LLMs?
LLMs: estocásticos, muitos parâmetros, Atenção ≠ Importância. Explicabilidade é fundamentalmente mais difícil.
14. Qual métrica RAGAS mede se uma resposta RAG é coberta pelos documentos recuperados?
fidelidade = Grounding-Score. Indica quanto da resposta é verificável no contexto.
15. O que a Microsoft Responsible AI Toolbox oferece além do Fairlearn?
RAI Toolbox = Fairlearn + Análise de Erros + Explicabilidade + Causalidade + Contrafactuais.
16. Qual é a melhor ferramenta para Detecção de Desvio de Produção?
Evidentemente: especializado em Desvio de Dados, Desvio de Modelo, Qualidade de Dados — em Produção.
17. Um agente tem: acesso ao CRM (PII), pesquisa na web (não confiável), envio de e-mails. Qual é o risco? 2 pts
Tríade Letal: Atacante injeta via busca na web → Agente acessa CRM → envia por e-mail.
18. O que significa o Princípio do Menor Privilégio para Agentes de AI?
PoLP: Escopo de Capacidade Mínima. Nível de Confiança 'baixo' = sem Escrita, sem API Externa, sem E-mail.
19. Um agente aguarda 5 minutos para aprovação HITL. Nenhum humano responde. O que acontece?
Fail-closed: Timeout não é um "Ok" implícito. Em caso de incerteza, bloquear.
20. Você está desenvolvendo um sistema de pontuação de crédito. Qual stack está completamente correto para o EU AI Act de alto risco? 2 pts
Hochrisiko precisa de: Medição de Equidade + Explicabilidade + Rastro de Auditoria + Monitoramento de Desvio + Documentação Técnica + Supervisão Humana.