Avaliação

Implementar a governança de AI tecnicamente

20 perguntas · 15 pontos · Aprovado em 80% (12/15)

1. O que mede a Diferença de Paridade Demográfica (DPD)?

2. Qual biblioteca Python fornece MetricFrame para métricas de equidade por grupo? 2 pts

3. Por que Paridade Demográfica e Probabilidades Igualadas não podem ser atendidas simultaneamente?

4. O que o SHAP calcula para uma única previsão?

5. Quando LIME é melhor que SHAP?

6. Uma Model Card contém para um modelo de crédito de alto risco: Métricas de justiça mostram DPD=0.07. O que isso significa? 2 pts

7. O que se registra de acordo com o EU AI Act Art. 12 — e o que NÃO se registra?

8. Qual ferramenta é utilizada para Detecção de Desvio de Dados em operação de produção?

9. O que o MLflow rastreia no contexto da Governança de IA?

10. O que estabelece o Anexo IV do EU AI Act (Documentação Técnica) para sistemas de alto risco? 2 pts

11. Com que frequência a Documentação Técnica deve ser atualizada de acordo com o Art. 11?

12. Um modelo de crédito mostra para solicitantes < 25 anos um TPR de 0,68 vs. 0,91 no total. Qual é a reação correta?

13. Qual é a diferença entre SHAP para modelos clássicos de ML e LLMs?

14. Qual métrica RAGAS mede se uma resposta RAG é coberta pelos documentos recuperados?

15. O que a Microsoft Responsible AI Toolbox oferece além do Fairlearn?

16. Qual é a melhor ferramenta para Detecção de Desvio de Produção?

17. Um agente tem: acesso ao CRM (PII), pesquisa na web (não confiável), envio de e-mails. Qual é o risco? 2 pts

18. O que significa o Princípio do Menor Privilégio para Agentes de AI?

19. Um agente aguarda 5 minutos para aprovação HITL. Nenhum humano responde. O que acontece?

20. Você está desenvolvendo um sistema de pontuação de crédito. Qual stack está completamente correto para o EU AI Act de alto risco? 2 pts