AI治理的技术实施
1. 人口平等差异 (DPD) 测量什么?
DPD = |P(Ŷ=1|A=0) - P(Ŷ=1|A=1)| — 正率差异。
2. 哪个 Python 库提供用于按组划分的公平性指标的 MetricFrame? 2 pts
fairlearn.metrics.MetricFrame — 公平性评估标准。
3. 为什么人口平等和均等机会不能同时满足?
Chouldechova 2017:公平性定义在不平等的基础率下数学上不兼容。
4. SHAP 为单个预测计算什么?
SHAP 解释一个预测 — 为什么模型做出了这样的决定?
5. LIME 何时优于 SHAP?
LIME = 本地可解释的模型无关解释。适用于任何模型。
6. 一个高风险信贷模型的模型卡包含:公平性指标显示DPD=0.07。这意味着什么? 2 pts
EU AI Act: DPD < 0.05 被推荐作为阈值。0.07 = 审查,而不是立即停止。
7. 根据 EU AI Act Art. 12 需要记录什么——以及不需要记录什么?
Art. 12 + DSGVO:审计追踪是的,但不直接记录PII。使用哈希代替原始数据。
8. 用于生产环境中的数据漂移检测的工具是什么?
显然 AI — 用于生产中的漂移检测和模型监控的标准工具。
9. 在AI治理的背景下,MLflow跟踪什么?
MLflow = 实验跟踪 + 审计追踪。将公平性指标记录为 mlflow.log_metrics()。
10. EU AI Act 附录 IV(技术文档)对高风险系统有什么规定? 2 pts
Annex IV 定义了 8 个必填部分。必须在上市前提供。
11. 技术文档需要根据Art. 11多长时间更新一次?
第11条:文档必须保持最新状态——适用于每个模型版本。
12. 一个信贷模型显示,申请人年龄小于25岁的TPR为0.68,而总体TPR为0.91。正确的反应是什么?
一组的系统性表现不佳 = 偏见。首先找出根本原因,然后进行缓解。
13. 经典机器学习模型和大型语言模型(LLMs)的SHAP有什么区别?
LLMs:随机性,参数非常多,注意力 ≠ 重要性。可解释性是根本上更困难的。
14. 哪种RAGAS指标衡量RAG答案是否由检索到的文档所支持?
faithfulness = Grounding-Score。表示答案中有多少内容可以在上下文中得到验证。
15. Microsoft Responsible AI Toolbox 提供了哪些超出 Fairlearn 的功能?
RAI 工具箱 = Fairlearn + 错误分析 + 可解释性 + 因果关系 + 反事实。
16. 哪个工具是生产漂移检测的最佳选择?
显然:专注于数据漂移、模型漂移、数据质量——在生产中。
17. 一个代理具有:CRM访问权限(PII)、网页搜索(不可信)、电子邮件发送。这有什么风险? 2 pts
致命三重奏:攻击者通过网络搜索注入 → 代理访问CRM → 通过电子邮件发送。
18. 最小特权原则对AI代理意味着什么?
PoLP:最小能力范围。信任等级“低”= 无写入,无外部API,无电子邮件。
19. 一个代理等待5分钟以获得HITL批准。没有人回应。会发生什么?
失败关闭:超时不是隐含的同意。在不确定的情况下进行阻止。
20. 您正在构建一个信用评分系统。哪个技术栈对于EU AI Act高风险是完全正确的? 2 pts
高风险需要:公平性测量 + 可解释性 + 审计追踪 + 漂移监控 + 技术文档 + 人工监督。