理解AI偏见与公平性
AI偏见会造成歧视——没有意图，没有意识，并且规模巨大。使用AI而不检查偏见的人，可能会对人造成伤害并面临法律后果（EU AI Act Art. 10）。
你了解AI中偏见的产生方式，识别三种主要类型，并知道在怀疑存在偏见时可以采取的措施。
我们是否在自动化种族主义？（Vox）
展示AI偏见的真实案例 — COMPAS、Amazon Recruiting、Facial Recognition。使该主题变得直观易懂。
编码偏见 — 纪录片预告片
3分钟关于面部识别中AI偏见的纪录片预告片。说明为什么这个问题必须被认真对待。
偏见如何产生
~15 Min偏见如何进入AI系统
基本公式
偏见进入 → 偏见输出。 AI从数据中学习。如果数据存在偏差，结果也会存在偏差。 没有恶意。没有意识。在大规模上。
三种主要类型
类型 1 — 数据偏见
训练数据反映了世界过去的样子，而不是它应该有的样子。
亚马逊示例： 十年历史的招聘数据来自一个男性主导的行业。 模型学习到：男性候选人被优先考虑。包含“女性”一词的简历被贬低。结果： 系统性偏见没有编程意图。
识别标志： 某一群体在训练数据中出现频率较低或较为负面。
类型 2 — 代理偏见
模型使用间接变量作为受保护特征的代理。
信用评分示例： 邮政编码与收入水平相关 → 与出身相关 → 与种族相关。 模型在种族上进行歧视，而不直接使用该变量。
识别标志： 某一变量“应该”是中立的，但系统地产生不平等的结果。
类型 3 — 反馈循环
AI的输出成为新的输入——并强化现有模式。
预测性警务示例： AI预测A区犯罪率更高 → 更多警察部署在那里 → 更多逮捕发生在那里 → 新数据证实了预测 → AI对其评估更有信心。 强化循环继续。
为什么偏见难以识别
| 原因 | 解释 |
|---|---|
| 无意图 | 偏见来自数据，而非代码 |
| 技术正确性 | 模型在统计意义上是“正确的” |
| 无明显信号 | 差异未被输出，仅被反映 |
| 复杂性 | 在100多个变量中，关系不直观 |
继续阅读： 识别和应对偏见 →
快速检查
1. 偏见必须是故意的才能造成伤害吗？
2. 什么是数据偏差？
3 种偏见类型
- Datenbias: Trainingsdaten spiegeln historische Ungleichheit wider
- Algorithmusbias: Modell-Design verstärkt bestehende Muster
- Feedback-Bias: Bias im Output wird zum neuen Input — Verstärkungs-Schleife
识别偏见及应对措施
~20 Min识别偏见 — 正确应对
最重要的方法：分析结果分布
无需机器学习知识。只需一个问题：
“在可比群体之间的结果是否存在系统性差异？”
实际操作：
- 导出AI系统的结果
- 按群体划分（性别、年龄、来源、邮政编码）
- 比较比例：拒绝率、批准率、评分
如果存在无法通过合法专业因素解释的差异：偏见嫌疑。
警示信号 — 这些模式应引起注意
| 警示信号 | 可能原因 |
|---|---|
| 某一群体的评分系统性较低 | 数据偏见或代理偏见 |
| 某一群体的结果从未改善 | 反馈循环 |
| 系统“知道”不应直接学习的内容 | 代理变量 |
| 提供商无法解释模式 | 缺乏透明度 |
| 比例与人口平均值严重偏离 | 结构性偏见 |
偏见嫌疑时的正确流程
1. 立即：将系统从关键流程中移除
（不要：观察，不要：等待补丁）
2. 记录：观察到了什么？自何时起？哪些群体受影响？
3. 分析：根本原因 — 训练数据？代理变量？反馈循环？
4. 决定：重新训练、模型调整或系统更换？
5. 测试：在重新激活前进行结构化的偏见测试
6. 记录：措施、结果、负责人
法律要求
| 基础 | 要求 |
|---|---|
| EU AI Act Art. 10 | 训练数据必须具有代表性、相关性且无错误 — 高风险义务 |
| EU AI Act Art. 9 | 风险管理系统必须将偏见作为风险类别纳入 |
| AGG | 禁止歧视也适用于算法决策 |
| ISO 42001 A.5.4 | 公平性作为明确的控制措施 |
结论： 偏见检查不是可选项。它是法律强制要求 — 对于高风险系统，自2026年8月起生效。
实践案例：招聘工具
情况： 6个月后发现，一个AI支持的招聘系统对来自某些邮政编码的申请者评分系统性较低。邮政编码不是官方选择标准。
这里发生了什么？ 代理偏见：邮政编码 → 学校 → 社会经济地位 → 来源。模型在不“知情”的情况下间接歧视。
正确做法：
- 立即暂停工具 — 不要等到分析后
- 检查自使用以来做出的所有决定
- 根本原因分析：哪个变量作为代理？
- 重新训练时不使用邮政编码和相关特征
- 重新激活前：使用测试数据集进行结构化偏见测试
错误做法： “我们从输入数据中删除邮政编码。” 这只是解决症状。相关特征（学校名称、街道名称、社团归属）继续传递相同的代理。
实践案例：不平等的配额
您正在分析一个AI招聘工具的结果。来自某些邮政编码的申请人被系统地给予较低的评分——尽管邮政编码并不是选择标准。
Lösung anzeigen
这是典型的代理偏见：邮政编码与社会经济地位、教育机会等相关。
需要采取的措施：
- 立即将工具从招聘流程中移除
- 检查自使用以来做出的所有决策
- 与供应商对质（高风险义务：偏见测试）
- 如果是自有工具：根本原因分析，重新训练
- 记录 — EU AI Act Art. 10 要求数据管理实践
你的观点
在您的环境中是否存在您认为有偏见风险的AI系统？
- Empfehlungsalgorithmen die immer ähnliche Profile bevorzugen
- Scoring-Systeme ohne nachvollziehbare Kriterien
- Tools die historische Entscheidungen als 'optimal' behandeln
你的收获
- Bias aktiv suchen — nicht hoffen dass keiner vorhanden ist
- Ergebnisverteilung regelmäßig prüfen: systematische Unterschiede?
- Bei Bias-Verdacht: sofort stoppen, nicht abwarten
- EU AI Act Art. 10: Datenverwaltung und Bias-Prüfung sind Pflicht