評価

1. Demographic Parity Difference (DPD) は何を測定しますか？

DPD = |P(Ŷ=1|A=0) - P(Ŷ=1|A=1)| — ポジティブ率の差。

2. どのPythonライブラリがグループごとの公平性メトリクスのためにMetricFrameを提供しますか？ 2 pts

fairlearn.metrics.MetricFrame — 公平性評価の標準。

3. なぜDemographic ParityとEqualized Oddsは同時に満たされないのですか？

Chouldechova 2017: 公平性の定義は、異なる基準率において数学的に互換性がありません。

4. SHAPは単一の予測に対して何を計算しますか？

SHAPは予測を説明します — モデルがその決定を下した理由は何ですか？

5. LIMEはいつSHAPよりも優れているのでしょうか？

LIME = Local Interpretable Model-agnostic Explanations。どのモデルでも機能します。

6. 高リスクのクレジットモデルに関するモデルカードには、次の内容が含まれています：公平性メトリクスはDPD=0.07を示しています。これは何を意味しますか？ 2 pts

EU AI Act: DPD < 0.05 はしきい値として推奨されます。0.07 = レビュー、即時停止ではありません。

7. EU AI Act Art. 12 に従ってログに記録するものは何ですか — そしてログに記録しないものは何ですか？

Art. 12 + DSGVO: 監査証跡は必要ですが、直接的なPIIログは不要です。生データの代わりにハッシュを使用します。

8. データドリフト検出において、運用環境で使用されるツールは何ですか？

Evidently AI — 本番環境でのドリフト検出とモデルモニタリングのための標準ツール。

9. AIガバナンスの文脈でMLflowが追跡するものは何ですか？

MLflow = 実験追跡 + 監査トレイル。公平性メトリクスを mlflow.log_metrics() としてログする。

10. EU AI Act Annex IV（技術文書）は高リスクシステムに何を求めていますか？ 2 pts

Annex IVは8つの必須セクションを定義しています。市場投入前に提出する必要があります。

11. Art. 11に基づく技術文書はどのくらいの頻度で更新する必要がありますか？

Art. 11: ドキュメントは最新の状態に保たれなければなりません — 各モデルバージョンごとに。

12. 25歳未満の申請者に対して、クレジットモデルが0.68のTPRを示し、全体では0.91です。正しい対応は何ですか？

グループに対する体系的なパフォーマンスの低下 = バイアス。まず根本原因を特定し、その後緩和策を講じる。

13. 古典的なMLモデルとLLMsにおけるSHAPの違いは何ですか？

LLMs: 確率的、多数のパラメータ、Attention ≠ 重要性。説明可能性は基本的により困難です。

14. どのRAGASメトリックが、RAGの回答が取得された文書によって裏付けられているかを測定しますか？

忠実性 = Grounding-Score。回答のどれだけが文脈で証明可能であるかを示します。

15. Microsoft Responsible AI Toolboxは、Fairlearnを超えてどのような機能を提供していますか？

RAI Toolbox = Fairlearn + エラー分析 + 説明可能性 + 因果関係 + 反事実。

16. プロダクションドリフト検出に最適なツールはどれですか？

明らかに：データドリフト、モデルドリフト、データ品質 — 本番環境での専門化。

17. エージェントは以下を持っています: CRMアクセス（PII）、ウェブ検索（信頼されていない）、Eメール送信。リスクは何ですか？ 2 pts

致命的な三重奏: 攻撃者がウェブ検索を通じて注入 → エージェントがCRMを取得 → Eメールで送信。

18. AIエージェントにとっての最小特権の原則とは何を意味しますか？

PoLP: 最小限の能力範囲。信頼レベル「低」= 書き込みなし、外部APIなし、Eメールなし。

19. エージェントは5分間HITL-Approvalを待っています。誰も応答しません。何が起こりますか？

フェイルクローズ: タイムアウトは暗黙の許可ではありません。不確実な場合はブロックします。

20. クレジットスコアリングシステムを構築しています。EU AI Actの高リスクに完全に適合するスタックはどれですか？ 2 pts

高リスクには以下が必要です：公平性の測定 + 説明可能性 + 監査証跡 + ドリフトモニタリング + 技術文書 + 人間による監督。