Bias messen — Metriken und Python-Tools

Warum messen statt vermuten?

"Wir haben keinen Bias eingebaut" ist keine Aussage über das Modell. Es ist eine Aussage über die Absicht. Bias entsteht in den Daten — nicht im Code.

Um Bias nachzuweisen oder auszuschließen, brauchen Sie Metriken.

Die drei wichtigsten Fairness-Metriken

Demographic Parity (Statistische Parität)

CODEKopieren
P(Ŷ=1 | A=0) = P(Ŷ=1 | A=1)

Was es misst: Gleiche Rate positiver Vorhersagen über Gruppen. Beispiel: Ein Kreditmodell genehmigt 60% der Anträge von Gruppe A und nur 40% von Gruppe B — bei gleicher Qualifikation. Das verletzt Demographic Parity. Limitation: Ignoriert, ob die unterschiedlichen Raten durch legitime Unterschiede erklärt werden können.

Equalized Odds

CODEKopieren
P(Ŷ=1 | Y=y, A=0) = P(Ŷ=1 | Y=y, A=1)  für y ∈ {0,1}

Was es misst: Gleiche True Positive Rate (TPR) und False Positive Rate (FPR) über Gruppen. Beispiel: Bei einem Risiko-Klassifikator:

• Gruppe A: TPR=0.8, FPR=0.2
• Gruppe B: TPR=0.5, FPR=0.4

Gruppe B wird seltener korrekt als Risiko erkannt — und häufiger fälschlicherweise markiert. Das verletzt Equalized Odds.

Calibration

CODEKopieren
P(Y=1 | Ŷ=p, A=a) = p  für alle a

Was es misst: Vorhersagewerte bedeuten dasselbe für alle Gruppen. Beispiel: Ein Score von 0.7 sollte für alle Gruppen bedeuten: 70% Wahrscheinlichkeit des positiven Ereignisses. Wenn er für Gruppe B nur 50% bedeutet, ist das Modell für diese Gruppe schlecht kalibriert.

Wichtig: Kein Metriken-Set löst alles

Impossibility Theorem (Chouldechova 2017): Demographic Parity, Equalized Odds und Calibration können nicht gleichzeitig erfüllt sein — außer wenn die Basisraten der Gruppen gleich sind. Konsequenz: Sie müssen entscheiden, welche Fairness-Definition für Ihren Anwendungsfall gilt. Und Sie müssen diese Entscheidung dokumentieren.

Python: Fairlearn

PYTHONKopieren
class="kw">from fairlearn.metrics class="kw">import (
    MetricFrame,
    selection_rate,
    false_positive_rate,
    true_positive_rate,
    demographic_parity_difference
)
class="kw">import pandas as pd

class=class="st">"cm"># Metriken pro Gruppe berechnen
mf = MetricFrame(
    metrics={
        class="st">'selection_rate':      selection_rate,
        class="st">'true_positive_rate':  true_positive_rate,
        class="st">'false_positive_rate': false_positive_rate,
    },
    y_true=y_test,
    y_pred=y_pred,
    sensitive_features=X_test[class="st">'group']
)

class=class="st">"cm"># Ergebnisse anzeigen
print(class="st">"Metriken nach Gruppe:")
print(mf.by_group)
print()
print(class="st">"Gesamte Disparität (max - min):")
print(mf.difference(method=class="st">'between_groups'))

class=class="st">"cm"># Demographic Parity Difference direkt
dpd = demographic_parity_difference(
    y_true=y_test,
    y_pred=y_pred,
    sensitive_features=X_test[class="st">'group']
)
print(fclass="st">"\nDemographic Parity Difference: {dpd:.4f}")
print(fclass="st">"→ Threshold für EU AI Act: < 0.05 empfohlen")

Python: AIF360 (IBM)

PYTHONKopieren
class="kw">from aif360.datasets class="kw">import BinaryLabelDataset
class="kw">from aif360.metrics class="kw">import BinaryLabelDatasetMetric, ClassificationMetric
class="kw">from aif360.algorithms.preprocessing class="kw">import Reweighing

class=class="st">"cm"># Dataset erstellen
dataset = BinaryLabelDataset(
    df=df,
    label_names=[class="st">'credit_risk'],
    protected_attribute_names=[class="st">'geschlecht'],
    favorable_label=1,
    unfavorable_label=0
)

class=class="st">"cm"># Bias messen
metric = BinaryLabelDatasetMetric(
    dataset,
    unprivileged_groups=[{class="st">'geschlecht': 0}],  class=class="st">"cm"># z.B. Frauen
    privileged_groups=[{class="st">'geschlecht': 1}]     class=class="st">"cm"># z.B. Männer
)

print(fclass="st">"Disparate Impact:            {metric.disparate_impact():.4f}")
print(fclass="st">"Statistical Parity Diff:     {metric.statistical_parity_difference():.4f}")

class=class="st">"cm"># Bias mitigation: Reweighing
rw = Reweighing(
    unprivileged_groups=[{class="st">'geschlecht': 0}],
    privileged_groups=[{class="st">'geschlecht': 1}]
)
dataset_transformed = rw.fit_transform(dataset)

Wann reicht welche Bibliothek?

Situation	Empfehlung
sklearn-Modelle, schneller Start	Fairlearn
Komplexe Bias-Mitigation benötigt	AIF360
LLMs und Text-Modelle	Perspective API, Evaluate (HuggingFace)
Enterprise / Azure	Azure Responsible AI Toolbox