Iniciante

Compreendendo o Viés e a Justiça da IA

⏱ ~35 Duração · 9 Módulo
Por que isso importa?

O viés da IA discrimina — sem intenção, sem consciência, em grande escala. Quem utiliza IA sem verificar o viés arrisca causar danos às pessoas e enfrentar consequências legais (EU AI Act Art. 10).

O que você aprenderá

Você entende como o viés em IA surge, reconhece os 3 principais tipos e sabe o que fazer quando suspeita de viés.

Video

Estamos Automatizando o Racismo? (Vox)

Mostra exemplos reais de viés de IA — COMPAS, Amazon Recruiting, Reconhecimento Facial. Torna o tema imediatamente compreensível.

Video

Coded Bias — Trailer do Documentário

3 minutos de trailer do documentário sobre viés de AI no reconhecimento facial. Motiva por que o tema deve ser levado a sério.

Lesen

Como o viés surge

~15 Min

Como o Bias entra nos Sistemas de IA


A Fórmula Básica

Bias in → Bias out. A IA aprende com dados. Se os dados são enviesados, os resultados serão enviesados. Sem intenção maliciosa. Sem consciência. Em grande escala.


Os três principais tipos

Tipo 1 — Bias de Dados

Os dados de treinamento refletem o mundo como ele era, não como deveria ser.

Exemplo Amazon: Dez anos de dados históricos de contratação de um setor dominado por homens. O modelo aprende: candidatos masculinos são preferidos. Currículos com a palavra "mulheres" são desvalorizados. Resultado: Bias sistêmico sem intenção de programação.

Sinais de reconhecimento: Um grupo aparece nos dados de treinamento com menos frequência ou de forma negativa.


Tipo 2 — Bias de Proxy

O modelo utiliza variáveis indiretas como proxy para características protegidas.

Exemplo de pontuação de crédito: Código postal correlaciona-se com nível de renda → correlaciona-se com origem → correlaciona-se com etnia. O modelo discrimina por etnia, sem usar a variável diretamente.

Sinais de reconhecimento: Uma variável "deveria" ser neutra, mas produz sistematicamente resultados desiguais.


Tipo 3 — Ciclo de Feedback

A saída da IA torna-se a nova entrada — e reforça padrões existentes.

Exemplo de policiamento preditivo: IA prevê mais criminalidade no bairro A → mais polícia lá → mais prisões lá → novos dados confirmam a previsão → IA fica mais confiante em sua avaliação. O ciclo de reforço continua.


Por que o Bias é tão difícil de detectar

Motivo Explicação
Sem intenção O Bias vem dos dados, não do código
Correção técnica O modelo está "correto" no sentido estatístico
Nenhum sinal visível Diferenças não são exibidas, apenas refletidas
Complexidade Com mais de 100 variáveis, as relações não são intuitivas

Próximo: Reconhecer e agir sobre o Bias →

Quiz

Verificação Rápida

1. O viés precisa ser intencional para causar dano?

2. O que é viés de dados?

Merke

3 Tipos de Viés

  • Datenbias: Trainingsdaten spiegeln historische Ungleichheit wider
  • Algorithmusbias: Modell-Design verstärkt bestehende Muster
  • Feedback-Bias: Bias im Output wird zum neuen Input — Verstärkungs-Schleife
Lesen

Reconhecer o viés e o que fazer

~20 Min

Reconhecer o viés — e agir corretamente


O método mais importante: analisar a distribuição dos resultados

Nenhum conhecimento de Machine Learning necessário. Apenas uma pergunta:

"Existem diferenças sistemáticas nos resultados entre grupos comparáveis?"

Na prática:

  1. Exportar os resultados do sistema de IA
  2. Dividir por grupos (gênero, idade, origem, código postal)
  3. Comparar taxas: taxas de rejeição, taxas de aprovação, pontuações

Se diferenças visíveis não puderem ser explicadas por fatores técnicos legítimos: Suspeita de viés.


Sinais de alerta — esses padrões devem chamar sua atenção

Sinal de alerta Possível causa
Pontuações sistematicamente piores de um grupo Viés de dados ou viés de proxy
Resultados nunca melhoram para um grupo Ciclo de feedback
Sistema "conhece" coisas que não deveria ter aprendido diretamente Variável proxy
Fornecedor não pode fornecer explicação para o padrão Falta de transparência
Taxas desviam-se fortemente da média populacional Viés estrutural

O procedimento correto em caso de suspeita de viés

1. IMEDIATAMENTE: Remover o sistema do processo crítico
   (não: observar, não: esperar por correção)

2. DOCUMENTAR: O que foi observado? Desde quando? Quais grupos foram afetados?

3. ANALISAR: Causa raiz — dados de treinamento? Variável proxy? Ciclo de feedback?

4. DECIDIR: Novo treinamento, ajuste do modelo ou substituição do sistema?

5. TESTAR: Teste de viés com casos de teste estruturados antes da reativação

6. DOCUMENTAR: Medidas, resultados, responsáveis

O que a lei exige

Base legal Exigência
EU AI Act Art. 10 Dados de treinamento devem ser representativos, relevantes e livres de erros — Obrigação de alto risco
EU AI Act Art. 9 Sistema de gerenciamento de risco deve incluir viés como categoria de risco
AGG Proibição de discriminação também se aplica a decisões algorítmicas
ISO 42001 A.5.4 Justiça como medida de controle explícita

Conclusão: A verificação de viés não é opcional. É legalmente obrigatória — para sistemas de alto risco a partir de agosto de 2026.


Caso prático: A ferramenta de recrutamento

Situação: Após 6 meses, percebe-se que um sistema de recrutamento baseado em IA avalia sistematicamente pior candidatos de determinados códigos postais. Código postal não é um critério oficial de seleção.

O que aconteceu aqui? Viés de proxy: Código postal → Escolas → Status socioeconômico → Origem. O modelo discrimina indiretamente, sem "saber".

Procedimento correto:

  • Pausar imediatamente a ferramenta — não apenas após análise
  • Revisar todas as decisões tomadas desde a implementação
  • Análise da causa raiz: Qual variável atua como proxy?
  • Novo treinamento sem código postal e características correlacionadas
  • Antes da reativação: teste de viés estruturado com conjunto de dados de teste

Procedimento incorreto: "Removemos o código postal dos dados de entrada." Isso resolve o sintoma. Características correlacionadas (nome da escola, nome da rua, associação) continuam a transportar o mesmo proxy.


Voltar: Como o viés surge | Iniciar avaliação →

Praxisfall

Caso prático: As cotas desiguais

Situation

Você analisa os resultados de uma ferramenta de recrutamento de IA. Candidatos de determinados códigos postais são sistematicamente avaliados de forma inferior — embora o código postal não seja um critério de seleção.

O que aconteceu aqui e o que você faz?
Lösung anzeigen

Isso é um viés de proxy clássico: o código postal correlaciona-se com o status socioeconômico, acesso à educação, etc.

O que deve ser feito:

  1. Remover imediatamente a ferramenta do processo de recrutamento
  2. Revisar todas as decisões tomadas desde a implementação
  3. Confrontar o fornecedor (Obrigação de alto risco: Teste de viés)
  4. Se for uma ferramenta própria: Análise da causa raiz, novo treinamento
  5. Documentar — EU AI Act Art. 10 exige práticas de gerenciamento de dados
Häufige Fehler:
✗ Remover o código postal dos dados de entrada e continuar
Isso apenas resolve o sintoma. Características correlacionadas (nome da escola, prenomes) continuam a transportar o mesmo proxy.
Reflexion

Sua Perspectiva

Existem sistemas de IA no seu ambiente onde você vê riscos de viés?

Beispiele:
  • Empfehlungsalgorithmen die immer ähnliche Profile bevorzugen
  • Scoring-Systeme ohne nachvollziehbare Kriterien
  • Tools die historische Entscheidungen als 'optimal' behandeln
Wird nur in deinem Browser gespeichert.
Merke

O que você leva com você

  • Bias aktiv suchen — nicht hoffen dass keiner vorhanden ist
  • Ergebnisverteilung regelmäßig prüfen: systematische Unterschiede?
  • Bei Bias-Verdacht: sofort stoppen, nicht abwarten
  • EU AI Act Art. 10: Datenverwaltung und Bias-Prüfung sind Pflicht

Pronto para a avaliação?

Curso concluído! Iniciar avaliação.

Iniciar avaliação →