Viés algorítmico é um erro sistemático e repetível nos resultados de um sistema automatizado que produz tratamento desigual e injusto de determinados grupos ou pessoas. Diferentemente de uma falha aleatória, ele pode prejudicar determinados grupos de forma recorrente.
O problema envolve os dados usados, as escolhas de medição e rotulagem e as decisões de quem desenvolve e utiliza o sistema. Não exige intenção discriminatória: registros de desigualdades e critérios tratados como neutros também influenciam os resultados. Identificar esses mecanismos é o primeiro passo para avaliar riscos e escolher intervenções.
Em resumo:
- O viés apresenta um padrão recorrente de prejuízo, diferente do erro aleatório.
- Dados históricos, amostras pouco representativas e escolhas de desenvolvimento estão entre suas origens.
- Há exemplos em recrutamento, análise de imagens faciais, justiça criminal e educação.
- A avaliação exige olhar o desempenho por grupo, não apenas a média geral.
- A mitigação combina ajustes técnicos, monitoramento e revisão humana, sem solução universal.
O que caracteriza o viés algorítmico
Um resultado incorreto, isoladamente, não basta para caracterizar viés. O que distingue o problema é a presença de um padrão sistemático: resultados menos precisos ou menos justos para determinados grupos, como pessoas de certo tom de pele, gênero, idade, dialeto ou renda.
O conceito abrange tanto sistemas de inteligência artificial quanto fórmulas fixas e regras automatizadas de pontuação. Não depende, portanto, de aprendizado de máquina, técnica em que um sistema aprende padrões estatísticos a partir de dados.
O viés também se relaciona à discriminação algorítmica, mas avaliar o tratamento injusto exige examinar o uso do sistema e seus efeitos sobre as pessoas, tema central da ética na inteligência artificial. A precisão estatística, sozinha, não resolve todas as questões de justiça de uma decisão.
Qual é a diferença em relação ao erro aleatório?
O erro aleatório não apresenta direção sistemática. Já o viés envolve um padrão recorrente que prejudica determinados grupos. Essa diferença orienta a investigação: contar os erros totais não revela como eles se distribuem.
| Critério | Viés algorítmico | Erro aleatório |
|---|---|---|
| Padrão | Sistemático e repetível. | Sem direção sistemática. |
| Distribuição entre grupos | Determinados grupos recebem resultados piores de forma recorrente. | Não apresenta tendência sistemática de prejudicar um mesmo grupo. |
| Cuidado na avaliação | Comparar o desempenho entre grupos ajuda a revelar diferenças ocultas na média. | A taxa geral de erros, isoladamente, não demonstra que os erros sejam aleatórios. |
Uma taxa geral alta de acertos pode esconder desempenho pior para um grupo pouco representado. Por isso, avaliar um sistema apenas pela média deixa uma pergunta sem resposta: para quem ele funciona bem e para quem falha?
Como o viés surge nos dados e no desenho do sistema
O viés aparece em diferentes etapas do desenvolvimento e do uso. Investigar sua origem envolve examinar tanto os registros que alimentam o sistema quanto os critérios usados para transformar esses registros em previsões e decisões.
Dados históricos e falta de representação
Os dados históricos registram práticas e condições sociais. Se refletem discriminações, desigualdades ou omissões, um modelo treinado com eles pode reproduzir e amplificar essas distorções.
O viés histórico está ligado a essas práticas registradas. Já o viés de amostragem ou representação envolve um conjunto de dados que não representa adequadamente a população em que o sistema será usado. Grupos pouco representados ficam sujeitos a previsões piores.
Ter muitos dados não responde à questão da representatividade. A avaliação precisa considerar quem aparece nos registros, quem está ausente e quais condições esses registros descrevem.
Medição e rotulagem
Também importa como uma informação é medida e classificada. Em tarefas com dados rotulados, os rótulos funcionam como respostas de referência para o treinamento. Eles podem incorporar julgamentos de quem os atribui, em vez de representar uma resposta necessariamente correta.
A revisão dos dados inclui, portanto, verificar medições, critérios de classificação e consistência dos rótulos. Corrigir apenas o modelo deixa intacta uma possível origem da distorção.
Objetivos de otimização e variáveis indiretas
Escolher o que o modelo tentará otimizar é uma decisão de desenvolvimento. Minimizar o erro médio pode favorecer a maioria e ocultar resultados ruins para um grupo menor.
Retirar informações como raça ou gênero pode não ser suficiente. Outras características podem funcionar como proxies, isto é, variáveis indiretas correlacionadas ao pertencimento a um grupo. Assim, a ausência de uma variável sensível explícita não encerra a investigação.
Ciclos de retroalimentação
As decisões de um sistema também influenciam os dados coletados depois de sua implantação. Esses novos registros alimentam avaliações ou treinamentos posteriores, criando um ciclo de retroalimentação.
Em um cenário ilustrativo de policiamento preditivo, direcionar mais vigilância a áreas historicamente mais vigiadas pode gerar mais registros de ocorrências nessas áreas. Se esses registros voltarem ao sistema sem análise do contexto de coleta, poderão reforçar o direcionamento inicial.
Exemplos de viés algorítmico e seus impactos
Os exemplos a seguir mostram mecanismos distintos. Um caso de recrutamento não explica todos os sistemas de seleção, assim como o resultado de uma auditoria não descreve toda uma tecnologia.
Trabalho e gestão de pessoas
Em 2018, uma reportagem da Reuters revelou que a Amazon havia abandonado um sistema experimental de triagem de currículos. Treinado com currículos recebidos pela empresa ao longo de dez anos, a maioria de homens, o modelo passou a penalizar currículos com a palavra “women’s” (“de mulheres”, em inglês) e a rebaixar formadas em duas faculdades exclusivamente femininas. Segundo a reportagem, a equipe foi desfeita no início de 2017, e os recrutadores consultavam as recomendações sem decidir apenas com base nelas.
No trabalho, a discussão vai além da seleção de candidatos. O estudo sobre vieses algorítmicos e gestão de pessoas, publicado na revista do TRT da 23ª Região, observa que decisões automatizadas podem ocorrer antes da contratação, durante o contrato e na rescisão. Esses sistemas podem tratar dados pessoais e sensíveis dos trabalhadores; seu uso sem os devidos cuidados pode violar direitos fundamentais.
Justiça criminal
Em 2016, a análise da ProPublica sobre o COMPAS, ferramenta usada nos Estados Unidos para estimar o risco de reincidência, examinou pontuações de mais de 7 mil pessoas presas no condado de Broward, na Flórida. Entre réus negros que não voltaram a cometer crimes, 44,9% haviam sido classificados como de risco mais alto, ante 23,5% dos réus brancos; entre os que reincidiram, 47,7% dos brancos haviam recebido classificação de risco mais baixo, ante 28% dos negros. A empresa responsável pela ferramenta contestou a análise. O exemplo evidencia o risco de diferenças de desempenho em avaliações que afetam pessoas.
Classificação de imagens faciais e reconhecimento facial
Dois estudos frequentemente citados trazem resultados que exigem distinguir tarefas diferentes:
- Classificação de gênero em imagens: a auditoria Gender Shades, de 2018, encontrou erros de até 34,7% para mulheres de pele mais escura e de no máximo 0,8% para homens de pele mais clara nos classificadores comerciais avaliados.
- Reconhecimento facial: a avaliação do NIST de 2019, com 189 algoritmos, encontrou diferenças demográficas na maioria deles. Na verificação um a um, os falsos positivos para rostos asiáticos e afro-americanos chegaram a ser de 10 a 100 vezes mais frequentes do que para rostos brancos, conforme o algoritmo.
Os percentuais de Gender Shades não são taxas de erro de identificação de pessoas. Os dois resultados se referem às tarefas e aos sistemas testados, sem representar um desempenho universal.
Educação
A divulgação de uma revisão sobre vieses de IA na educação pela SciELO aponta que esses vieses podem afetar desempenho e comportamento dos alunos, da avaliação acadêmica às recomendações personalizadas.
A publicação também destaca que falhas de verificação e validação das informações, tanto no desenvolvimento quanto nos dados fornecidos pelos usuários, podem gerar vieses. Entre os caminhos apontados estão intervenções nas etapas iniciais, supervisão e canais de comunicação e alerta.
Como identificar riscos em um sistema
Uma prática central é a avaliação desagregada: calcular a mesma métrica separadamente para cada grupo. Isso ajuda a identificar padrões que a média geral esconde.
Além de comparar desempenho, é necessário definir o critério de equidade. Três medidas ilustram escolhas diferentes:
- Igualdade de oportunidade: compara a chance de resultado positivo entre pessoas qualificadas de grupos diferentes.
- Paridade demográfica: compara as taxas de decisões positivas entre grupos.
- Calibração: verifica se as probabilidades previstas correspondem às frequências observadas em cada grupo.
Essas medidas respondem a perguntas diferentes. Escolher uma exige explicar sua relação com a finalidade do sistema e com os prejuízos que se busca evitar.
A análise do IBGIA sobre vieses algorítmicos no contexto brasileiro descreve avaliações de impacto antes da implantação, monitoramento contínuo e mecanismos acessíveis de contestação como intervenções organizacionais. Também ressalta que diferentes métricas de equidade podem ser incompatíveis, exigindo escolhas fundamentadas.
Perguntas para avaliar uma ferramenta própria ou de terceiros
- Quais dados foram usados, de que período são e quais grupos estão pouco representados?
- Quem definiu os rótulos e como foram revisados?
- Há resultados de desempenho separados por grupo e documentados?
- Qual critério de equidade foi escolhido e por quê?
- Foram investigadas variáveis que funcionem como proxies?
- Quem acompanha os resultados após a implantação?
- Como uma pessoa afetada contesta a decisão e solicita revisão?
As respostas ajudam a identificar pontos que exigem testes adicionais, documentação e acompanhamento antes de uma decisão de adoção. O roteiro não é uma certificação de ausência de viés nem uma garantia de conformidade legal.
Como mitigar o viés algorítmico
As intervenções técnicas atuam em diferentes momentos. A divisão entre pré-processamento, treinamento e pós-processamento, descrita na análise da Revista FT, ajuda a localizar o que será alterado:
- Antes do treinamento: revisar a representação dos grupos, corrigir medições e rótulos e avaliar técnicas de balanceamento, reamostragem ou reponderação dos dados.
- Durante o treinamento: incorporar critérios de equidade ao processo de otimização, inclusive à função de perda, medida de erro que o modelo tenta minimizar.
- Após o treinamento: ajustar os limiares usados para transformar pontuações em decisões e avaliar os efeitos desses ajustes.
Essas são possibilidades técnicas sujeitas a avaliação. A escolha depende do problema identificado, da finalidade do sistema e dos grupos afetados. Após cada intervenção, é necessário repetir os testes para verificar seus efeitos.
Transparência e supervisão humana
A atuação organizacional inclui documentar os critérios usados, definir responsáveis pelo acompanhamento e manter canais acessíveis de contestação. A diversidade nas equipes também está entre as medidas descritas pelo IBGIA. A análise da Revista FT, por sua vez, descreve auditorias participativas com usuários afetados.
Para estruturar a revisão humana, defina critérios, registre a análise e atribua a quem revisa poder de alterar a decisão. A revisão integra um conjunto de medidas: não substitui a avaliação dos dados, os testes por grupo ou o monitoramento.
No Brasil, o art. 20 da Lei Geral de Proteção de Dados (Lei 13.709/2018) dá ao titular o direito de solicitar a revisão de decisões tomadas unicamente com base em tratamento automatizado de dados pessoais que afetem seus interesses, como as que definem seu perfil profissional, de consumo ou de crédito. O controlador também deve informar, quando solicitado, os critérios e procedimentos usados, observados os segredos comercial e industrial.
Documentar como o sistema funciona e permitir examinar seus resultados ajuda a avaliação. Uma explicação sobre uma decisão individual, porém, não substitui a investigação de padrões entre grupos.
Quais são os limites da mitigação?
Não há solução universal nem garantia de eliminar todos os vieses em qualquer contexto. Alguns critérios de equidade podem ser incompatíveis, o que exige explicitar quais objetivos serão priorizados e por quê.
Técnicas de mitigação, como os ajustes de pós-processamento, também podem reduzir a acurácia global, criar novos tipos de enviesamento ou sacrificar a interpretabilidade, conforme descreve a análise da Revista FT. Por isso, avaliar uma correção exige observar tanto o problema original quanto os efeitos da mudança.
O acompanhamento continua após a implantação. Uma auditoria pontual não substitui o monitoramento dos resultados nem os mecanismos para investigar e rever decisões contestadas.
Perguntas frequentes sobre viés algorítmico
Viés algorítmico é a mesma coisa que um erro de previsão?
Não. Um erro isolado não caracteriza viés. O viés envolve um padrão sistemático e repetível de resultados menos precisos ou menos justos para determinados grupos.
O viés só existe em sistemas de inteligência artificial?
Não. O conceito também abrange decisões automatizadas por fórmulas fixas e regras de pontuação, sem aprendizado de máquina.
É preciso haver intenção discriminatória?
Não. Dados históricos que registram desigualdades, amostras pouco representativas e escolhas de desenvolvimento podem gerar resultados enviesados mesmo sem intenção discriminatória.
Remover raça e gênero dos dados resolve o problema?
Pode não ser suficiente. Outras características podem funcionar como proxies dessas informações. A avaliação precisa examinar os resultados e as relações entre variáveis, além da presença de dados sensíveis explícitos.
Como investigar se um sistema apresenta viés?
Compare métricas de desempenho por grupo, examine a representação nos dados e revise os critérios de medição e rotulagem. Documente a métrica de equidade escolhida e acompanhe os resultados durante o uso.
A supervisão humana elimina o viés?
Não há garantia de eliminação. A revisão humana é parte da mitigação e precisa estar articulada a testes, documentação, monitoramento e possibilidade de alterar decisões.
Avaliar por grupo e acompanhar o uso
Entender o viés algorítmico exige olhar além da taxa geral de acertos. A questão prática é verificar como os erros se distribuem, quais escolhas os produzem e quais pessoas suportam suas consequências.
Antes de adotar ou renovar um sistema, examine a documentação dos dados e dos testes, peça resultados separados por grupo e defina como decisões serão acompanhadas e contestadas. Esses elementos ajudam a orientar correções e a manter a avaliação durante o uso, sem tratar uma única intervenção como solução definitiva.
Leave a Reply