Até agora, nossas discussões sobre métricas de imparcialidade presumiram que nosso treinamento e os exemplos de teste contêm informações demográficas abrangentes sobre o perfil que estão sendo avaliados. Mas muitas vezes esse não é o caso.
Suponha que nosso conjunto de dados de admissões não contenha dados demográficos completos. Em vez disso, a associação a grupos demográficos é registrada apenas para uma pequena porcentagem como estudantes que optaram por identificar qual grupo eles a que pertencia. Nesse caso, a divisão do nosso grupo de candidatos em e os alunos rejeitados agora têm esta aparência:
![Um grupo de candidatos com cem estudantes, dividido em dois grupos:
Candidatos rejeitados (80 ícones de estudantes) e candidatos aceitos (20)
ícones de alunos). Todos os ícones estão sombreados em cinza (o que significa que seus
o grupo demográfico é desconhecido), exceto por seis ícones. Na seção "Recusados"
grupo, dois ícones de estudante estão sombreados em azul e dois ícones de estudante estão sombreados
laranja. No grupo "Aceitos", o ícone de um aluno está em azul e o outro é
laranja sombreado.](https://developers.google.cn/static/machine-learning/crash-course/fairness/images/fairness_metrics_counterfactual_candidate_pool.png?authuser=19&hl=pt)
Não é viável avaliar as previsões do modelo para dados demográficos paridade ou igualdade de oportunidade, porque não temos dados demográficos para 94% dos nossos exemplos. No entanto, para os 6% dos exemplos que contêm dados demográficos, ainda podemos comparar pares de previsões individuais (um candidato majoritário x um candidato de minoria) e ver se ele foi tratados com equidade pelo modelo.
Por exemplo, digamos que analisamos completamente os dados de recursos disponível para dois candidatos (um no grupo majoritário e outro no grupo minoritário do grupo, anotado com uma estrela na imagem abaixo) e determinou que elas são identicamente qualificados para admissão em todos os aspectos. Se o modelo fizer a mesma previsão para ambos os candidatos (ou seja, ambos rejeitam ambos). candidatos ou aceitar os dois), é considerado que cumpre os contrafatos imparcialidade para esses exemplos. A imparcialidade contrafactual estipula que duas exemplos que são idênticos em todos os aspectos, exceto um determinado atributo sensível (aqui, associação ao grupo demográfico), deve resultar no mesmo modelo previsão.
![Mesmo pool de candidatos da imagem anterior, exceto em
para esta versão, um ícone de estudante azul (pertencente ao grupo majoritário) e
um ícone de estudante laranja (pertencente ao grupo minoritário) na seção Recusado
são anotados com uma estrela, indicando que esses dois candidatos são
idênticos (além do grupo demográfico).](https://developers.google.cn/static/machine-learning/crash-course/fairness/images/fairness_metrics_counterfactual_satisfied.png?authuser=19&hl=pt)
Benefícios e desvantagens
Como mencionado anteriormente, um dos principais benefícios da imparcialidade contrafatual é que ela pode ser usado para avaliar as previsões quanto à imparcialidade em muitos casos em que o uso outras métricas não seria viáveis. Se um conjunto de dados não contiver um conjunto completo de valores de atributos para os atributos de grupo relevantes em questão, possível avaliar a imparcialidade usando a paridade demográfica ou a igualdade de oportunidade. No entanto, se esses atributos de grupo estiverem disponíveis para um subconjunto de exemplos, e é possível identificar pares comparáveis de pares de exemplos em diferentes grupos, os profissionais podem usar a imparcialidade contrafatual como uma métrica para sondar o modelo em busca de possíveis vieses nas previsões.
Além disso, como métricas como paridade demográfica e igualdade de e grupos de avaliação de oportunidade de forma agregada, eles podem mascarar problemas de viés que afetam o modelo no nível das previsões individuais, que podem ser descobertas usando a imparcialidade contrafactual. Por exemplo, suponha que nossas entradas aceita candidatos qualificados do grupo majoritário e da minoria do grupo na mesma proporção, mas o candidato minoritário mais qualificado rejeitado, enquanto o candidato majoritário mais qualificado que tem exatamente a mesma é aceita. Uma análise de imparcialidade contrafactual pode ajudar a identificar discrepâncias para que possam ser resolvidas.
Por outro lado, a principal desvantagem da imparcialidade contrafactual é que ela não oferecem uma visão holística do viés nas previsões de modelos. Identificar e remediar algumas desigualdades em pares de exemplos pode não ser suficiente para resolver problemas de viés sistêmico que afetam subgrupos inteiros de exemplos.
Nos casos em que é possível, os profissionais podem considerar fazer uma análise agregada análise de imparcialidade (usando uma métrica como paridade demográfica ou igualdade de oportunidade), bem como uma análise de imparcialidade contrafactual para conseguir a maior gama de insights sobre possíveis problemas de viés que precisam ser corrigidos.
Exercício: testar seu conhecimento
![Figura do exercício. Dois grupos de círculos: negativo
Previsões e Previsões positivas.
As previsões negativas são compostas por 50 círculos:
39 círculos cinza, 8 círculos azuis e 3 círculos laranjas. Um
círculo azul é rotulado como "A", um círculo laranja é rotulado como "A",
e um círculo azul é rotulado como "C".
As Previsões positivas consistem em 15 círculos:
10 círculos cinza, 3 círculos azuis e 2
círculos laranja. Um círculo azul é rotulado como "B" e outro laranja
círculo é rotulado como "B" e um círculo azul é rotulado como "C".
Uma legenda abaixo do diagrama afirma que os círculos azuis representam
um exemplo no grupo majoritário, os círculos laranja representam
um exemplo no grupo minoritário, e os círculos cinza representam
exemplos cuja associação ao grupo é desconhecida](https://developers.google.cn/static/machine-learning/crash-course/fairness/images/fairness_metrics_counterfactual_exercise_diagram.png?authuser=19&hl=pt)
No conjunto de previsões da figura 7 acima, qual das seguintes pares de membros idênticos (exceto associação a grupos) exemplos receberam previsões que violam a imparcialidade contrafactual?
Resumo
Paridade demográfica, igualdade de oportunidade, e a imparcialidade contrafactual também fornecem diferentes definições matemáticas imparcialidade para previsões de modelos. Essas são apenas três possibilidades maneiras de quantificar a imparcialidade. Algumas definições de imparcialidade são mutuamente incompatíveis, o que significa que pode ser impossível satisfazê-los simultaneamente por um as previsões do modelo.
Como escolher a abordagem "certa" métrica de imparcialidade para seu modelo? Você precisa considere o contexto em que ela está sendo usada e os objetivos gerais que você querem realizar. Por exemplo, a meta é ter uma representação igualitária (nesse caso, a paridade demográfica pode ser a métrica ideal) ou é para alcançar a igualdade de oportunidades (aqui, a igualdade de oportunidade pode ser métrica)?
Para saber mais sobre imparcialidade de ML e conhecer melhor essas questões, consulte Fairness and Machine Learning: Limitações e Oportunidades (em inglês), de Solon Barocas, Moritz Hardt e Arvind Narayanan.