Imparcialidade: igualdade de oportunidade

Na seção anterior, avaliamos nosso modelo de admissão quanto à imparcialidade usando paridade demográfica, comparando as taxas de aceitação gerais para ambos grupos demográficos.

Como alternativa, poderíamos comparar as taxas de aceitação apenas dos candidatos do grupo majoritário e do grupo minoritário. Se as taxas de aceitação para estudantes qualificados em ambos os grupos forem iguais, o modelo mostra igualdade de oportunidade: alunos com nosso marcador preferido ("qualificados para admissão") têm valores iguais chance de aprovação, independentemente do grupo demográfico a que pertence

Vamos revisitar o grupo de candidatos da seção anterior:

Grupo majoritário Grupo minoritário
Qualificado 35 15
Não qualificado 45 5

Suponha que o modelo de admissões aceite 14 candidatos do grupo majoritário e seis candidatos do grupo minoritário. As decisões do modelo satisfazem igualdade de oportunidade, como a taxa de aceitação para a maioria qualificada e candidatos de minorias qualificadas são 40%.

Conjunto de 100 candidatos, dividido em dois grupos: rejeitados
      Candidatos (66 alunos azuis, 14 alunos laranja) e Aceita
      Candidatos (14 estudantes azuis, 6 estudantes laranjas). Na seção
      do grupo, todos os 20 alunos têm o sombreamento verde (que significa
      qualificado) e, no grupo rejeitado, 21 alunos azuis e 9
      os alunos laranja também têm tons de verde
Figura 4. Detalhamento de candidatos rejeitados e aceitos, com todos alunos qualificados dos grupos majoritários e minoritários sombreados em verde. Dos 35 alunos do grupo majoritário qualificados, 14 eram aceita. Dos 15 alunos qualificados do grupo minoritário, 6 eram aceita. Ambos os grupos têm, portanto, uma taxa de aceitação de 40% para estudantes qualificados.

A tabela a seguir quantifica os números que apoiam as solicitações candidatos na Figura 4.

Grupo majoritário Grupo minoritário
Aceito Recusado Aceito Recusado
Qualificado 14 21 6 9
Não qualificado 0 45 0 5

Vantagens e desvantagens

O principal benefício da igualdade de oportunidade é que ela permite a proporção de previsões positivas e negativas para variar entre grupos demográficos, desde que o modelo tenha a mesma chance de prever o rótulo preferido ("qualificado para admissão") para ambos os grupos.

As previsões do modelo na Figura 4 não satisfazem a paridade demográfica, como um estudante no grupo majoritário tem 17, 5% de chance de ser aceito e um estudante que faz parte de um grupo minoritário tem 30% de chance de ser aceito. No entanto, um estudante qualificado tem 40% de chance de ser aceito, independentemente ao grupo a que pertence, o que provavelmente é um resultado mais justo nesta caso de uso específico do modelo.

Uma desvantagem da igualdade de oportunidade é que ela é projetada para uso casos em que há um rótulo preferencial claro. Se for igualmente importante que o modelo preveja a classe positiva ("qualificada para admissão") e classe negativa ("não qualificado para admissão") para todos os grupos demográficos, pode fazer sentido usar a métrica igualada de probabilidades, que aplica taxas de sucesso iguais para os dois rótulos.

Outra desvantagem da igualdade de oportunidade é que ela avalia a imparcialidade comparando taxas de erro de forma agregada para grupos demográficos, que podem nem sempre ser viável. Por exemplo, se o conjunto de dados do modelo de admissão não tivesse um recurso de demographic_group, não seria possível Detalhamento das taxas de aceitação de candidatos majoritários e minoritários qualificados e compará-los para ver se a igualdade de oportunidade é satisfatória.

Na próxima seção, analisaremos outra métrica de imparcialidade, a contrafactual imparcialidade, que pode ser empregada em cenários em que os dados demográficos não existem para todos os exemplos.

Exercício: testar seu conhecimento

Verdadeiro ou falso: é impossível que um modelo de classificação binária para satisfazer a paridade demográfica e a igualdade de oportunidade o mesmo conjunto de previsões.
Verdadeiro
É possível que as previsões de um modelo atendam paridade e igualdade de oportunidade. Veja se consegue pensar em que ambas as métricas são satisfeitas e, em seguida, escolher a outra a opção de resposta abaixo para conferir nossa explicação.
Falso

É possível que as previsões de um modelo atendam paridade e igualdade de oportunidade.

Por exemplo, digamos que um classificador binário (cujo rótulo preferido é a classe positiva) é avaliada em 100 exemplos, com resultados mostradas nas seguintes matrizes de confusão, divididas por grupo demográfico (maioria e minoria):

Grupo majoritário Grupo minoritário
Previsão de resultado positivo Negativo previsto Previsão de resultado positivo Negativo previsto
Real positivo 6 12 3 6
Negativo real 10 36 6 21

\(\text{Positive Rate} = \frac{6+10}{6+10+12+36} = \frac{16}{64} = \text{25%}\)

\(\text{True Positive Rate} = \frac{6}{6+12} = \frac{6}{18} = \text{33%}\)

\(\text{Positive Rate} = \frac{3+6}{3+6+6+21} = \frac{9}{36} = \text{25%}\)

\(\text{True Positive Rate} = \frac{3}{3+6} = \frac{3}{9} = \text{33%}\)

Tanto grupos majoritários quanto grupos minoritários têm uma taxa de previsão positiva de 25%, o que satisfaz a paridade demográfica e uma taxa de verdadeiro positivo (porcentagem de exemplos com o rótulo preferido que são classificado corretamente) de 33%, satisfazendo a igualdade de oportunidade.