Imparcialidade: igualdade de oportunidade

Na seção anterior, avaliamos nosso modelo de admissão quanto à imparcialidade usando paridade demográfica, comparando as taxas de aceitação gerais para ambos grupos demográficos.

Como alternativa, poderíamos comparar as taxas de aceitação apenas dos candidatos do grupo majoritário e do grupo minoritário. Se as taxas de aceitação para estudantes qualificados em ambos os grupos forem iguais, o modelo mostra igualdade de oportunidade: alunos com nosso marcador preferido ("qualificados para admissão") têm valores iguais chance de aprovação, independentemente do grupo demográfico a que pertence

Vamos revisitar o grupo de candidatos da seção anterior:

Grupo majoritário Grupo minoritário
Qualificado 35 15
Não qualificado 45 5

Suponha que o modelo de admissões aceite 14 candidatos do grupo majoritário e seis candidatos do grupo minoritário. As decisões do modelo satisfazem igualdade de oportunidade, como a taxa de aceitação para a maioria qualificada e candidatos de minorias qualificadas são 40%.

Conjunto de 100 candidatos, dividido em dois grupos: rejeitados
      Candidatos (66 alunos azuis, 14 alunos laranja) e Aceita
      Candidatos (14 estudantes azuis, 6 estudantes laranjas). Na seção
      do grupo, todos os 20 alunos têm o sombreamento verde (que significa
      qualificado) e, no grupo rejeitado, 21 alunos azuis e 9
      os alunos laranja também têm tons de verde
Figura 4. Detalhamento de candidatos rejeitados e aceitos, com todos alunos qualificados dos grupos majoritários e minoritários sombreados em verde. Dos 35 alunos do grupo majoritário qualificados, 14 eram aceita. Dos 15 alunos qualificados do grupo minoritário, 6 eram aceita. Ambos os grupos têm, portanto, uma taxa de aceitação de 40% para estudantes qualificados.

A tabela a seguir quantifica os números que apoiam as solicitações candidatos na Figura 4.

Grupo majoritário Grupo minoritário
Aceito Recusado Aceito Recusado
Qualificado 14 21 6 9
Não qualificado 0 45 0 5

Vantagens e desvantagens

O principal benefício da igualdade de oportunidade é que ela permite a proporção de previsões positivas e negativas para variar entre grupos demográficos, desde que o modelo tenha a mesma chance de prever o rótulo preferido ("qualificado para admissão") para ambos os grupos.

As previsões do modelo na Figura 4 não satisfazem a paridade demográfica, como um estudante no grupo majoritário tem 17, 5% de chance de ser aceito e um estudante que faz parte de um grupo minoritário tem 30% de chance de ser aceito. No entanto, um estudante qualificado tem 40% de chance de ser aceito, independentemente ao grupo a que pertence, o que provavelmente é um resultado mais justo nesta caso de uso específico do modelo.

Uma desvantagem da igualdade de oportunidade é que ela é projetada para uso casos em que há um rótulo preferencial claro. Se for igualmente importante que o modelo preveja a classe positiva ("qualificada para admissão") e classe negativa ("não qualificado para admissão") para todos os grupos demográficos, pode fazer sentido usar a métrica igualada de probabilidades, que aplica taxas de sucesso iguais para os dois rótulos.

Outra desvantagem da igualdade de oportunidade é que ela avalia a imparcialidade comparando taxas de erro de forma agregada para grupos demográficos, que podem nem sempre ser viável. Por exemplo, se o conjunto de dados do modelo de admissão não tivesse um recurso de demographic_group, não seria possível Detalhamento das taxas de aceitação de candidatos majoritários e minoritários qualificados e compará-los para ver se a igualdade de oportunidade é satisfatória.

Na próxima seção, analisaremos outra métrica de imparcialidade, a contrafactual imparcialidade, que pode ser empregada em cenários em que os dados demográficos não existem para todos os exemplos.

Exercício: testar seu conhecimento

Verdadeiro ou falso: é impossível que um modelo de classificação binária para satisfazer a paridade demográfica e a igualdade de oportunidade o mesmo conjunto de previsões.
Verdadeiro
Falso