Na seção anterior, avaliamos nosso modelo de admissão quanto à imparcialidade usando paridade demográfica, comparando as taxas de aceitação gerais para ambos grupos demográficos.
Como alternativa, poderíamos comparar as taxas de aceitação apenas dos candidatos do grupo majoritário e do grupo minoritário. Se as taxas de aceitação para estudantes qualificados em ambos os grupos forem iguais, o modelo mostra igualdade de oportunidade: alunos com nosso marcador preferido ("qualificados para admissão") têm valores iguais chance de aprovação, independentemente do grupo demográfico a que pertence
Vamos revisitar o grupo de candidatos da seção anterior:
| Grupo majoritário | Grupo minoritário | |
|---|---|---|
| Qualificado | 35 | 15 |
| Não qualificado | 45 | 5 |
Suponha que o modelo de admissões aceite 14 candidatos do grupo majoritário e seis candidatos do grupo minoritário. As decisões do modelo satisfazem igualdade de oportunidade, como a taxa de aceitação para a maioria qualificada e candidatos de minorias qualificadas são 40%.
A tabela a seguir quantifica os números que apoiam as solicitações candidatos na Figura 4.
| Grupo majoritário | Grupo minoritário | |||
|---|---|---|---|---|
| Aceito | Recusado | Aceito | Recusado | |
| Qualificado | 14 | 21 | 6 | 9 |
| Não qualificado | 0 | 45 | 0 | 5 |
Vantagens e desvantagens
O principal benefício da igualdade de oportunidade é que ela permite a proporção de previsões positivas e negativas para variar entre grupos demográficos, desde que o modelo tenha a mesma chance de prever o rótulo preferido ("qualificado para admissão") para ambos os grupos.
As previsões do modelo na Figura 4 não satisfazem a paridade demográfica, como um estudante no grupo majoritário tem 17, 5% de chance de ser aceito e um estudante que faz parte de um grupo minoritário tem 30% de chance de ser aceito. No entanto, um estudante qualificado tem 40% de chance de ser aceito, independentemente ao grupo a que pertence, o que provavelmente é um resultado mais justo nesta caso de uso específico do modelo.
Uma desvantagem da igualdade de oportunidade é que ela é projetada para uso casos em que há um rótulo preferencial claro. Se for igualmente importante que o modelo preveja a classe positiva ("qualificada para admissão") e classe negativa ("não qualificado para admissão") para todos os grupos demográficos, pode fazer sentido usar a métrica igualada de probabilidades, que aplica taxas de sucesso iguais para os dois rótulos.
Outra desvantagem da igualdade de oportunidade é que ela avalia a imparcialidade
comparando taxas de erro de forma agregada para grupos demográficos, que podem
nem sempre ser viável. Por exemplo, se o conjunto de dados do modelo de admissão
não tivesse um recurso de demographic_group, não seria possível
Detalhamento das taxas de aceitação de candidatos majoritários e minoritários qualificados
e compará-los para ver se a igualdade de oportunidade é satisfatória.
Na próxima seção, analisaremos outra métrica de imparcialidade, a contrafactual imparcialidade, que pode ser empregada em cenários em que os dados demográficos não existem para todos os exemplos.
Exercício: testar seu conhecimento
É possível que as previsões de um modelo atendam paridade e igualdade de oportunidade.
Por exemplo, digamos que um classificador binário (cujo rótulo preferido é a classe positiva) é avaliada em 100 exemplos, com resultados mostradas nas seguintes matrizes de confusão, divididas por grupo demográfico (maioria e minoria):
| Grupo majoritário | Grupo minoritário | |||
|---|---|---|---|---|
| Previsão de resultado positivo | Negativo previsto | Previsão de resultado positivo | Negativo previsto | |
| Real positivo | 6 | 12 | 3 | 6 |
| Negativo real | 10 | 36 | 6 | 21 |
|
\(\text{Positive Rate} = \frac{6+10}{6+10+12+36} = \frac{16}{64} = \text{25%}\) \(\text{True Positive Rate} = \frac{6}{6+12} = \frac{6}{18} = \text{33%}\) |
\(\text{Positive Rate} = \frac{3+6}{3+6+6+21} = \frac{9}{36} = \text{25%}\) \(\text{True Positive Rate} = \frac{3}{3+6} = \frac{3}{9} = \text{33%}\) |
|||
Tanto grupos majoritários quanto grupos minoritários têm uma taxa de previsão positiva de 25%, o que satisfaz a paridade demográfica e uma taxa de verdadeiro positivo (porcentagem de exemplos com o rótulo preferido que são classificado corretamente) de 33%, satisfazendo a igualdade de oportunidade.