Um método que podemos usar para avaliar as previsões do nosso modelo quanto à imparcialidade é comparar a taxa de admissão do grupo majoritário e do grupo minoritário. Se as duas taxas de admissão forem iguais, as previsões do modelo exibirão paridade demográfica: uma de admissão na universidade não varia conforme um grupo demográfico específico.
Suponha que o modelo de admissões aceite 16 candidatos da maioria e quatro candidatos do grupo minoritário. As decisões do modelo satisfazem a paridade demográfica, pois a taxa de aceitação de ambos de candidatos minoritários é de 20%.
![Pool de candidatos, dividido em dois grupos: candidatos rejeitados (64 azuis
estudantes, 16 alunos laranja) e candidatos aceitos (16 alunos azuis)
alunos, quatro alunos laranja).](https://developers.google.cn/static/machine-learning/crash-course/fairness/images/fairness_metrics_demographic_parity.png?authuser=8&hl=pt)
A tabela a seguir quantifica os números que apoiam as solicitações candidatos na Figura 2.
Grupo majoritário | Grupo minoritário | |
---|---|---|
Aceita em | 16 | 4 |
Rejeitada | 64 | 16 |
Taxa de aceitação | 20% | 20% |
Exercício: verificar sua intuição
O comitê de admissões da universidade está considerando usar a paridade demográfica como a métrica de avaliação de imparcialidade do modelo e precisa da sua orientação os benefícios e desvantagens dessa abordagem. Você consegue identificar um? pro e um con de avaliar as previsões do modelo usando dados demográficos paridade?
Continue lendo a próxima seção, Benefícios e Desvantagens, para ver um resumo dos principais prós e contras de usar paridade demográfica.
Vantagens e desvantagens
O principal benefício da paridade demográfica para nosso exemplo de admissões é que ela garante que grupos majoritários e minoritários sejam representados no turma de alunos na mesma proporção que eles estão no grupo de candidatos. Ou seja, se o grupo de candidatos for composto por 80% dos candidatos do grupo majoritário e 20% dos candidatos do grupo minoritário, a paridade demográfica garante que o grupo das inscrições também serão 80% de estudantes do grupo majoritário e 20% do grupo minoritário alunos.
No entanto, a paridade demográfica tem uma desvantagem significativa: ela não leva o valor distribuição de previsões para cada grupo demográfico (o número de alunos classificados como "qualificados" versus "não qualificado") em conta quando avaliar como alocar os 20 slots de admissão.
Vamos analisar novamente a composição do nosso grupo de candidatos acima. No entanto, desta vez, classificaremos os candidatos não só por grupo demográfico, mas também se o modelo pontuou cada candidato como "qualificado" ou "unqualified":
![O mesmo detalhamento de candidatos rejeitados e aceitos
imagem anterior, mas desta vez os 50 alunos que estão
qualificados (35 alunos azuis, 15 alunos laranja) são sombreadas em verde,
e o subconjunto de estudantes qualificados que foram rejeitados (19 alunos azuis,
11 alunos laranja) estão marcados com um X.](https://developers.google.cn/static/machine-learning/crash-course/fairness/images/fairness_metrics_demographic_parity_by_qualifications.png?authuser=8&hl=pt)
A tabela a seguir quantifica os números que apoiam as solicitações candidatos na Figura 3.
Grupo majoritário | Grupo minoritário | |||
---|---|---|---|---|
Aceito | Recusado | Aceito | Recusado | |
Qualificado | 16 | 19 | 4 | 11 |
Não qualificado | 0 | 45 | 0 | 5 |
Vamos tabular as taxas de aceitação para estudantes qualificados para ambos os grupos:
Embora ambos os grupos tenham uma taxa de aceitação geral de 20%, satisfazer a paridade demográfica, a taxa de aceitação de alunos com a maioria qualificada é de 46%, enquanto a taxa de aceitação de estudantes minoritários qualificados é de apenas 27%.
Nesses casos, em que a distribuição de um rótulo preferido (como "qualificado") varia muito para ambos os grupos, a paridade demográfica pode não ser a métrica ideal para avaliar a imparcialidade. Nos próximos analisaremos uma métrica alternativa de imparcialidade, a igualdade de oportunidade, que leva essas diferenças em consideração.