Esta página contém os termos do glossário de justiça. Para conferir todos os termos do glossário, clique aqui.
A
atributo
Sinônimo de feature.
Na imparcialidade do aprendizado de máquina, os atributos geralmente se referem a características pertencentes a indivíduos.
viés de automação
Quando um responsável pela tomada de decisões humanas favorece as recomendações feitas por um sistema automatizado de tomada de decisões em vez de informações feitas sem automação, mesmo quando o sistema automatizado de tomada de decisões comete erros.
Consulte Imparcialidade: tipos de viés no Curso intensivo de machine learning para mais informações.
B
viés (ética/justiça)
1. Estereótipos, preconceito ou favoritismo em relação a algumas coisas, pessoas ou grupos em detrimento de outras. Esses vieses podem afetar a coleta e a interpretação de dados, o design de um sistema e a forma como os usuários interagem com ele. As formas desse tipo de viés incluem:
- viés de automação
- viés de confirmação
- Viés do experimentador
- Viés de atribuição a grupos
- Viés implícito
- viés de grupo
- Viés de homogeneidade externa ao grupo
2. Erro sistemático causado por um procedimento de amostragem ou relatório. As formas desse tipo de viés incluem:
- viés de convergência
- Viés de não-resposta
- Viés de participação
- viés de informação
- Viés de amostragem
- Viés de seleção
Não confundir com o termo viés em modelos de aprendizado de máquina ou viés de previsão.
Consulte Imparcialidade: tipos de viés no Curso intensivo de machine learning para mais informações.
C
viés de confirmação
A tendência de buscar, interpretar, favorecer e lembrar informações de forma a confirmar crenças ou hipóteses preexistentes. Os desenvolvedores de machine learning podem coletar ou rotular dados inadvertentemente de maneiras que influenciam um resultado que apoia as crenças existentes. O viés de confirmação é uma forma de viés implícito.
O viés do experimentador é uma forma de viés de confirmação em que um experimentador continua treinando modelos até que uma hipótese preexistente seja confirmada.
imparcialidade contrafactual
Uma métrica de justiça que verifica se um classificador produz o mesmo resultado para um indivíduo que para outro indivíduo idêntico ao primeiro, exceto em relação a um ou mais atributos sensíveis. Avaliar um classificador para imparcialidade contrafactual é um método para identificar possíveis fontes de viés em um modelo.
Consulte um dos seguintes links para mais informações:
- Equidade: equidade contrafactual no curso intensivo de machine learning.
- When Worlds Collide: Integrating Different Counterfactual Assumptions in Fairness (link em inglês)
viés de cobertura
Consulte viés de seleção.
D
paridade demográfica
Uma métrica de imparcialidade que é atendida se os resultados da classificação de um modelo não dependerem de um atributo sensível.
Por exemplo, se os liliputianos e os brobdingnagianos se inscreverem na Universidade Glubbdubdrib, a paridade demográfica será alcançada se a porcentagem de Lilliputianos admitidos for a mesma que a porcentagem de Brobdingnagianos admitidos, independentemente de um grupo ser, em média, mais qualificado do que o outro.
Compare com as odds iguais e a igualdade de oportunidades, que permitem que os resultados de classificação em agregado dependam de atributos sensíveis, mas não permitem que os resultados de classificação para determinados dados reais especificados dependam de atributos sensíveis. Consulte "Como combater a discriminação com um aprendizado de máquina mais inteligente" para conferir uma visualização que mostra as compensações ao otimizar para paridade demográfica.
Consulte Imparcialidade: paridade demográfica no Curso intensivo de machine learning para mais informações.
impacto desigual
Tomar decisões sobre pessoas que afetam subgrupos de população diferentes de forma desproporcional. Isso geralmente se refere a situações em que um processo de tomada de decisão algorítmica prejudica ou beneficia alguns subgrupos mais do que outros.
Por exemplo, suponha que um algoritmo que determina a qualificação de um liliputiano para um empréstimo para casa em miniatura tenha mais probabilidade de classificá-lo como "não qualificado" se o endereço de correspondência dele contiver um determinado CEP. Se os Lilliputianos Big-Endian tiverem mais probabilidade de ter endereços de correspondência com esse código postal do que os Lilliputianos Little-Endian, esse algoritmo poderá resultar em um impacto diferente.
Compare com o tratamento desigual, que se concentra nas disparidades que ocorrem quando as características do subgrupo são entradas explícitas em um processo de tomada de decisão algorítmica.
tratamento desigual
Agrupar os atributos sensíveis dos sujeitos em um processo de tomada de decisão algorítmica, de modo que diferentes subgrupos de pessoas sejam tratados de maneira diferente.
Por exemplo, considere um algoritmo que determina a qualificação dos liliputianos para um empréstimo de casa em miniatura com base nos dados fornecidos na solicitação de empréstimo. Se o algoritmo usa uma afinidade de liliputiano como Big-Endian ou Little-Endian como entrada, ele está executando um tratamento diferente nessa dimensão.
Contraste com impacto desigual, que se concentra nas disparidades nos impactos sociais das decisões algorítmicas em subgrupos, independentemente de esses subgrupos serem entradas para o modelo.
E
igualdade de oportunidades
Uma métrica de imparcialidade para avaliar se um modelo está prevendo o resultado desejado igualmente bem para todos os valores de um atributo sensível. Em outras palavras, se o resultado desejado para um modelo for a classe positiva, o objetivo será ter a taxa de verdadeiro positivo igual para todos os grupos.
A igualdade de oportunidades está relacionada às chances iguais, que exige que ambas as taxas de verdadeiro positivo e falso positivo sejam iguais para todos os grupos.
Suponha que a Universidade Glubbdubdrib admita liliputianos e brobdingnagianos em um programa rigoroso de matemática. As escolas secundárias dos liliputianos oferecem um currículo robusto de aulas de matemática, e a grande maioria dos estudantes está qualificada para o programa universitário. As escolas secundárias de Brobdingnag não oferecem aulas de matemática e, como resultado, muito menos estudantes se qualificam. A igualdade de oportunidades é atendida para o rótulo preferido de "admitido" em relação à nacionalidade (Lilliputian ou Brobdingnagian) se os estudantes qualificados tiverem a mesma probabilidade de serem admitidos, independentemente de serem Lilliputian ou Brobdingnagian.
Por exemplo, suponha que 100 liliputianos e 100 brobdingnagianos se inscrevam na Universidade Glubbdubdrib, e as decisões de admissão sejam feitas da seguinte maneira:
Tabela 1. Candidatos Lilliputianos (90% estão qualificados)
| Qualificado | Não qualificado | |
|---|---|---|
| Admitido | 45 | 3 |
| Recusado | 45 | 7 |
| Total | 90 | 10 |
|
Porcentagem de estudantes qualificados admitidos: 45/90 = 50% Porcentagem de estudantes não qualificados rejeitados: 7/10 = 70% Porcentagem total de estudantes liliputianos admitidos: (45+3)/100 = 48% |
||
Tabela 2. Candidatos Brobdingnagian (10% qualificados):
| Qualificado | Não qualificado | |
|---|---|---|
| Admitido | 5 | 9 |
| Recusado | 5 | 81 |
| Total | 10 | 90 |
|
Porcentagem de estudantes qualificados admitidos: 5/10 = 50% Porcentagem de estudantes não qualificados rejeitados: 81/90 = 90% Porcentagem total de estudantes de Brobdingnag admitidos: (5+9)/100 = 14% |
||
Os exemplos anteriores atendem à igualdade de oportunidades para a admissão de alunos qualificados, porque os liliputianos e os brobdingnagianos qualificados têm 50% de chance de serem admitidos.
Embora a igualdade de oportunidades seja atendida, as duas métricas de imparcialidade a seguir não são atendidas:
- Paridade demográfica: os estudantes de Lilliput e Brobdingnag são admitidos na universidade em taxas diferentes. 48% dos estudantes de Lilliput são admitidos, mas apenas 14% dos estudantes de Brobdingnag são admitidos.
- Chances iguais: embora os estudantes qualificados de Lilliput e Brobdingnag tenham a mesma chance de serem admitidos, a restrição adicional de que os estudantes não qualificados de Lilliput e Brobdingnag têm a mesma chance de serem rejeitados não é satisfeita. Os liliputianos não qualificados têm uma taxa de rejeição de 70%, enquanto os brobdingnagianos não qualificados têm uma taxa de rejeição de 90%.
Consulte Imparcialidade: igualdade de oportunidades no Curso intensivo de machine learning para mais informações.
probabilidades iguais
Uma métrica de justiça para avaliar se um modelo está prevendo resultados igualmente para todos os valores de um atributo sensível em relação à classe positiva e classe negativa, não apenas uma ou outra exclusivamente. Em outras palavras, a taxa de verdadeiro positivo e a taxa de falso negativo precisam ser as mesmas para todos os grupos.
As probabilidades iguais estão relacionadas à igualdade de oportunidades, que se concentra apenas nas taxas de erro de uma única classe (positiva ou negativa).
Por exemplo, suponha que a Universidade Glubbdubdrib admita liliputianos e brobdingnagianos em um programa de matemática rigoroso. As escolas secundárias dos liliputianos oferecem um currículo robusto de aulas de matemática, e a grande maioria dos alunos está qualificada para o programa universitário. As escolas secundárias de Brobdingnag não oferecem aulas de matemática. Como resultado, muito menos alunos estão qualificados. As chances iguais são satisfeitas, desde que não importe se um candidato é um liliputiano ou um brobdingnaguense, se ele é qualificado, ele tem a mesma probabilidade de ser admitido no programa, e se ele não é qualificado, ele tem a mesma probabilidade de ser rejeitado.
Suponha que 100 liliputianos e 100 brobdingnagianos se inscrevam na Universidade Glubbdubdrib e que as decisões de admissão sejam feitas da seguinte maneira:
Tabela 3. Candidatos Lilliputianos (90% estão qualificados)
| Qualificado | Não qualificado | |
|---|---|---|
| Admitido | 45 | 2 |
| Recusado | 45 | 8 |
| Total | 90 | 10 |
|
Porcentagem de estudantes qualificados admitidos: 45/90 = 50% Porcentagem de estudantes não qualificados reprovados: 8/10 = 80% Porcentagem total de estudantes Lilliputianos admitidos: (45+2)/100 = 47% |
||
Tabela 4. Candidatos Brobdingnagian (10% qualificados):
| Qualificado | Não qualificado | |
|---|---|---|
| Admitido | 5 | 18 |
| Recusado | 5 | 72 |
| Total | 10 | 90 |
|
Porcentagem de estudantes qualificados admitidos: 5/10 = 50% Porcentagem de estudantes não qualificados rejeitados: 72/90 = 80% Porcentagem total de estudantes de Brobdingnag admitidos: (5+18)/100 = 23% |
||
As chances iguais são satisfeitas porque os estudantes qualificados de Lilliput e Brobdingnag têm 50% de chance de serem admitidos, e os estudantes não qualificados de Lilliput e Brobdingnag têm 80% de chance de serem rejeitados.
As chances iguais são definidas formalmente em "Igualdade de oportunidades no aprendizado supervisionado" da seguinte maneira: "O preditor Ŷ satisfaz as chances iguais em relação ao atributo protegido A e ao resultado Y se Ŷ e A forem independentes, condicionados a Y".
viés do experimentador
Consulte viés de confirmação.
F
restrição de imparcialidade
Aplicar uma restrição a um algoritmo para garantir que uma ou mais definições de imparcialidade sejam atendidas. Exemplos de restrições de imparcialidade incluem:- Pós-processamento da saída do modelo.
- Alterar a função de perda para incorporar uma penalidade por violar uma métrica de justiça.
- Adicionar diretamente uma restrição matemática a um problema de otimização.
métrica de imparcialidade
Uma definição matemática de "justiça" que pode ser medida. Confira algumas métricas de imparcialidade usadas com frequência:
Muitas métricas de imparcialidade são mutuamente exclusivas. Consulte Incompatibilidade das métricas de imparcialidade.
G
viés de atribuição a grupos
A suposição de que o que é verdadeiro para um indivíduo também é verdadeiro para todos no grupo. Os efeitos do viés de atribuição de grupo podem ser exacerbados se uma amostragem por conveniência for usada para a coleta de dados. Em uma amostra não representativa, podem ser feitas atribuições que não refletem a realidade.
Consulte também viés de homogeneidade externa ao grupo e viés de grupo. Consulte também Imparcialidade: tipos de viés no Curso intensivo de machine learning para mais informações.
H
viés histórico
Um tipo de viés que já existe no mundo e chegou a um conjunto de dados. Esses vieses tendem a refletir estereótipos culturais, desigualdades demográficas e preconceitos contra determinados grupos sociais.
Por exemplo, considere um modelo de classificação que prevê se um solicitante de empréstimo vai ou não inadimplir. Ele foi treinado com dados históricos de inadimplência de empréstimos dos anos 1980 de bancos locais em duas comunidades diferentes. Se os candidatos anteriores da Comunidade A tivessem seis vezes mais chances de inadimplência do que os candidatos da Comunidade B, o modelo poderia aprender um viés histórico, resultando em uma probabilidade menor de aprovação de empréstimos na Comunidade A, mesmo que as condições históricas que resultaram em taxas de inadimplência mais altas na comunidade não fossem mais relevantes.
Consulte Imparcialidade: tipos de viés no Curso intensivo de machine learning para mais informações.
I
viés implícito
Fazer uma associação ou suposição automaticamente com base nos modelos mentais e nas memórias. O viés implícito pode afetar o seguinte:
- Como os dados são coletados e classificados.
- Como os sistemas de aprendizado de máquina são projetados e desenvolvidos.
Por exemplo, ao criar um classificador para identificar fotos de casamento, um engenheiro pode usar a presença de um vestido branco em uma foto como um atributo. No entanto, os vestidos brancos são costume apenas em certas épocas e em certas culturas.
Consulte também viés de confirmação.
Incompatibilidade das métricas de imparcialidade
A ideia de que algumas noções de justiça são mutuamente incompatíveis e não podem ser atendidas simultaneamente. Como resultado, não há uma única métrica universal para quantificar a imparcialidade que possa ser aplicada a todos os problemas de ML.
Embora isso possa parecer desanimador, a incompatibilidade das métricas de imparcialidade não implica que os esforços de imparcialidade sejam infrutíferos. Em vez disso, ele sugere que a imparcialidade precisa ser definida contextualmente para um determinado problema de ML, com o objetivo de evitar danos específicos aos casos de uso.
Consulte "Sobre a (im)possibilidade de justiça" para uma discussão mais detalhada sobre esse tópico.
imparcialidade individual
Uma métrica de justiça que verifica se indivíduos semelhantes são classificados de forma semelhante. Por exemplo, a Academia Brobdingnagian pode querer satisfazer a justiça individual, garantindo que dois estudantes com notas idênticas e pontuações de teste padronizadas tenham a mesma probabilidade de admissão.
A imparcialidade individual depende inteiramente de como você define "semelhança" (neste caso, notas e pontuações de teste). Você pode correr o risco de introduzir novos problemas de imparcialidade se a métrica de similaridade perder informações importantes, como o rigor do currículo de um estudante.
Consulte "Justiça por consciência" para uma discussão mais detalhada sobre a justiça individual.
viés de grupo
Mostrar parcialidade em relação ao próprio grupo ou às próprias características. Se os testadores ou avaliadores forem amigos, familiares ou colegas do desenvolvedor de machine learning, o viés de grupo poderá invalidar o teste do produto ou o conjunto de dados.
O viés de grupo é uma forma de viés de atribuição a grupos. Consulte também viés de homogeneidade externa ao grupo.
Consulte Imparcialidade: tipos de viés no Curso intensivo de machine learning para mais informações.
N
viés de não resposta
Consulte viés de seleção.
O
viés de homogeneidade externa ao grupo
A tendência de considerar os membros externos ao grupo mais semelhantes do que os membros do grupo ao comparar atitudes, valores, traços de personalidade e outras características. In-group se refere a pessoas com quem você interage regularmente. Out-group se refere a pessoas com quem você não interage regularmente. Se você criar um conjunto de dados pedindo às pessoas para fornecer atributos sobre grupos externos, esses atributos podem ser menos sutis e mais estereotipados do que os atributos que os participantes listam para pessoas no grupo interno.
Por exemplo, os liliputianos podem descrever as casas de outros liliputianos em detalhes, citando pequenas diferenças em estilos arquitetônicos, janelas, portas e tamanhos. No entanto, os mesmos liliputianos podem simplesmente declarar que todos os brobdingnagianos vivem em casas idênticas.
O viés de homogeneidade externa ao grupo é uma forma de viés de atribuição a grupos.
Consulte também viés de grupo.
P
viés de participação
Sinônimo de viés de não resposta. Consulte viés de seleção.
pós-processamento
Ajustar a saída de um modelo após a execução dele. O pós-processamento pode ser usado para aplicar restrições de justiça sem modificar os modelos.
Por exemplo, é possível aplicar o pós-processamento a um classificador binário definindo um limite de classificação para que a igualdade de oportunidades seja mantida para algum atributo, verificando se a taxa de verdadeiros positivos é a mesma para todos os valores desse atributo.
paridade preditiva
Uma métrica de imparcialidade que verifica se, para um determinado classificador, as taxas de precisão são equivalentes para os subgrupos em consideração.
Por exemplo, um modelo que prevê a aceitação na faculdade atenderia à paridade preditiva para nacionalidade se a taxa de precisão fosse a mesma para os Lilliputianos e Brobdingnagianos.
Às vezes, a paridade preditiva também é chamada de paridade de taxa preditiva.
Consulte "Definições de justiça explicadas" (seção 3.2.1) para uma discussão mais detalhada sobre a paridade preditiva.
paridade de taxa preditiva
Outro nome para paridade preditiva.
pré-processamento
Processar dados antes de usá-los para treinar um modelo. O pré-processamento pode ser tão simples quanto remover palavras de um corpus de texto em inglês que não ocorrem no dicionário em inglês ou pode ser tão complexo quanto expressar pontos de dados de uma maneira que elimine o maior número possível de atributos correlacionados com atributos sensíveis. O pré-processamento pode ajudar a atender às restrições de imparcialidade.proxy (atributos sensíveis)
Um atributo usado como substituto de um atributo sensível. Por exemplo, o código postal de uma pessoa pode ser usado como um substituto da renda, raça ou etnia dela.R
viés de relatório
O fato de a frequência com que as pessoas escrevem sobre ações, resultados ou propriedades não é um reflexo das frequências reais ou do grau em que uma propriedade é característica de uma classe de indivíduos. O viés de relato pode influenciar a composição dos dados que os sistemas de aprendizado de máquina aprendem.
Por exemplo, em livros, a palavra laughed é mais comum que breathed. Um modelo de aprendizado de máquina que estima a frequência relativa de risos e respiração em um corpus de livros provavelmente determinaria que rir é mais comum do que respirar.
S
viés de amostragem
Consulte viés de seleção.
viés de seleção
Erros nas conclusões extraídas de dados amostrados devido a um processo de seleção que gera diferenças sistemáticas entre as amostras observadas nos dados e as não observadas. Existem as seguintes formas de viés de seleção:
- Viés de cobertura: a população representada no conjunto de dados não corresponde à população sobre a qual o modelo de aprendizado de máquina está fazendo previsões.
- Viés de amostragem: os dados não são coletados aleatoriamente do grupo de destino.
- Viés de não resposta (também chamado de viés de participação): usuários de determinados grupos desativam as pesquisas em taxas diferentes das de outros grupos.
Por exemplo, suponha que você esteja criando um modelo de machine learning que prevê o quanto as pessoas gostam de um filme. Para coletar dados de treinamento, você distribui uma pesquisa para todos na primeira fila de um cinema que está exibindo o filme. À primeira vista, isso pode parecer uma maneira razoável de coletar um conjunto de dados. No entanto, essa forma de coleta de dados pode introduzir os seguintes tipos de viés de seleção:
- viés de cobertura: ao usar amostras de uma população que escolheu assistir o filme, as previsões do modelo podem não ser generalizadas para pessoas que ainda não expressaram esse nível de interesse no filme.
- viés de amostragem: em vez de fazer uma amostragem aleatória da população pretendida (todas as pessoas no cinema), você coletou apenas as pessoas na primeira fila. É possível que as pessoas sentadas na primeira fileira tenham mais interesse no filme do que as das outras fileiras.
- viés de não resposta: em geral, pessoas com opiniões fortes tendem a responder a pesquisas opcionais com mais frequência do que pessoas com opiniões leves. Como a pesquisa de filmes é opcional, as respostas têm mais probabilidade de formar uma distribuição bimodal do que uma distribuição normal (em forma de sino).
atributo sensível
Um atributo humano que precisa receber atenção especial por motivos legais, éticos, sociais ou pessoais.U
desconhecimento (de um atributo sensível)
Uma situação em que atributos sensíveis estão presentes, mas não incluídos nos dados de treinamento. Como os atributos sensíveis muitas vezes estão relacionados a outros atributos dos dados, um modelo treinado sem conhecimento sobre um atributo sensível ainda pode ter efeitos diferentes em relação a esse atributo ou violar outras restrições de justiça.