Esta página contém termos do glossário de IA responsável. Para conferir todos os termos do glossário, clique aqui.
A
atributo
Sinônimo de recurso.
Na imparcialidade do aprendizado de máquina, os atributos geralmente se referem a características relacionadas a indivíduos.
viés de automação
Quando um responsável pela tomada de decisões humanas favorece as recomendações feitas por um sistema automatizado de tomada de decisões em vez de informações feitas sem automação, mesmo quando o sistema automatizado de tomada de decisões comete erros.
Consulte Imparcialidade: tipos de viés no Curso intensivo de machine learning para mais informações.
B
viés (ética/justiça)
1. Estereótipos, preconceito ou favoritismo em relação a algumas coisas, pessoas ou grupos. Esses vieses podem afetar a coleta e a interpretação de dados, o design de um sistema e a forma como os usuários interagem com ele. Algumas formas desse tipo de viés incluem:
- viés de automação
- viés de confirmação
- Viés do experimentador
- viés de atribuição a grupos
- viés implícito
- viés de grupo
- viés de homogeneidade externa ao grupo
2. Erro sistemático introduzido por um procedimento de amostragem ou relatório. Algumas formas desse tipo de viés incluem:
- viés de cobertura
- viés de não resposta
- viés de participação
- viés de relatório
- vício de amostragem
- viés de seleção
Não confundir com o termo de viés em modelos de machine learning ou o viés de previsão.
Consulte Imparcialidade: tipos de viés no Curso intensivo de machine learning para mais informações.
C
viés de confirmação
A tendência de pesquisar, interpretar, favorecer e recordar informações de uma maneira que confirme as crenças ou hipóteses preexistentes. Os desenvolvedores de machine learning podem coletar ou rotular dados sem querer de maneiras que influenciam um resultado que apoia as crenças atuais deles. O viés de confirmação é uma forma de viés implícito.
O viés do experimentador é uma forma de viés de confirmação em que um experimentador continua treinando modelos até que uma hipótese pré-existente seja confirmada.
justiça contrafactual
Uma métrica de justiça que verifica se um modelo de classificação produz o mesmo resultado para um indivíduo e para outro idêntico ao primeiro, exceto em relação a um ou mais atributos sensíveis. A avaliação de um modelo de classificação para imparcialidade contrafactual é um método para identificar possíveis fontes de viés em um modelo.
Para mais informações, consulte:
- Imparcialidade: imparcialidade contrafactual no curso intensivo de machine learning.
- When Worlds Collide: Integrating Different Counterfactual Assumptions in Fairness (em inglês)
viés de cobertura
Consulte viés de seleção.
D
paridade demográfica
Uma métrica de imparcialidade que é satisfeita se os resultados da classificação de um modelo não dependem de um determinado atributo sensível.
Por exemplo, se os liliputianos e os brobdingnagianos se inscreverem na Universidade de Glubbdubdrib, a paridade demográfica será alcançada se a porcentagem de liliputianos admitidos for a mesma que a de brobdingnagianos, independente de um grupo ser, em média, mais qualificado que o outro.
Contraste com odds equalizadas e igualdade de oportunidades, que permitem que os resultados da classificação agregada dependam de atributos sensíveis, mas não permitem que os resultados da classificação para determinados rótulos de informações empíricas especificados dependam de atributos sensíveis. Consulte "Como combater a discriminação com um aprendizado de máquina mais inteligente" para ver uma visualização que explora as compensações ao otimizar para a paridade demográfica.
Consulte Imparcialidade: paridade demográfica no Curso intensivo de machine learning para mais informações.
impacto desigual
Tomar decisões sobre pessoas que afetam desproporcionalmente diferentes subgrupos da população. Isso geralmente se refere a situações em que um processo algorítmico de tomada de decisões prejudica ou beneficia alguns subgrupos mais do que outros.
Por exemplo, suponha que um algoritmo que determina a qualificação de um liliputiano para um empréstimo de uma casa em miniatura tenha mais probabilidade de classificá-lo como "não qualificado" se o endereço de correspondência contiver um determinado CEP. Se os Big-Endian Lilliputians tiverem mais probabilidade de ter endereços postais com esse CEP do que os Little-Endian Lilliputians, esse algoritmo poderá resultar em impacto desigual.
Contraste com o tratamento desigual, que se concentra nas disparidades resultantes quando as características do subgrupo são entradas explícitas em um processo algorítmico de tomada de decisões.
tratamento desigual
Considerar os atributos sensíveis dos indivíduos em um processo algorítmico de tomada de decisões para que diferentes subgrupos de pessoas sejam tratados de maneira diferente.
Por exemplo, considere um algoritmo que determina a qualificação dos liliputianos para um empréstimo de uma casa em miniatura com base nos dados fornecidos na solicitação de empréstimo. Se o algoritmo usar a afiliação de um liliputiano como Big-Endian ou Little-Endian como entrada, ele estará realizando um tratamento desigual nessa dimensão.
Em contraste com o impacto desigual, que se concentra nas disparidades nos impactos sociais das decisões algorítmicas em subgrupos, independentemente de esses subgrupos serem entradas para o modelo.
E
igualdade de oportunidades
Uma métrica de imparcialidade para avaliar se um modelo está prevendo o resultado desejado de forma igualmente boa para todos os valores de um atributo sensível. Em outras palavras, se o resultado desejado para um modelo for a classe positiva, o objetivo será ter a taxa de verdadeiro positivo igual para todos os grupos.
A igualdade de oportunidade está relacionada às chances equalizadas, que exigem que ambas as taxas de verdadeiro positivo e falso positivo sejam iguais para todos os grupos.
Suponha que a Universidade Glubbdubdrib aceite liliputianos e brobdingnagianos em um programa rigoroso de matemática. As escolas de ensino médio de Lilliput oferecem um currículo robusto de aulas de matemática, e a grande maioria dos estudantes se qualifica para o programa universitário. As escolas secundárias de Brobdingnag não oferecem aulas de matemática, e, como resultado, muito menos estudantes se qualificam. A igualdade de oportunidades é satisfeita para o rótulo preferido "admitido" em relação à nacionalidade (Lilliputian ou Brobdingnagian) se estudantes qualificados tiverem a mesma probabilidade de serem admitidos, independentemente de serem Lilliputian ou Brobdingnagian.
Por exemplo, suponha que 100 liliputianos e 100 brobdingnagianos se inscrevam na Universidade de Glubbdubdrib, e as decisões de admissão sejam tomadas da seguinte forma:
Tabela 1. Candidatos liliputianos (90% são qualificados)
| Qualificado | Não qualificado | |
|---|---|---|
| Admitted | 45 | 3 |
| Recusado | 45 | 7 |
| Total | 90 | 10 |
|
Porcentagem de estudantes qualificados admitidos: 45/90 = 50% Porcentagem de estudantes não qualificados rejeitados: 7/10 = 70% Porcentagem total de estudantes de Lilliput admitidos: (45+3)/100 = 48% |
||
Tabela 2. Candidatos brobdingnagianos (10% são qualificados):
| Qualificado | Não qualificado | |
|---|---|---|
| Admitted | 5 | 9 |
| Recusado | 5 | 81 |
| Total | 10 | 90 |
|
Porcentagem de estudantes qualificados admitidos: 5/10 = 50% Porcentagem de estudantes não qualificados rejeitados: 81/90 = 90% Porcentagem total de estudantes de Brobdingnag admitidos: (5+9)/100 = 14% |
||
Os exemplos anteriores atendem à igualdade de oportunidades para a aceitação de estudantes qualificados, porque tanto os liliputianos quanto os brobdingnagianos têm 50% de chance de serem aceitos.
Embora a igualdade de oportunidade seja atendida, as duas métricas de imparcialidade a seguir não são:
- Paridade demográfica: os lilliputianos e os brobdingnagianos são admitidos na universidade em taxas diferentes. 48% dos estudantes lilliputianos são admitidos, mas apenas 14% dos estudantes brobdingnagianos são aceitos.
- Probabilidades equalizadas: embora os estudantes qualificados de Lilliput e Brobdingnag tenham a mesma chance de serem aceitos, a restrição adicional de que os estudantes não qualificados de Lilliput e Brobdingnag tenham a mesma chance de serem rejeitados não é atendida. Os liliputianos não qualificados têm uma taxa de rejeição de 70%, enquanto os brobdingnagianos não qualificados têm uma taxa de rejeição de 90%.
Consulte Imparcialidade: igualdade de oportunidades no Curso intensivo de machine learning para mais informações.
probabilidades igualadas
Uma métrica de justiça para avaliar se um modelo está prevendo resultados igualmente bem para todos os valores de um atributo sensível em relação à classe positiva e à classe negativa, e não apenas uma classe ou outra exclusivamente. Em outras palavras, tanto a taxa de verdadeiro positivo quanto a taxa de falso negativo precisam ser iguais para todos os grupos.
A probabilidade igualada está relacionada à igualdade de oportunidade, que se concentra apenas nas taxas de erro de uma única classe (positiva ou negativa).
Por exemplo, suponha que a Universidade Glubbdubdrib admita liliputianos e brobdingnagianos em um programa rigoroso de matemática. As escolas de ensino médio de Lilliput oferecem um currículo robusto de aulas de matemática, e a grande maioria dos estudantes se qualifica para o programa universitário. As escolas secundárias de Brobdingnag não oferecem aulas de matemática, e, como resultado, muito menos estudantes se qualificam. A igualdade de chances é satisfeita desde que, não importa se um candidato é um liliputiano ou um brobdingnagiano, se ele for qualificado, terá a mesma probabilidade de ser aceito no programa, e se não for qualificado, terá a mesma probabilidade de ser rejeitado.
Suponha que 100 liliputianos e 100 brobdingnagianos se inscrevam na Universidade de Glubbdubdrib, e as decisões de admissão sejam tomadas da seguinte forma:
Tabela 3. Candidatos liliputianos (90% são qualificados)
| Qualificado | Não qualificado | |
|---|---|---|
| Admitted | 45 | 2 |
| Recusado | 45 | 8 |
| Total | 90 | 10 |
|
Porcentagem de estudantes qualificados admitidos: 45/90 = 50% Porcentagem de estudantes não qualificados rejeitados: 8/10 = 80% Porcentagem total de estudantes de Lilliput admitidos: (45+2)/100 = 47% |
||
Tabela 4. Candidatos brobdingnagianos (10% são qualificados):
| Qualificado | Não qualificado | |
|---|---|---|
| Admitted | 5 | 18 |
| Recusado | 5 | 72 |
| Total | 10 | 90 |
|
Porcentagem de estudantes qualificados admitidos: 5/10 = 50% Porcentagem de estudantes não qualificados rejeitados: 72/90 = 80% Porcentagem total de estudantes de Brobdingnag admitidos: (5+18)/100 = 23% |
||
A igualdade de chances é satisfeita porque os estudantes qualificados de Lilliput e Brobdingnag têm uma chance de 50% de serem aceitos, e os estudantes não qualificados de Lilliput e Brobdingnag têm uma chance de 80% de serem rejeitados.
A probabilidade igualada é formalmente definida em "Equality of Opportunity in Supervised Learning" (em inglês) da seguinte forma: "o preditor Ŷ satisfaz a probabilidade igualada em relação ao atributo protegido A e ao resultado Y se Ŷ e A forem independentes, condicionalmente a Y".
viés do experimentador
Consulte viés de confirmação.
F
restrição de imparcialidade
Aplicar uma restrição a um algoritmo para garantir que uma ou mais definições de imparcialidade sejam atendidas. Exemplos de restrições de imparcialidade:- Pós-processamento da saída do modelo.
- Alterar a função de perda para incorporar uma penalidade por violar uma métrica de justiça.
- Adicionar diretamente uma restrição matemática a um problema de otimização.
métrica de imparcialidade
Uma definição matemática de "justiça" que pode ser medida. Algumas métricas de imparcialidade usadas com frequência incluem:
Muitas métricas de imparcialidade são mutuamente exclusivas. Consulte incompatibilidade das métricas de imparcialidade.
G
viés de atribuição a grupos
A suposição de que o que é verdade para um indivíduo também é verdade para todos no grupo. Os efeitos do viés de atribuição de grupo podem ser exacerbados se uma amostragem por conveniência for usada para a coleta de dados. Em uma amostra não representativa, as atribuições podem não refletir a realidade.
Consulte também viés de homogeneidade externa ao grupo e viés de grupo. Consulte também Imparcialidade: tipos de viés no Curso intensivo de machine learning para mais informações.
H
viés histórico
Um tipo de viés que já existe no mundo e foi incorporado a um conjunto de dados. Esses vieses tendem a refletir estereótipos culturais, desigualdades demográficas e preconceitos contra determinados grupos sociais.
Por exemplo, considere um modelo de classificação que prevê se um solicitante de empréstimo vai ficar inadimplente ou não. Esse modelo foi treinado com dados históricos de inadimplência de empréstimos da década de 1980 de bancos locais em duas comunidades diferentes. Se os candidatos da Comunidade A tinham seis vezes mais chances de inadimplência do que os da Comunidade B, o modelo pode aprender um viés histórico que resulta em menos aprovações de empréstimos na Comunidade A, mesmo que as condições históricas que resultaram nas taxas de inadimplência mais altas dessa comunidade não sejam mais relevantes.
Consulte Imparcialidade: tipos de viés no Curso intensivo de machine learning para mais informações.
I
viés implícito
Fazer uma associação ou suposição automaticamente com base nos modelos mentais e nas memórias. O viés implícito pode afetar o seguinte:
- Como os dados são coletados e classificados.
- Como os sistemas de machine learning são projetados e desenvolvidos.
Por exemplo, ao criar um modelo de classificação para identificar fotos de casamento, um engenheiro pode usar a presença de um vestido branco em uma foto como um recurso. No entanto, vestidos brancos foram usados apenas durante certas épocas e em algumas culturas.
Consulte também viés de confirmação.
incompatibilidade das métricas de imparcialidade
A ideia de que algumas noções de justiça são mutuamente incompatíveis e não podem ser atendidas simultaneamente. Por isso, não há uma única métrica universal para quantificar a imparcialidade que possa ser aplicada a todos os problemas de ML.
Embora isso possa parecer desencorajador, a incompatibilidade das métricas de imparcialidade não significa que os esforços de imparcialidade são inúteis. Em vez disso, ela sugere que a imparcialidade seja definida dentro do contexto de um determinado problema de ML, com o objetivo de evitar danos específicos aos casos de uso.
Consulte "Sobre a (im)possibilidade de imparcialidade" para uma discussão mais detalhada sobre a incompatibilidade das métricas de imparcialidade.
justiça individual
Uma métrica de justiça que verifica se indivíduos semelhantes são classificados de maneira semelhante. Por exemplo, a Academia Brobdingnagian pode querer satisfazer a justiça individual garantindo que dois estudantes com notas e pontuações de testes padronizados idênticas tenham a mesma probabilidade de serem aceitos.
A imparcialidade individual depende totalmente de como você define "similaridade" (neste caso, notas e resultados de testes). Você pode correr o risco de introduzir novos problemas de imparcialidade se sua métrica de similaridade não considerar informações importantes, como o rigor do currículo de um estudante.
Consulte "Fairness Through Awareness" (em inglês) para uma discussão mais detalhada sobre a justiça individual.
viés de grupo
Mostrar parcialidade em relação ao próprio grupo ou às próprias características. Se os testadores ou avaliadores forem amigos, familiares ou colegas do desenvolvedor de machine learning, o viés intragrupo poderá invalidar o teste do produto ou o conjunto de dados.
O viés de grupo é uma forma de viés de atribuição a grupos. Consulte também o viés de homogeneidade externa ao grupo.
Consulte Imparcialidade: tipos de viés no Curso intensivo de machine learning para mais informações.
N
viés de não resposta
Consulte viés de seleção.
O
viés de homogeneidade externa ao grupo
A tendência de ver os membros de um grupo externo como mais parecidos do que os de um grupo interno ao comparar atitudes, valores, traços de personalidade e outras características. Intragrupo se refere às pessoas com quem você interage regularmente. Extragrupo se refere às pessoas com quem você não interage regularmente. Se você criar um conjunto de dados pedindo que as pessoas forneçam atributos sobre grupos externos, esses atributos podem ser menos sutis e mais estereotipados do que os que os participantes listam para pessoas do grupo interno.
Por exemplo, os liliputianos podem descrever as casas de outros liliputianos com muitos detalhes, citando pequenas diferenças em estilos arquitetônicos, janelas, portas e tamanhos. No entanto, os mesmos liliputianos podem simplesmente declarar que todos os brobdingnagianos vivem em casas idênticas.
O viés de homogeneidade externa ao grupo é uma forma de viés de atribuição a grupos.
Consulte também viés de grupo.
P
viés de participação
Sinônimo de viés de não resposta. Consulte viés de seleção.
pós-processamento
Ajustar a saída de um modelo depois que ele foi executado. O pós-processamento pode ser usado para aplicar restrições de justiça sem modificar os modelos.
Por exemplo, é possível aplicar pós-processamento a um modelo de classificação binária definindo um limite de classificação para que a igualdade de oportunidades seja mantida para algum atributo. Para isso, verifique se a taxa de verdadeiros positivos é a mesma para todos os valores desse atributo.
paridade preditiva
Uma métrica de imparcialidade que verifica se, para um determinado modelo de classificação, as taxas de precisão são equivalentes para os subgrupos em consideração.
Por exemplo, um modelo que prevê a aceitação na faculdade satisfaria a paridade preditiva para nacionalidade se a taxa de precisão fosse a mesma para liliputianos e brobdingnagianos.
Às vezes, a paridade preditiva também é chamada de paridade de taxa preditiva.
Consulte "Explicação das definições de justiça" (seção 3.2.1) para uma discussão mais detalhada sobre a paridade preditiva.
paridade de taxa preditiva
Outro nome para paridade preditiva.
pré-processamento
Processar dados antes de usá-los para treinar um modelo. O pré-processamento pode ser tão simples quanto remover palavras de um corpus de texto em inglês que não aparecem no dicionário inglês ou tão complexo quanto reexpressar pontos de dados de uma forma que elimine o máximo possível de atributos correlacionados com atributos sensíveis. O pré-processamento pode ajudar a atender às restrições de imparcialidade.proxy (atributos sensíveis)
Um atributo usado como substituto de um atributo sensível. Por exemplo, o código postal de uma pessoa pode ser usado como um proxy para renda, raça ou etnia.R
viés de relatório
O fato de que a frequência com que as pessoas escrevem sobre ações, resultados ou propriedades não é um reflexo das frequências no mundo real ou do grau em que uma propriedade é característica de uma classe de indivíduos. O viés de relatório pode influenciar a composição dos dados que os sistemas de machine learning aprendem.
Por exemplo, em livros, a palavra riu é mais comum do que respirou. Um modelo de machine learning que estima a frequência relativa de risadas e respiração em um corpus de livros provavelmente determinaria que rir é mais comum do que respirar.
Consulte Imparcialidade: tipos de viés no Curso intensivo de machine learning para mais informações.
S
viés de amostragem
Consulte viés de seleção.
viés de seleção
Erros em conclusões extraídas de dados amostrados devido a um processo de seleção que gera diferenças sistemáticas entre amostras observadas nos dados e aquelas não observadas. Existem as seguintes formas de viés de seleção:
- Viés de cobertura: a população representada no conjunto de dados não corresponde à população sobre a qual o modelo de aprendizado de máquina faz previsões.
- Viés de amostragem: os dados não são coletados aleatoriamente do grupo de destino.
- Viés de não resposta (também chamado de viés de participação): usuários de determinados grupos desativam as pesquisas em taxas diferentes de usuários de outros grupos.
Por exemplo, suponha que você esteja criando um modelo de machine learning que prevê se as pessoas vão gostar de um filme. Para coletar dados de treinamento, você distribui uma pesquisa para todos na primeira fila de um teatro que está exibindo o filme. À primeira vista, essa pode parecer uma maneira razoável de reunir um conjunto de dados. No entanto, essa forma de coleta pode introduzir as seguintes formas de viés de seleção:
- Viés de cobertura: ao fazer uma amostragem de uma população que escolheu assistir o filme, as previsões do seu modelo podem não ser generalizadas para pessoas que não expressaram esse nível de interesse no filme.
- Viés de amostragem: em vez de fazer uma amostragem aleatória da população pretendida (todas as pessoas no cinema), você amostrou apenas as pessoas na primeira fila. É possível que as pessoas sentadas na primeira fila estivessem mais interessadas no filme do que as de outras filas.
- Viés de não resposta: em geral, pessoas com opiniões fortes tendem a responder a pesquisas opcionais com mais frequência do que pessoas com opiniões leves. Como a pesquisa sobre filmes é opcional, as respostas têm mais chances de formar uma distribuição bimodal do que uma distribuição normal (em forma de sino).
atributo sensível
Um atributo humano que pode receber atenção especial por motivos legais, éticos, sociais ou pessoais.U
desconhecimento (de um atributo sensível)
Uma situação em que atributos sensíveis estão presentes, mas não incluídos nos dados de treinamento. Como os atributos sensíveis geralmente são correlacionados com outros atributos dos dados de uma pessoa, um modelo treinado sem conhecimento de um atributo sensível ainda pode ter um impacto desigual em relação a esse atributo ou violar outras restrições de justiça.