Imparcialidade: como identificar vieses

À medida que você prepara seus dados para avaliação e treinamento de modelo, é importante manter as questões de imparcialidade em mente e auditar possíveis fontes de viés, para que você possa mitigar proativamente os efeitos antes de lançar o modelo em produção.

Onde o viés pode estar oculto? Aqui estão alguns sinais de alerta a serem observados em seu conjunto de dados.

Valores de atributo ausentes

Se o conjunto de dados tem um ou mais atributos com valores ausentes para um alguns exemplos, podendo indicar que determinadas características do seu conjunto de dados estão sub-representadas.

Exercício: testar seu conhecimento

Você está treinando um modelo para prever a adoção de cães em resgate com base com base em diversas características, incluindo raça, idade, peso, temperamento, e a quantidade de pele trocada por dia. Seu objetivo é garantir que o modelo tem o mesmo desempenho em todos os tipos de cães, independentemente ou características comportamentais

Você descobre que 1.500 dos 5.000 exemplos no conjunto de treinamento são valores de temperamento ausentes. Quais das opções a seguir são possíveis origens de viés que você deve investigar?

É mais provável que os dados de temperamento estejam faltando para certas raças de os cachorros.

Se a disponibilidade dos dados de temperamento estiver relacionada à raça de um cão, isso pode resultar em previsões de adoção menos precisas certas raças de cães.

É mais provável que os dados de temperamento estejam faltando para cães com menos de 12 anos meses de idade

Se a disponibilidade dos dados de temperamento estiver relacionada à idade, isso pode resultar em previsões de adoção menos precisas filhotes x cães adultos.

Faltam dados de temperamento para todos os cães resgatados de grandes cidades.

À primeira vista, pode não parecer que esta é uma possível fonte de viés, pois os dados ausentes afetariam todos os cães de grandes cidades igualmente, independentemente de raça, idade, peso etc. No entanto, ainda precisamos considerar que o local de origem de um cachorro é pode servir efetivamente como um substituto e as características determinantes. Por exemplo, se cães de grandes cidades estão significativamente mais propensos a serem menores do que cães de áreas mais rurais áreas específicas, o que pode resultar em previsões de adoção menos precisas para cães de peso baixo ou determinadas raças de cachorros pequenos.

Os dados de temperamento estão faltando aleatoriamente no conjunto de dados.

Se os dados de temperamento estiverem realmente ausentes de forma aleatória, isso não ser uma possível fonte de viés. No entanto, é possível que o temperamento dados podem parecer ausentes ao acaso, mas uma investigação pode revelar uma explicação para a discrepância. Por isso, é importante faça uma revisão completa para descartar outras possibilidades, em vez presumir que as lacunas de dados são aleatórias.

Valores de atributo inesperados

Ao analisar dados, você também deve procurar exemplos que contenham valores de atributos que se destacam como incomuns ou incomuns. Esses recursos inesperados valores podem indicar problemas que ocorreram durante a coleta de dados ou outros e imprecisões que possam introduzir viés.

Exercício: testar seu conhecimento

Analise o seguinte conjunto hipotético de exemplos para treinar um cão adotado. modelo de adoção.

raça	idade (anos)	Peso (lb)	temperamento	shedding_level
poodle brinquedo	2	12	animado	low
golden retriever	7	65	calmo	high
labrador retriever	35	73	calmo	high
buldogue francês	0,5	11	calmo	médio
raça mista desconhecida	4	45	animado	high
Bass Hound	9	48	calmo	médio

Você consegue identificar algum problema com os dados do recurso?

Clique aqui para ver a resposta

Desvio de dados

Qualquer tipo de desvio nos dados, em que certos grupos ou características possam estar sub ou super-representados em relação à prevalência no mundo real, podem introduzir viés no modelo.

Ao auditar o desempenho do modelo, é importante não apenas analisar os resultados agregar, mas dividir os resultados por subgrupo. Por exemplo, no caso de nosso modelo de adoção de cães de resgate, para garantir a imparcialidade, não é suficiente basta olhar para a precisão geral. Também devemos auditar o desempenho por subgrupo para garantir que o modelo tenha o mesmo desempenho para todas as raças, faixas etárias e de tamanho definido.

Mais adiante neste módulo, em Evaluating for Bias, vamos conferir mais de perto os diferentes métodos de avaliação de modelos por subgrupo.

Termos-chave:

• Viés (ética/imparcialidade)