Ética e segurança de IA e ML

O ML tem o potencial de transformar a sociedade de muitas maneiras significativas, positivas ou negativas. É fundamental considerar as implicações éticas dos seus modelos e dos sistemas em que eles fazem parte.

Seus projetos de ML precisam beneficiar a sociedade. Eles não podem causar danos nem ser suscetíveis a uso indevido. Eles não podem perpetuar, reforçar ou exacerbar vieses ou preconceitos. Eles não podem coletar ou usar dados pessoais de forma irresponsável.

Princípios de IA do Google

O Google defende o desenvolvimento de aplicativos de ML e IA que aderem aos princípios de IA. Os princípios do Google são baseados nos seguintes conceitos:

  • Justiça
  • Privacidade
  • Transparência
  • Segurança

Justiça

Evite criar ou reforçar um viés injusto. Os modelos apresentam viés quando os dados de treinamento têm algumas das seguintes características:

  • Não reflete a população real dos usuários.

  • Preserva decisões ou resultados tendenciosos, por exemplo, decisões de justiça criminal, como tempos de encarceramento.

  • Usa recursos com mais poder preditivo para determinados grupos de usuários.

Os exemplos anteriores são apenas algumas maneiras de os modelos se tornarem tendenciosos. É fundamental entender bem seus dados para descobrir e resolver possíveis viés. A primeira etapa para desenvolver modelos justos é verificar se os dados de treinamento refletem com precisão a distribuição dos seus usuários. Confira a seguir outras práticas para ajudar a criar modelos justos:

  • Identifique grupos sub-representados em conjuntos de dados de avaliação ou grupos que podem ter uma qualidade de modelo pior em comparação com outros grupos. Talvez seja necessário fazer uma amostragem excessiva de um subgrupo de usuários para aumentar a presença deles nos dados de treinamento.

  • Use conjuntos de dados de ouro (também conhecidos como conjuntos de dados de referência) para validar o modelo em relação a problemas de imparcialidade e detectar vieses implícitos.

  • Evite incluir características sensíveis em conjuntos de dados, como gênero ou etnia.

  • Evite incluir recursos com pouco poder empírico ou explicativo, mas especialmente em contextos sensíveis em que o modelo treinado é usado para realizar tarefas de grande impacto em áreas como saúde, finanças, educação, emprego e assim por diante. Por exemplo, em um modelo para aprovar empréstimos imobiliários, não inclua nomes nos dados de treinamento. O nome de um candidato não é relevante para a tarefa de previsão, mas deixar esse recurso irrelevante no conjunto de dados também pode criar vieses implícitos ou danos alocativos. Por exemplo, o modelo pode correlacionar nomes masculinos com uma maior probabilidade de pagamento ou vice-versa.

  • Avalie o possível impacto negativo que as previsões de um modelo podem ter em grupos específicos e considere técnicas de correção de viés intencional se encontrar um impacto negativo em um contexto sensível.

Privacidade

Incorpore princípios de design de privacidade desde o início.

Confira a seguir as leis e políticas relacionadas à privacidade que você precisa conhecer e seguir:

Além disso, remova todas as informações de identificação pessoal (PII) dos conjuntos de dados e confirme se o modelo e os repositórios de dados estão configurados com as permissões corretas, por exemplo, não são legíveis por todos.

Transparência

Ser responsável perante as pessoas. Por exemplo, facilite para que outras pessoas entendam o que o modelo faz, como ele faz e por que ele faz. Model cards fornecem um modelo para documentar seu modelo e criar artefatos de transparência.

Segurança

Projete modelos para operar com segurança em condições adversas. Por exemplo, teste seu modelo com possíveis entradas hostis para confirmar se ele é seguro. Além disso, verifique possíveis condições de falha. As equipes geralmente usam conjuntos de dados especialmente projetados para testar os modelos com entradas ou condições que causaram a falha do modelo no passado.

Teste seu conhecimento

Você está desenvolvendo um modelo para aprovar rapidamente empréstimos para carros. Quais implicações éticas você deve considerar?
O modelo perpetua vieses ou estereótipos?
Correto. Os modelos precisam ser treinados em conjuntos de dados de alta qualidade que foram inspecionados em busca de possíveis vieses ou preconceitos implícitos.
O modelo exibe previsões com latência baixa o suficiente?
O modelo pode ser implantado em dispositivos, como smartphones?

Sempre considere os contextos sociais mais amplos em que seus modelos operam. Certifique-se de que o processamento de dados sensíveis não viola questões de privacidade, perpetua vieses ou viola a propriedade intelectual de outra pessoa.