Gemini Code Assist e IA responsável

Este documento descreve como o Gemini Code Assist foi projetado em vista dos recursos, limitações e riscos associados à IA generativa.

Recursos e riscos dos modelos de linguagem grandes

Os modelos de linguagem grandes (LLMs) podem realizar muitas tarefas úteis, como estas:

  • Traduzir idioma.
  • Resumir texto.
  • Gerar código e escrever criativamente.
  • Alimentar chatbots e assistentes virtuais.
  • Complemente mecanismos de pesquisa e sistemas de recomendação.

Ao mesmo tempo, os recursos técnicos em evolução dos LLMs criam o potencial para uso indevido e consequências imprevistas ou indesejadas.

Os LLMs podem gerar resultados inesperados, incluindo texto ofensivo, insensível ou incorreto. Como os LLMs são incrivelmente versáteis, pode ser difícil prever exatamente quais tipos de saídas não intencionais ou imprevistas eles podem produzir.

Considerando esses riscos e complexidades, o Gemini Code Assist foi projetado com base nos princípios de IA do Google. No entanto, é importante que os usuários entendam algumas das limitações do Gemini Code Assist para trabalhar com segurança e responsabilidade.

Limitações do Gemini Code Assist

Algumas das limitações que você pode encontrar ao usar o Gemini Code Assist incluem (mas não se limitam a) as seguintes:

  • Casos extremos. Casos extremos se referem a situações incomuns, raras ou excepcionais que não estão bem representadas nos dados de treinamento. Esses casos podem levar a limitações na saída dos modelos de assistência de código do Gemini, como excesso de confiança no modelo, interpretação incorreta do contexto ou saídas inadequadas.

  • Alucinações, embasamento e veracidade do modelo. Os modelos do Gemini Code Assist podem não ter base em fatos reais, conhecimentos do mundo real, propriedades físicas ou compreensão precisa. Essa limitação pode levar a alucinações de modelos, em que o Gemini Code Assist pode gerar saídas que soam plausíveis, mas são factualmente incorretas, irrelevantes, inadequadas ou sem sentido. As alucinações também podem incluir a fabricação de links para páginas da Web que não existem e nunca existiram. Para mais informações, consulte Escrever comandos melhores no Gemini para o Google Cloud.

  • Qualidade e ajuste dos dados. A qualidade, a precisão e o viés dos dados do comando inseridos nos produtos do Gemini Code Assist podem ter um impacto significativo no desempenho. Se os usuários inserirem comandos imprecisos ou incorretos, o Gemini Code Assist poderá retornar respostas subótimas ou falsas.

  • Ampliação de viés. Os modelos de linguagem podem amplificar inadvertidamente os vieses nos dados de treinamento, levando a saídas que podem reforçar ainda mais os preconceitos sociais e o tratamento desigual de determinados grupos.

  • Qualidade do idioma. Embora o Gemini Code Assist produza recursos multilíngues impressionantes nos comparativos de mercado que avaliamos, a maioria dos nossos comparativos (incluindo todas as avaliações de imparcialidade) está em inglês americano.

    Os modelos de linguagem podem oferecer qualidade de serviço inconsistente para diferentes usuários. Por exemplo, a geração de texto pode não ser tão eficaz para alguns dialetos ou variedades de idiomas porque eles estão sub-representados nos dados de treinamento. O desempenho pode ser pior para idiomas diferentes do inglês ou variedades de língua inglesa com menos representação.

  • Benchmarks e subgrupos de imparcialidade. As análises de imparcialidade do Google Research dos modelos Gemini não fornecem uma visão completa dos vários riscos potenciais. Por exemplo, nos concentramos em vieses nos eixos de gênero, raça, etnia e religião, mas realizamos a análise apenas nos dados em inglês americano e nos resultados do modelo.

  • Especialização limitada no domínio. Os modelos do Gemini foram treinados na tecnologia do Google Cloud, mas podem não ter a profundidade de conhecimento necessária para fornecer respostas precisas e detalhadas sobre tópicos altamente especializados ou técnicos, o que resulta em informações superficiais ou incorretas.

Filtragem de segurança e toxicidade do Gemini

As solicitações e respostas do Gemini Code Assist são verificadas em uma lista abrangente de atributos de segurança, conforme aplicável a cada caso de uso. O objetivo desses atributos de segurança é filtrar conteúdo que viola nossa Política de uso aceitável. Se uma saída for considerada prejudicial, a resposta será bloqueada.

A seguir