Gemini Code Assist y la IA responsable

En este documento, se describe cómo se diseñó Gemini Code Assist en función de las capacidades, las limitaciones y los riesgos asociados con la IA generativa.

Capacidades y riesgos de los modelos de lenguaje grandes

Los modelos grandes de lenguaje (LLM) pueden realizar muchas tareas útiles, como las siguientes:

  • Idioma de traducción.
  • Resumir texto
  • Generar código y escritura creativa
  • Potenciar chatbots y asistentes virtuales
  • Complementar los motores de búsqueda y los sistemas de recomendación

Al mismo tiempo, las capacidades técnicas en evolución de los LLM crean el potencial de aplicaciones incorrectas, usos inadecuados y consecuencias no deseadas o imprevistas.

Los LLM pueden generar resultados que no se esperan, incluido un texto que sea ofensivo, insensible o factualmente incorrecto. Debido a que los LLM son increíblemente versátiles, puede ser difícil predecir exactamente qué tipos de resultados no deseados o imprevistos podrían producir.

Debido a estos riesgos y complejidades, Gemini Code Assist se diseñó teniendo en cuenta los principios de la IA de Google. Sin embargo, es importante que los usuarios comprendan algunas de las limitaciones de Gemini Code Assist para trabajar de forma segura y responsable.

Limitaciones de Gemini Code Assist

Estas son algunas de las limitaciones que podrías encontrar cuando uses Gemini Code Assist:

  • Casos extremos. Los casos extremos se refieren a situaciones inusuales, excepcionales o excepcionales que no están bien representadas en los datos de entrenamiento. Estos casos pueden generar limitaciones en el resultado de los modelos de Gemini Code Assist, como un exceso de confianza del modelo, una interpretación errónea del contexto o resultados inapropiados.

  • Modela alucinaciones, fundamentación y facticidad. Es posible que los modelos de Gemini Code Assist no tengan bases ni facticidad en el conocimiento del mundo real, las propiedades físicas o la comprensión precisa. Esta limitación puede generar alucinaciones del modelo, en las que Gemini Code Assist podría generar resultados que suenan posibles, pero que son incorrectos, irrelevantes, inapropiados o no tienen sentido. Las alucinaciones también pueden incluir la fabricación de vínculos a páginas web que no existen y nunca existieron. Para obtener más información, consulta Escribe mejores instrucciones para Gemini para Google Cloud.

  • Calidad y ajuste de los datos. La calidad, precisión y sesgo de los datos de la instrucción que se ingresa en los productos de Gemini Code Assist pueden tener un impacto significativo en su rendimiento. Si los usuarios ingresan instrucciones incorrectas o inexactas, Gemini Code Assist podría mostrar respuestas falsas o poco óptimas.

  • Amplificación del sesgo: Los modelos de lenguaje pueden amplificar de forma involuntaria el sesgo existente en los datos de entrenamiento, lo que genera resultados que pueden reforzar aún más los prejuicios sociales y el tratamiento desigual de ciertos grupos.

  • Calidad del idioma. Si bien Gemini Code Assist produce capacidades impresionantes de multilingües en las comparativas con las que evaluamos, la mayoría de nuestras comparativas (incluidas todas las evaluaciones de equidad) están en inglés americano.

    Los modelos de lenguaje pueden proporcionar una calidad de servicio incoherente a diferentes usuarios. Por ejemplo, es posible que la generación de texto no sea tan eficaz para algunos dialectos o variedades de idioma porque están subrepresentados en los datos de entrenamiento. El rendimiento puede ser peor para los idiomas que no son inglés o los variedades de idioma inglés con menos representación.

  • Parámetros de referencia y subgrupos de equidad. Los análisis de equidad de Google Research de los modelos de Gemini no proporcionan una cuenta exhaustiva de los diversos riesgos potenciales. Por ejemplo, nos enfocamos en los sesgos de género, raza, etnia y religión, pero realizamos el análisis solo en los datos de inglés estadounidense y las salidas de modelos.

  • Experiencia limitada en el dominio. Los modelos de Gemini se entrenaron con la tecnología de Google Cloud, pero es posible que no tengan la profundidad de conocimiento necesaria para proporcionar respuestas precisas y detalladas sobre temas altamente especializados o técnicos, lo que genera información superficial o incorrecta.

Filtrado de seguridad y toxicidad de Gemini

Las instrucciones y respuestas de Gemini Code Assist se comparan con una lista exhaustiva de atributos de seguridad según corresponda para cada caso de uso. El objetivo de estos atributos de seguridad es filtrar el contenido que incumple nuestra Política de Uso Aceptable. Si un resultado se considera dañino, se bloqueará la respuesta.

¿Qué sigue?