Gemini Code Assist и ответственный ИИ

В этом документе описывается, как разрабатывается Gemini Code Assist с учетом возможностей, ограничений и рисков, связанных с генеративным ИИ.

Возможности и риски больших языковых моделей

Большие языковые модели (LLM) могут выполнять множество полезных задач, например следующие:

  • Перевести язык.
  • Обобщить текст.
  • Генерируйте код и творческое письмо.
  • Мощные чат-боты и виртуальные помощники.
  • Дополняйте поисковые системы и системы рекомендаций.

В то же время развивающиеся технические возможности LLM создают потенциал для неправильного применения, неправильного использования и непредвиденных или непредвиденных последствий.

LLM могут генерировать результаты, которые вы не ожидаете, включая текст, который является оскорбительным, бестактным или фактически неверным. Поскольку LLM невероятно универсальны, может быть трудно точно предсказать, какие именно непреднамеренные или непредвиденные результаты они могут принести.

Учитывая эти риски и сложности, Gemini Code Assist разработан с учетом принципов искусственного интеллекта Google . Однако пользователям важно понимать некоторые ограничения Gemini Code Assist, чтобы работать безопасно и ответственно.

Ограничения Gemini Code Assist

Некоторые из ограничений, с которыми вы можете столкнуться при использовании Gemini Code Assist, включают (но не ограничиваются) следующее:

  • Краевые случаи. Пограничные случаи относятся к необычным, редким или исключительным ситуациям, которые плохо представлены в обучающих данных. Эти случаи могут привести к ограничениям выходных данных моделей Gemini Code Assist, таким как чрезмерная уверенность модели, неверная интерпретация контекста или неправильные выходные данные.

  • Модельные галлюцинации, обоснование и реальность. Моделям Gemini Code Assist может не хватать обоснования и фактов в отношении реальных знаний, физических свойств или точного понимания. Это ограничение может привести к модельным галлюцинациям, когда Gemini Code Assist может генерировать результаты, звучащие правдоподобно, но на самом деле неверные, нерелевантные, неуместные или бессмысленные. Галлюцинации также могут включать в себя создание ссылок на несуществующие веб-страницы, которых никогда не существовало. Дополнительную информацию см. в разделе Создание более эффективных подсказок для Gemini для Google Cloud .

  • Качество данных и настройка. Качество, точность и предвзятость данных подсказок, вводимых в продукты Gemini Code Assist, могут оказать существенное влияние на их производительность. Если пользователи вводят неточные или неправильные запросы, Gemini Code Assist может возвращать неоптимальные или ложные ответы.

  • Усиление смещения. Языковые модели могут непреднамеренно усиливать существующие предвзятости в данных обучения, что приводит к результатам, которые могут еще больше усилить социальные предрассудки и неравное обращение с определенными группами.

  • Качество языка. Хотя Gemini Code Assist обеспечивает впечатляющие многоязычные возможности в тестах, по которым мы оценивали, большинство наших тестов (включая все оценки справедливости) проводятся на американском английском.

    Языковые модели могут обеспечивать неодинаковое качество обслуживания для разных пользователей. Например, генерация текста может быть не столь эффективной для некоторых диалектов или разновидностей языков, поскольку они недостаточно представлены в обучающих данных. Производительность может быть хуже для неанглийских языков или разновидностей английского языка с меньшим представительством.

  • Показатели справедливости и подгруппы. Анализ справедливости моделей Gemini, проведенный Google Research, не дает исчерпывающего описания различных потенциальных рисков. Например, мы фокусируемся на предвзятости по гендерным, расовым, этническим и религиозным осям, но проводим анализ только на данных американского английского языка и результатах модели.

  • Ограниченная экспертиза предметной области. Модели Gemini прошли обучение с использованием технологии Google Cloud, но им может не хватать глубины знаний, необходимой для предоставления точных и подробных ответов на узкоспециализированные или технические темы, что приводит к поверхностной или неверной информации.

Фильтрация безопасности и токсичности Gemini

Подсказки и ответы Gemini Code Assist проверяются по полному списку атрибутов безопасности, применимых для каждого варианта использования. Эти атрибуты безопасности направлены на фильтрацию контента, который нарушает нашу Политику допустимого использования . Если выход считается вредоносным, ответ будет заблокирован.

Что дальше