Эта страница содержит термины глоссария генеративного искусственного интеллекта. Все термины глоссария можно найти здесь .
А
приспособление
Синоним настройки или точной настройки .
автоматическая оценка
Использование программного обеспечения для оценки качества выходных данных модели.
Если выходные данные модели относительно просты, скрипт или программа могут сравнить их с эталонным ответом . Этот тип автоматической оценки иногда называют программной оценкой . Такие метрики, как ROUGE или BLEU , часто полезны для программной оценки.
Если выходные данные модели сложны или не имеют единственно верного ответа , то автоматическую оценку иногда выполняет отдельная программа МО, называемая авторейтером .
Сравните с человеческой оценкой .
оценка автора
Гибридный механизм оценки качества результатов генеративной модели ИИ , сочетающий человеческую и автоматическую оценку . Авторейтер — это модель машинного обучения, обученная на данных, созданных в результате человеческой оценки . В идеале авторейтер учится имитировать действия человека-оценщика.Доступны готовые авторейтеры, но лучшие авторейтеры настроены специально под оцениваемую вами задачу.
авторегрессионная модель
Модель , которая делает прогноз на основе своих предыдущих прогнозов. Например, авторегрессивные языковые модели предсказывают следующий токен на основе ранее предсказанных токенов. Все большие языковые модели на основе Transformer являются авторегрессивными.
Напротив, модели изображений на основе GAN обычно не являются авторегрессионными, поскольку генерируют изображение за один прямой проход, а не итеративно, шаг за шагом. Однако некоторые модели генерации изображений являются авторегрессионными, поскольку генерируют изображение шаг за шагом.
Б
базовая модель
Предварительно обученная модель , которая может служить отправной точкой для точной настройки с целью решения конкретных задач или приложений.
См. также предварительно обученную модель и базовую модель .
С
подсказка цепочки мыслей
Методика построения подсказок , которая побуждает большую языковую модель (LLM) объяснять свои рассуждения шаг за шагом. Например, рассмотрим следующую подсказку, уделив особое внимание второму предложению:
Какую перегрузку испытает водитель автомобиля, разгоняющегося от 0 до 60 миль в час за 7 секунд? В ответе приведите все необходимые расчёты.
Вероятно, ответ LLM будет следующим:
- Покажите последовательность физических формул, подставив значения 0, 60 и 7 в соответствующие места.
- Объясните, почему были выбраны именно эти формулы и что означают различные переменные.
Подсказки в виде цепочки мыслей заставляют магистра права выполнить все вычисления, что может привести к более правильному ответу. Кроме того, подсказки в виде цепочки мыслей позволяют пользователю проанализировать шаги магистра права, чтобы определить, имеет ли ответ смысл.
чат
Содержание диалога с системой машинного обучения, обычно представляющей собой большую языковую модель . Предыдущее взаимодействие в чате (то, что вы набрали, и как отреагировала большая языковая модель) становится контекстом для последующих частей чата.
Чат-бот — это приложение большой языковой модели.
контекстуализированное встраивание языка
Эмбедирование , которое приближается к пониманию слов и фраз на уровне, доступном человеку, свободно владеющему речью. Контекстуализированные языковые эмбедирования способны понимать сложный синтаксис, семантику и контекст.
Например, рассмотрим вложения английского слова cow (корова ). Более старые вложения, такие как word2vec, могут представлять английские слова таким образом, что расстояние в пространстве вложений от cow (корова) до bull (бык) аналогично расстоянию от ewe (овца) до ram (овца) или от female ( женщина ) до male (мужчина) . Контекстуализированные языковые вложения могут пойти ещё дальше, распознавая, что носители английского языка иногда неформально используют слово cow (корова) в значении как cow (корова), так и bull (бык).
контекстное окно
Количество токенов, которые модель может обработать в заданном запросе . Чем больше контекстное окно, тем больше информации модель может использовать для предоставления последовательных и последовательных ответов на запрос.
Д
прямое подсказывание
Синоним термина «подсказка нулевого выстрела» .
дистилляция
Процесс преобразования одной модели (называемой « учителем» ) в модель меньшего размера (называемую « учеником» ), которая максимально точно воспроизводит предсказания исходной модели. Дистилляция полезна, поскольку модель меньшего размера имеет два ключевых преимущества перед моделью большего размера (учителем):
- Более быстрое время вывода
- Уменьшение потребления памяти и энергии
Однако прогнозы учеников обычно не так хороши, как прогнозы учителя.
Дистилляция обучает модель ученика минимизировать функцию потерь на основе разницы между результатами прогнозов моделей ученика и учителя.
Сравните и сопоставьте дистилляцию со следующими терминами:
Для получения дополнительной информации см . раздел LLM: Тонкая настройка, дистилляция и оперативное проектирование в ускоренном курсе по машинному обучению.
Э
оценки
В основном используется как сокращение для обозначения оценок LLM . В более широком смысле, evals — это сокращение для любой формы оценки .
оценка
Процесс измерения качества модели или сравнения различных моделей друг с другом.
Чтобы оценить модель машинного обучения с учителем , её обычно сравнивают с проверочным и тестовым наборами . Оценка степени магистра права (LLM) обычно включает более широкие оценки качества и безопасности.
Ф
фактичность
В мире машинного обучения это свойство, описывающее модель, выходные данные которой основаны на реальности. Фактичность — это скорее концепция, чем метрика. Например, предположим, что вы отправляете следующее сообщение большой языковой модели :
Какова химическая формула поваренной соли?
Модель, оптимизирующая фактичность, будет отвечать:
NaCl
Возникает соблазн предположить, что все модели должны основываться на фактах. Однако некоторые подсказки, например, следующие, должны заставить генеративную модель ИИ оптимизировать креативность , а не факты .
Расскажите мне лимерик про астронавта и гусеницу.
Маловероятно, что получившийся лимерик будет основан на реальности.
Контраст с заземленностью .
быстрый распад
Метод обучения для повышения эффективности LLM . Быстрое затухание подразумевает быстрое снижение скорости обучения во время обучения. Эта стратегия помогает предотвратить переобучение модели на тренировочных данных и улучшает обобщение .
подсказка с несколькими кадрами
Запрос , содержащий более одного (несколько) примеров, демонстрирующих, как должна реагировать большая языковая модель . Например, следующий длинный запрос содержит два примера, показывающих, как большая языковая модель должна отвечать на запрос.
| Части одного задания | Примечания |
|---|---|
| Какая официальная валюта указанной страны? | Вопрос, на который вы хотите получить ответ от магистра права. |
| Франция: евро | Один пример. |
| Великобритания: фунт стерлингов | Еще один пример. |
| Индия: | Фактический запрос. |
Подсказки с малым количеством повторений обычно дают более желаемые результаты, чем подсказки с нулевым количеством повторений или однократные подсказки . Однако подсказки с малым количеством повторений требуют более продолжительной подсказки.
Метод подсказок с небольшим количеством попыток представляет собой форму обучения с небольшим количеством попыток, применяемую к обучению на основе подсказок .
Для получения более подробной информации см. раздел «Инжиниринг по принципу промедления» в курсе «Ускоренный курс по машинному обучению».
тонкая настройка
Второй, специализированный тренировочный проход, выполняемый на предварительно обученной модели для уточнения её параметров для конкретного варианта использования. Например, полная последовательность обучения для некоторых больших языковых моделей выглядит следующим образом:
- Предварительное обучение: обучение большой языковой модели на обширном общем наборе данных, например, на всех страницах Википедии на английском языке.
- Тонкая настройка: обучение предварительно обученной модели выполнению конкретной задачи, например, ответа на медицинские запросы. Тонкая настройка обычно включает сотни или тысячи примеров, ориентированных на конкретную задачу.
В качестве другого примера полная последовательность обучения для большой модели изображения выглядит следующим образом:
- Предварительное обучение: обучение большой модели изображения на обширном общем наборе данных изображений, например, на всех изображениях в Wikimedia Commons.
- Тонкая настройка: обучение предварительно обученной модели выполнению определенной задачи, например, созданию изображений косаток.
Тонкая настройка может включать любую комбинацию следующих стратегий:
- Изменение всех существующих параметров предобученной модели. Иногда это называется полной тонкой настройкой .
- Изменение только некоторых существующих параметров предобученной модели (обычно это слои, наиболее близкие к выходному слою ), при этом остальные существующие параметры (обычно это слои, наиболее близкие к входному слою ) остаются неизменными. См. раздел «Настройка с эффективным использованием параметров» .
- Добавление дополнительных слоев, как правило, поверх существующих слоев, ближайших к выходному слою.
Тонкая настройка — это форма трансферного обучения . В результате тонкой настройки может использоваться другая функция потерь или другой тип модели, чем те, которые использовались для обучения предобученной модели. Например, можно настроить предобученную модель большого изображения, чтобы получить регрессионную модель, которая возвращает количество птиц на входном изображении.
Сравните и сопоставьте тонкую настройку со следующими терминами:
Более подробную информацию см. в разделе «Тонкая настройка в ускоренном курсе машинного обучения».
Флэш-модель
Семейство относительно небольших моделей Gemini , оптимизированных для скорости и низкой задержки . Модели Flash предназначены для широкого спектра приложений, где критически важны быстрый отклик и высокая пропускная способность.
модель фундамента
Очень большая предобученная модель, обученная на огромном и разнообразном обучающем наборе . Базовая модель может выполнять оба следующих действия:
- Хорошо реагируют на широкий спектр запросов.
- Служить базовой моделью для дополнительной тонкой настройки или других настроек.
Другими словами, базовая модель уже весьма функциональна в общем смысле, но ее можно дополнительно настроить, чтобы она стала еще более полезной для конкретной задачи.
доля успехов
Метрика для оценки сгенерированного текста модели машинного обучения. Доля успешных результатов — это количество «успешных» сгенерированных текстовых результатов, делённое на общее количество сгенерированных текстовых результатов. Например, если большая языковая модель сгенерировала 10 блоков кода, пять из которых были успешными, то доля успешных результатов составит 50%.
Хотя доля успеха широко используется в статистике, в машинном обучении эта метрика в первую очередь полезна для измерения проверяемых задач, таких как генерация кода или решение математических задач.
Г
Близнецы
Экосистема, включающая в себя самый передовой ИИ от Google. Элементы этой экосистемы включают:
- Различные модели Gemini .
- Интерактивный диалоговый интерфейс для модели Gemini. Пользователи вводят запросы, а Gemini отвечает на них.
- Различные API Gemini.
- Различные бизнес-продукты на основе моделей Gemini; например, Gemini для Google Cloud .
Модели Близнецов
Современные многомодальные модели Google на базе Transformer . Модели Gemini специально разработаны для интеграции с агентами .
Пользователи могут взаимодействовать с моделями Gemini различными способами, в том числе через интерактивный диалоговый интерфейс и через SDK.
Джемма
Семейство лёгких открытых моделей, созданных на основе тех же исследований и технологий, что и модели Gemini . Доступно несколько различных моделей Gemma, каждая из которых обладает различными функциями, такими как машинное зрение, кодирование и отслеживание инструкций. Подробнее см. в Gemma .
GenAI или genAI
Аббревиатура для генеративного ИИ .
сгенерированный текст
В общем случае, это текст, который выдаёт модель машинного обучения. При оценке больших языковых моделей некоторые метрики сравнивают сгенерированный текст с эталонным . Например, предположим, что вы пытаетесь определить, насколько эффективно модель машинного обучения переводит с французского на голландский. В этом случае:
- Сгенерированный текст представляет собой перевод на голландский язык, который выводит модель машинного обучения.
- Справочный текст — это перевод на голландский язык, созданный переводчиком-человеком (или программой).
Обратите внимание, что некоторые стратегии оценки не предполагают использования справочного текста.
генеративный ИИ
Новая преобразующая область, не имеющая формального определения. При этом большинство экспертов сходятся во мнении, что генеративные модели ИИ могут создавать («генерировать») контент, отвечающий всем следующим требованиям:
- сложный
- последовательный
- оригинал
Примеры генеративного ИИ включают в себя:
- Большие языковые модели , которые могут генерировать сложный оригинальный текст и отвечать на вопросы.
- Модель генерации изображений, которая может создавать уникальные изображения.
- Модели генерации аудио и музыки, которые могут сочинять оригинальную музыку или генерировать реалистичную речь.
- Модели генерации видео, которые могут генерировать оригинальные видеоролики.
Некоторые более ранние технологии, включая LSTM и RNN , также способны генерировать оригинальный и связный контент. Некоторые эксперты рассматривают эти более ранние технологии как генеративный ИИ, в то время как другие считают, что настоящий генеративный ИИ требует более сложных результатов, чем те, которые могли создавать более ранние технологии.
Сравните с предиктивным МО .
золотой ответ
Заведомо хороший ответ . Например, если задана следующая подсказка :
2 + 2
Надеемся, золотой ответ будет таким:
4
ЧАС
человеческая оценка
Процесс, в котором люди оценивают качество выходных данных модели машинного обучения; например, когда двуязычные люди оценивают качество модели машинного обучения. Оценка, проводимая человеком, особенно полезна для оценки моделей, не имеющих единственно верного ответа .
Сравните с автоматической оценкой и оценкой автора .
человек в петле (HITL)
Нестрогое выражение, которое может означать одно из следующего:
- Политика критического или скептического отношения к результатам генеративного ИИ .
- Стратегия или система, обеспечивающая участие людей в формировании, оценке и совершенствовании поведения модели. Участие человека в управлении позволяет ИИ использовать преимущества как машинного, так и человеческого интеллекта. Например, система, в которой ИИ генерирует код, который затем проверяют инженеры-программисты, называется системой с участием человека.
я
контекстное обучение
Синоним термина «побуждение несколькими кадрами» .
вывод
В традиционном машинном обучении — это процесс построения прогнозов путём применения обученной модели к немаркированным примерам . Подробнее см. в разделе «Обучение с учителем » во введении в машинное обучение.
В больших языковых моделях вывод — это процесс использования обученной модели для генерации ответа на входную подсказку .
В статистике термин «вывод» имеет несколько иное значение. Подробнее см. статью в Википедии о статистическом выводе .
настройка инструкций
Форма тонкой настройки , которая улучшает способность генеративной модели ИИ следовать инструкциям. Настройка инструкций подразумевает обучение модели на серии подсказок, обычно охватывающих широкий спектр задач. Полученная модель, настроенная на инструкции, затем, как правило, генерирует полезные ответы на подсказки с нулевым результатом в различных задачах.
Сравните и сопоставьте с:
Л
задержка
Время, необходимое модели для обработки входных данных и генерации ответа. Генерация ответа с большой задержкой занимает больше времени, чем ответа с малой задержкой.
Факторы, влияющие на задержку больших языковых моделей, включают:
- Длина входных и выходных [ токенов ]
- Сложность модели
- Инфраструктура, на которой работает модель
Оптимизация задержки имеет решающее значение для создания отзывчивых и удобных для пользователя приложений.
магистр права
Сокращение для большой языковой модели .
Оценки LLM (evals)
Набор метрик и контрольных показателей для оценки эффективности больших языковых моделей (LLM). На высоком уровне оценки LLM:
- Помогите исследователям определить области, в которых необходимо улучшить работу LLM.
- Полезны для сравнения различных программ LLM и определения лучшей программы LLM для конкретной задачи.
- Помогите обеспечить безопасность и этичность использования программ LLM.
Для получения дополнительной информации см. Большие языковые модели (LLM) в Ускоренном курсе по машинному обучению.
ЛоРА
Аббревиатура для низкоранговой адаптивности .
Низкоранговая адаптивность (LoRA)
Параметрически эффективный метод тонкой настройки , который «замораживает» предварительно обученные веса модели (таким образом, что их больше нельзя изменить), а затем добавляет в модель небольшой набор обучаемых весов. Этот набор обучаемых весов (также известный как «матрицы обновления») значительно меньше базовой модели и, следовательно, обучается гораздо быстрее.
LoRA обеспечивает следующие преимущества:
- Улучшает качество прогнозов модели для области, к которой применяется тонкая настройка.
- Более быстрая настройка по сравнению с методами, требующими точной настройки всех параметров модели.
- Снижает вычислительные затраты на вывод , обеспечивая одновременное обслуживание нескольких специализированных моделей, использующих одну и ту же базовую модель.
М
машинный перевод
Использование программного обеспечения (обычно модели машинного обучения) для преобразования текста с одного человеческого языка на другой человеческий язык, например, с английского на японский.
средняя точность при k (mAP@k)
Статистическое среднее значение всех средних значений точности при k в наборе данных проверки. Одним из применений средней точности при k является оценка качества рекомендаций, генерируемых рекомендательной системой .
Хотя словосочетание «среднее среднее» звучит избыточно, название метрики вполне уместно. Ведь эта метрика вычисляет среднее значение точности множественных средних при k значениях.
смесь экспертов
Схема повышения эффективности нейронной сети за счёт использования только подмножества её параметров (известного как эксперт ) для обработки заданного входного токена или примера . Сеть с вентилями направляет каждый входной токен или пример соответствующему эксперту (экспертам).
Подробную информацию можно найти в следующих статьях:
- Невероятно большие нейронные сети: слой редкого смешения экспертов
- Смесь экспертов с маршрутизацией на основе экспертного выбора
ММИТ
Аббревиатура для многомодальных инструкций, настроенных на .
каскадирование моделей
Система, которая выбирает идеальную модель для конкретного запроса вывода.
Представьте себе группу моделей, от очень больших (с большим количеством параметров ) до гораздо меньших (с гораздо меньшим количеством параметров). Очень большие модели потребляют больше вычислительных ресурсов во время вывода , чем модели меньшего размера. Однако очень большие модели, как правило, могут выводить более сложные запросы, чем модели меньшего размера. Каскадирование моделей определяет сложность запроса вывода, а затем выбирает подходящую модель для выполнения вывода. Основная цель каскадирования моделей — снижение затрат на вывод за счёт общего выбора моделей меньшего размера и выбора модели большего размера только для более сложных запросов.
Представьте, что небольшая модель работает на телефоне, а её более крупная версия — на удалённом сервере. Грамотное каскадирование моделей снижает затраты и задержки , позволяя небольшой модели обрабатывать простые запросы, а удалённой модели — только сложные.
См. также модель маршрутизатора .
модель маршрутизатора
Алгоритм, определяющий идеальную модель для вывода при каскадировании моделей . Маршрутизатор моделей обычно представляет собой модель машинного обучения, которая постепенно обучается выбирать наилучшую модель для заданных входных данных. Однако иногда маршрутизатор моделей может представлять собой более простой алгоритм, не основанный на машинном обучении.
МО
Сокращение для обозначения смеси экспертов .
МТ
Аббревиатура для машинного перевода .
Н
Нано
Относительно небольшая модель Gemini , предназначенная для использования на устройстве. Подробнее см. Gemini Nano .
нет правильного ответа (НОРА)
Подсказка , предполагающая несколько правильных ответов . Например, следующая подсказка не имеет единственного правильного ответа:
Расскажите мне смешную шутку про слонов.
Оценка ответов на задания, не предполагающие ни одного правильного ответа, обычно гораздо более субъективна, чем оценка заданий с одним правильным ответом . Например, для оценки шутки про слона требуется систематический подход к определению её смешности.
НОРА
Аббревиатура для варианта «нет правильного ответа» .
Ноутбук LM
Инструмент на базе Gemini, позволяющий пользователям загружать документы, а затем с помощью подсказок задавать вопросы по ним, делать их краткое изложение или организовывать их. Например, автор может загрузить несколько рассказов и попросить Notebook LM найти их общие темы или определить, какой из них лучше всего подойдёт для фильма.
О
один правильный ответ (ORA)
Подсказка , предполагающая единственный правильный ответ . Например, рассмотрим следующую подсказку:
Правда или ложь: Сатурн больше Марса.
Единственный правильный ответ — правда .
Сравните с отсутствием единственно верного ответа .
одноразовое подсказывание
Подсказка , содержащая один пример, демонстрирующий, как должна реагировать большая языковая модель . Например, следующая подсказка содержит один пример, демонстрирующий, как большая языковая модель должна отвечать на запрос.
| Части одного задания | Примечания |
|---|---|
| Какая официальная валюта указанной страны? | Вопрос, на который вы хотите получить ответ от магистра права. |
| Франция: евро | Один пример. |
| Индия: | Фактический запрос. |
Сравните и сопоставьте одноразовые подсказки со следующими терминами:
ОРА
Сокращение для одного правильного ответа .
П
параметрически эффективная настройка
Набор методов для более эффективной настройки большой предобученной языковой модели (PLM), чем полная тонкая настройка . Параметрически эффективная настройка обычно предполагает настройку гораздо меньшего количества параметров , чем полная тонкая настройка, но при этом, как правило, создаёт большую языковую модель , которая работает так же хорошо (или почти так же хорошо), как и большая языковая модель, созданная с помощью полной тонкой настройки.
Сравните и сопоставьте параметрически эффективную настройку с:
Параметрически-эффективная настройка также известна как параметрически-эффективная тонкая настройка .
Пакс
Программная платформа, предназначенная для обучения крупномасштабных моделей нейронных сетей, настолько больших, что они охватывают несколько фрагментов или модулей чипа ускорителя TPU .
Pax построен на Flax , который построен на JAX .
ПЛМ
Сокращение для предварительно обученной языковой модели .
пост-обученная модель
Нестрогое определение термина, который обычно относится к предварительно обученной модели , прошедшей некоторую постобработку, например, одну или несколько из следующих:
предварительно обученная модель
Хотя этот термин может относиться к любой обученной модели или обученному вектору внедрения , в настоящее время под предварительно обученной моделью обычно понимают обученную большую языковую модель или другую форму обученной генеративной модели ИИ .
См. также базовую модель и модель фундамента .
предварительная подготовка
Первоначальное обучение модели на большом наборе данных . Некоторые предобученные модели — неповоротливые гиганты, и их обычно требуется дообучение. Например, специалисты по машинному обучению могут предварительно обучить большую языковую модель на обширном наборе текстовых данных, например, на всех англоязычных страницах Википедии. После предобучения полученную модель можно дополнительно доработать с помощью любого из следующих методов:
- дистилляция
- тонкая настройка
- настройка инструкций
- параметрически эффективная настройка
- быстрая настройка
Про
Модель Gemini с меньшим количеством параметров , чем у Ultra , но большим, чем у Nano . Подробности см. в Gemini Pro .
быстрый
Любой текст, вводимый в качестве входных данных для большой языковой модели , чтобы обусловить её определённое поведение. Подсказки могут быть короткими, как фраза, или произвольной длины (например, полный текст романа). Подсказки делятся на несколько категорий, включая те, что представлены в следующей таблице:
| Категория запроса | Пример | Примечания |
|---|---|---|
| Вопрос | Какую скорость может развить голубь? | |
| Инструкция | Напишите смешное стихотворение об арбитраже. | Запрос, который просит большую языковую модель сделать что-то. |
| Пример | Переведите код Markdown в HTML. Например: Markdown: * элемент списка HTML: <ul> <li>элемент списка</li> </ul> | Первое предложение в этом примере приглашения представляет собой инструкцию. Оставшаяся часть приглашения является примером. |
| Роль | Объясните, почему градиентный спуск используется при обучении машинному обучению для доктора философии по физике. | Первая часть предложения представляет собой инструкцию; фраза «до степени доктора физики» является ролевой частью. |
| Частичный ввод для завершения модели | Премьер-министр Соединенного Королевства живет в | Подсказка частичного ввода может либо внезапно закончиться (как в этом примере), либо закончиться подчеркиванием. |
Генеративная модель ИИ может отвечать на запрос текстом, кодом, изображениями, встраиваниями , видео… почти чем угодно.
быстрое обучение
Способность определенных моделей , позволяющая им адаптировать свое поведение в ответ на произвольный ввод текста ( подсказки ). В типичной парадигме обучения на основе подсказок большая языковая модель реагирует на подсказку, генерируя текст. Например, предположим, что пользователь вводит следующую подсказку:
Кратко изложите третий закон движения Ньютона.
Модель, способная к обучению на основе подсказок, специально не обучена отвечать на предыдущую подсказку. Скорее, модель «знает» много фактов о физике, много об общих правилах языка и многое о том, что представляет собой вообще полезные ответы. Этих знаний достаточно, чтобы дать (надеюсь) полезный ответ. Дополнительная обратная связь от человека («Этот ответ был слишком сложным» или «Какая реакция?») позволяет некоторым системам обучения на основе подсказок постепенно повышать полезность своих ответов.
быстрый дизайн
Синоним оперативного проектирования .
оперативное проектирование
Искусство создания подсказок , вызывающих желаемые ответы из большой языковой модели . Люди выполняют быстрые инженерные работы. Написание хорошо структурированных подсказок является важной частью обеспечения полезных ответов от большой языковой модели. Оперативное проектирование зависит от многих факторов, в том числе:
- Набор данных, используемый для предварительного обучения и, возможно, точной настройки большой языковой модели.
- Температура и другие параметры декодирования, которые модель использует для генерации ответов.
Оперативное проектирование – это синоним оперативного проектирования.
Дополнительные сведения о написании полезных подсказок см. в разделе «Введение в дизайн подсказок» .
набор подсказок
Группа подсказок для оценки большой языковой модели . Например, на следующем рисунке показан набор подсказок, состоящий из трех подсказок:
Хорошие наборы подсказок состоят из достаточно «широкого» набора подсказок, позволяющего тщательно оценить безопасность и полезность большой языковой модели.
См. также набор ответов .
оперативная настройка
Эффективный механизм настройки параметров , который запоминает «префикс», который система добавляет к фактическому приглашению .
Один из вариантов быстрой настройки, иногда называемый настройкой префикса , заключается в добавлении префикса на каждом уровне . Напротив, в большинстве случаев быстрая настройка добавляет только префикс к входному слою .
Р
справочный текст
Ответ эксперта на подсказку . Например, учитывая следующую подсказку:
Перевести вопрос «Как тебя зовут?» с английского на французский.
Ответ эксперта может быть таким:
Комментарий vous appelez-vous?
Различные метрики (например, ROUGE ) измеряют степень соответствия справочного текста тексту, сгенерированному моделью ML.
Обучение с подкреплением на основе обратной связи с человеком (RLHF)
Использование отзывов оценщиков для улучшения качества ответов модели. Например, механизм RLHF может попросить пользователей оценить качество ответа модели с помощью смайликов 👍 или 👎. Затем система может скорректировать свои будущие ответы на основе этой обратной связи.
ответ
Текст, изображения, аудио или видео, которые выводит генеративная модель искусственного интеллекта . Другими словами, подсказка — это входные данные для генеративной модели ИИ, а ответ — это выходные данные .
набор ответов
Коллекция ответов , которую большая языковая модель возвращает в набор входных подсказок .
подсказка роли
Подсказка , обычно начинающаяся с местоимения you , которая сообщает генеративной модели ИИ притвориться определенным человеком или определенной ролью при генерации ответа . Ролевые подсказки могут помочь генеративной модели ИИ сформировать правильное «мышление», чтобы генерировать более полезный ответ. Например, в зависимости от типа ответа, который вы ищете, может подойти любая из следующих ролевых подсказок:
У вас есть докторская степень в области компьютерных наук.
Вы инженер-программист, которому нравится терпеливо объяснять Python новым студентам-программистам.
Вы — герой боевиков с особым набором навыков программирования. Уверьте меня, что вы найдете определенный элемент в списке Python.
С
мягкая быстрая настройка
Техника настройки большой языковой модели для конкретной задачи без ресурсоемкой тонкой настройки . Вместо повторного обучения всех весов в модели мягкая настройка подсказки автоматически корректирует подсказку для достижения той же цели.
Учитывая текстовое приглашение, программная настройка приглашения обычно добавляет к приглашению дополнительные вставки токенов и использует обратное распространение ошибки для оптимизации ввода.
«Жесткое» приглашение содержит фактические токены вместо встраивания токенов.
Т
температура
Гиперпараметр , который контролирует степень случайности выходных данных модели. Более высокие температуры приводят к более случайному выходному сигналу, тогда как более низкие температуры приводят к менее случайному выходному сигналу.
Выбор оптимальной температуры зависит от конкретного применения и значений строк.
У
Ультра
Модель Gemini с наибольшим количеством параметров . Подробную информацию см. в Gemini Ultra .
В
Вершина
Платформа Google Cloud для искусственного интеллекта и машинного обучения. Vertex предоставляет инструменты и инфраструктуру для создания, развертывания и управления приложениями искусственного интеллекта, включая доступ к моделям Gemini .З
подсказка с нулевым выстрелом
Приглашение , не содержащее примера того, как должна реагировать большая языковая модель . Например:
| Части одной подсказки | Примечания |
|---|---|
| Какая официальная валюта указанной страны? | Вопрос, на который вы хотите получить ответ от LLM. |
| Индия: | Фактический запрос. |
Модель большого языка может ответить любым из следующих действий:
- Рупия
- МНО
- ₹
- индийская рупия
- рупия
- Индийская рупия
Все ответы верны, хотя вы можете предпочесть определенный формат.
Сравните и сопоставьте подсказки «нулевого выстрела» со следующими терминами: