На этой странице содержится глоссарий терминов генеративного искусственного интеллекта. Чтобы просмотреть все термины глоссария, нажмите здесь .
А
авторегрессионная модель
Модель , которая делает прогноз на основе собственных предыдущих прогнозов. Например, авторегрессионные языковые модели прогнозируют следующий токен на основе ранее предсказанных токенов. Все модели большого языка на основе Transformer являются авторегрессионными.
Напротив, модели изображений на основе GAN обычно не являются авторегрессионными, поскольку они генерируют изображение за один прямой проход, а не поэтапно итеративно. Однако некоторые модели генерации изображений являются авторегрессионными, поскольку они генерируют изображение поэтапно.
С
подсказка по цепочке мыслей
Метод быстрого проектирования , который побуждает большую языковую модель (LLM) шаг за шагом объяснять свои рассуждения. Например, рассмотрите следующую подсказку, уделив особое внимание второму предложению:
Какую силу перегрузки испытает водитель автомобиля, разгоняющегося от 0 до 60 миль в час за 7 секунд? В ответе покажите все соответствующие расчеты.
Ответ LLM, скорее всего, будет следующим:
- Покажите последовательность физических формул, вставляя значения 0, 60 и 7 в соответствующие места.
- Объясните, почему он выбрал именно эти формулы и что означают различные переменные.
Подсказки по цепочке мыслей заставляют LLM выполнять все вычисления, которые могут привести к более правильному ответу. Кроме того, подсказки по цепочке мыслей позволяют пользователю изучить шаги LLM, чтобы определить, имеет ли ответ смысл.
чат
Содержимое двустороннего диалога с системой машинного обучения, обычно это большая языковая модель . Предыдущее взаимодействие в чате (то, что вы набрали и как отреагировала большая языковая модель) становится контекстом для последующих частей чата.
Чат-бот — это приложение большой языковой модели.
контекстуализированное языковое встраивание
Встраивание , близкое к «пониманию» слов и фраз так, как это могут делать носители языка. Контекстуализированные языковые внедрения могут понимать сложный синтаксис, семантику и контекст.
Например, рассмотрим встраивание английского слова «cow» . Старые вложения, такие как word2vec, могут представлять английские слова таким образом, что расстояние в пространстве встраивания от коровы до быка аналогично расстоянию от овцы (овцы-самки) до барана (овцы-самцы) или от самки до самца . Контекстуализированные языковые встраивания могут пойти еще дальше, признав, что носители английского языка иногда случайно используют слово «корова» для обозначения либо коровы, либо быка.
контекстное окно
Количество токенов, которые модель может обработать в заданном приглашении . Чем больше контекстное окно, тем больше информации модель может использовать для предоставления последовательных и последовательных ответов на запрос.
Д
прямое побуждение
Синоним подсказки с нулевым выстрелом .
дистилляция
Процесс уменьшения размера одной модели (известной как учитель ) до модели меньшего размера (известной как ученик ), которая максимально точно имитирует предсказания исходной модели. Дистилляция полезна, потому что меньшая модель имеет два ключевых преимущества перед более крупной моделью (учителем):
- Более быстрое время вывода
- Уменьшение потребления памяти и энергии.
Однако прогнозы ученика обычно не так хороши, как прогнозы учителя.
Дистилляция обучает модель ученика минимизировать функцию потерь на основе разницы между результатами прогнозов моделей ученика и учителя.
Сравните и сопоставьте дистилляцию со следующими терминами:
Ф
подсказка из нескольких кадров
Приглашение , содержащее более одного («несколько») примеров, демонстрирующих, как должна реагировать большая языковая модель . Например, следующая длинная подсказка содержит два примера, показывающие большую языковую модель, как отвечать на запрос.
| Части одной подсказки | Примечания |
|---|---|
| Какая официальная валюта указанной страны? | Вопрос, на который вы хотите получить ответ от LLM. |
| Франция: евро | Один пример. |
| Великобритания: фунт стерлингов. | Другой пример. |
| Индия: | Фактический запрос. |
Подсказки с небольшим количеством шагов обычно дают более желательные результаты, чем подсказки с нулевым шагом и одноразовые подсказки . Однако подсказка с несколькими выстрелами требует более длинной подсказки.
Подсказки в несколько этапов — это форма обучения в несколько этапов, применяемая к обучению на основе подсказок .
тонкая настройка
Второй проход обучения для конкретной задачи, выполняемый на предварительно обученной модели для уточнения ее параметров для конкретного варианта использования. Например, полная последовательность обучения для некоторых больших языковых моделей выглядит следующим образом:
- Предварительное обучение: обучите большую языковую модель на обширном общем наборе данных, например на всех англоязычных страницах Википедии.
- Точная настройка: обучение предварительно обученной модели выполнению конкретной задачи, например ответа на медицинские запросы. Точная настройка обычно включает сотни или тысячи примеров, ориентированных на конкретную задачу.
В качестве другого примера полная последовательность обучения для модели большого изображения выглядит следующим образом:
- Предварительное обучение: обучите большую модель изображения на обширном общем наборе данных изображений, например на всех изображениях в Wikimedia Commons.
- Точная настройка: обучение предварительно обученной модели выполнению конкретной задачи, например генерации изображений косаток.
Точная настройка может включать любую комбинацию следующих стратегий:
- Изменение всех существующих параметров предварительно обученной модели. Иногда это называют полной тонкой настройкой .
- Изменение только некоторых существующих параметров предварительно обученной модели (обычно слоев, ближайших к выходному слою ), сохраняя при этом другие существующие параметры неизменными (обычно слои, ближайшие к входному слою ). См. настройку с эффективным использованием параметров .
- Добавление дополнительных слоев, обычно поверх существующих слоев, ближайших к выходному слою.
Точная настройка — это форма трансферного обучения . Таким образом, при точной настройке может использоваться другая функция потерь или другой тип модели, чем те, которые используются для обучения предварительно обученной модели. Например, вы можете точно настроить предварительно обученную модель большого изображения для создания регрессионной модели, возвращающей количество птиц во входном изображении.
Сравните и сопоставьте тонкую настройку со следующими терминами:
г
генеративный ИИ
Возникающее преобразующее поле без формального определения. Тем не менее, большинство экспертов сходятся во мнении, что генеративные модели ИИ могут создавать («генерировать») контент, который имеет все следующие характеристики:
- сложный
- последовательный
- оригинальный
Например, генеративная модель ИИ может создавать сложные эссе или изображения.
Некоторые более ранние технологии, включая LSTM и RNN , также могут генерировать оригинальный и связный контент. Некоторые эксперты рассматривают эти более ранние технологии как генеративный ИИ, в то время как другие считают, что настоящий генеративный ИИ требует более сложных результатов, чем те, которые могут произвести более ранние технологии.
Сравните с прогнозным ML .
я
обучение в контексте
Синоним « подсказки с несколькими выстрелами» .
инструкция по настройке
Форма тонкой настройки , которая улучшает способность генеративной модели ИИ следовать инструкциям. Настройка инструкций включает в себя обучение модели с помощью серии инструкций, обычно охватывающих широкий спектр задач. Полученная в результате модель, настроенная на инструкции, затем имеет тенденцию генерировать полезные ответы на подсказки с нулевым результатом для различных задач.
Сравните и противопоставьте:
л
ЛоРА
Аббревиатура для адаптивности низкого ранга .
Адаптивность низкого ранга (LoRA)
Алгоритм эффективной настройки параметров , который позволяет точно настроить только подмножество параметров большой языковой модели . LoRA предоставляет следующие преимущества:
- Точная настройка выполняется быстрее, чем методы, требующие точной настройки всех параметров модели.
- Уменьшает вычислительные затраты на вывод в точно настроенной модели.
Модель, настроенная с помощью LoRA, сохраняет или улучшает качество своих прогнозов.
LoRA позволяет использовать несколько специализированных версий модели.
М
каскадирование моделей
Система, которая выбирает идеальную модель для конкретного запроса вывода.
Представьте себе группу моделей, от очень больших (много параметров ) до гораздо меньших (гораздо меньше параметров). Очень большие модели потребляют больше вычислительных ресурсов во время вывода , чем модели меньшего размера. Однако очень большие модели обычно могут выводить более сложные запросы, чем модели меньшего размера. Каскадирование моделей определяет сложность запроса на вывод, а затем выбирает подходящую модель для выполнения вывода. Основной мотивацией каскадирования моделей является снижение затрат на логические выводы за счет выбора моделей меньшего размера и выбора более крупной модели только для более сложных запросов.
Представьте, что небольшая модель работает на телефоне, а более крупная версия этой модели работает на удаленном сервере. Хорошее каскадирование моделей снижает затраты и задержки, позволяя меньшей модели обрабатывать простые запросы и вызывая удаленную модель только для обработки сложных запросов.
См. также модель маршрутизатора .
модель маршрутизатора
Алгоритм, определяющий идеальную модель для вывода при каскадировании моделей . Модель маршрутизатора сама по себе обычно представляет собой модель машинного обучения, которая постепенно учится выбирать лучшую модель для данного входного сигнала. Однако модель маршрутизатора иногда может представлять собой более простой алгоритм, не требующий машинного обучения.
О
одноразовая подсказка
Приглашение , содержащее один пример, демонстрирующий, как должна реагировать большая языковая модель . Например, следующая подсказка содержит один пример, показывающий, как большая языковая модель должна отвечать на запрос.
| Части одной подсказки | Примечания |
|---|---|
| Какая официальная валюта указанной страны? | Вопрос, на который вы хотите получить ответ от LLM. |
| Франция: евро | Один пример. |
| Индия: | Фактический запрос. |
Сравните и сопоставьте одноразовые подсказки со следующими терминами:
п
настройка с эффективным использованием параметров
Набор методов для более эффективной тонкой настройки большой предварительно обученной языковой модели (PLM), чем полная точная настройка . При настройке с эффективным использованием параметров обычно выполняется гораздо меньше параметров, чем при полной точной настройке, но, как правило, создается большая языковая модель , которая работает так же хорошо (или почти так же хорошо), как и большая языковая модель, построенная на основе полной точной настройки.
Сравните и сопоставьте эффективную настройку параметров с:
Настройка с эффективным использованием параметров также известна как точная настройка с эффективным использованием параметров .
ПЛМ
Аббревиатура предварительно обученной языковой модели .
предварительно обученная модель
Модели или компоненты модели (например, вектор внедрения ), которые уже прошли обучение. Иногда вы вводите в нейронную сеть предварительно обученные векторы внедрения. В других случаях ваша модель будет обучать сами векторы внедрения, а не полагаться на предварительно обученные вектора внедрения.
Термин «предварительно обученная языковая модель» относится к большой языковой модели , прошедшей предварительное обучение .
предварительная подготовка
Начальное обучение модели на большом наборе данных. Некоторые предварительно обученные модели являются неуклюжими гигантами и обычно требуют доработки посредством дополнительного обучения. Например, эксперты по машинному обучению могут предварительно обучить большую языковую модель на обширном наборе текстовых данных, например на всех английских страницах в Википедии. После предварительного обучения полученная модель может быть дополнительно уточнена с помощью любого из следующих методов:
- дистилляция
- тонкая настройка
- инструкция по настройке
- настройка с эффективным использованием параметров
- оперативная настройка
быстрый
Любой текст, введенный в качестве входных данных в большую языковую модель , чтобы заставить модель вести себя определенным образом. Подсказки могут быть короткими, как фраза, или произвольной длины (например, весь текст романа). Подсказки делятся на несколько категорий, включая те, которые показаны в следующей таблице:
| Категория подсказки | Пример | Примечания |
|---|---|---|
| Вопрос | Как быстро может летать голубь? | |
| Инструкция | Напишите забавное стихотворение об арбитраже. | Подсказка, которая просит большую языковую модель что-то сделать . |
| Пример | Переведите код Markdown в HTML. Например: Уценка: * элемент списка HTML: <ul> <li>элемент списка</li> </ul> | Первое предложение в этом примере приглашения представляет собой инструкцию. Оставшаяся часть приглашения является примером. |
| Роль | Объясните, почему градиентный спуск используется в обучении машинному обучению для доктора философии по физике. | Первая часть предложения представляет собой инструкцию; фраза «до степени доктора физики» является ролевой частью. |
| Частичный ввод для завершения модели | Премьер-министр Соединенного Королевства живет в | Подсказка частичного ввода может либо внезапно закончиться (как в этом примере), либо закончиться подчеркиванием. |
Генеративная модель ИИ может отвечать на запрос текстом, кодом, изображениями, встраиваниями , видео… почти чем угодно.
быстрое обучение
Способность определенных моделей , позволяющая им адаптировать свое поведение в ответ на произвольный ввод текста ( подсказки ). В типичной парадигме обучения на основе подсказок большая языковая модель реагирует на подсказку, генерируя текст. Например, предположим, что пользователь вводит следующую подсказку:
Кратко изложите третий закон движения Ньютона.
Модель, способная к обучению на основе подсказок, специально не обучена отвечать на предыдущую подсказку. Скорее, модель «знает» множество фактов о физике, много об общих правилах языка и многое о том, что представляет собой вообще полезные ответы. Этих знаний достаточно, чтобы дать (надеюсь) полезный ответ. Дополнительная обратная связь от человека («Этот ответ был слишком сложным» или «Какая реакция?») позволяет некоторым системам обучения на основе подсказок постепенно повышать полезность своих ответов.
быстрый дизайн
Синоним оперативного проектирования .
оперативное проектирование
Искусство создания подсказок , вызывающих желаемые ответы из большой языковой модели . Люди выполняют быстрые инженерные работы. Написание хорошо структурированных подсказок является важной частью обеспечения полезных ответов от большой языковой модели. Оперативное проектирование зависит от многих факторов, в том числе:
- Набор данных, используемый для предварительного обучения и, возможно, точной настройки большой языковой модели.
- Температура и другие параметры декодирования, которые модель использует для генерации ответов.
Дополнительные сведения о написании полезных подсказок см. в разделе «Введение в дизайн подсказок» .
Оперативное проектирование – это синоним оперативного проектирования.
оперативная настройка
Эффективный механизм настройки параметров , который запоминает «префикс», который система добавляет к фактическому приглашению .
Один из вариантов быстрой настройки, иногда называемый настройкой префикса , заключается в добавлении префикса на каждом уровне . Напротив, в большинстве случаев быстрая настройка добавляет только префикс к входному слою .
р
Обучение с подкреплением на основе обратной связи с человеком (RLHF)
Использование отзывов оценщиков для улучшения качества ответов модели. Например, механизм RLHF может попросить пользователей оценить качество ответа модели с помощью смайликов 👍 или 👎. Затем система может скорректировать свои будущие ответы на основе этой обратной связи.
подсказка роли
Необязательная часть запроса , определяющая целевую аудиторию для ответа генеративной модели ИИ . Без ролевой подсказки большая языковая модель дает ответ, который может оказаться полезным, а может и не оказаться полезным для человека, задающего вопросы. Благодаря подсказке о роли большая языковая модель может ответить более подходящим и более полезным для конкретной целевой аудитории способом. Например, часть подсказки о роли в следующих подсказках выделена жирным шрифтом:
- Кратко изложите эту статью для доктора экономических наук .
- Опишите, как приливы действуют на десятилетнего ребенка .
- Объясните финансовый кризис 2008 года. Разговаривайте так, как если бы вы разговаривали с маленьким ребенком или золотистым ретривером.
С
мягкая быстрая настройка
Техника настройки большой языковой модели для конкретной задачи без ресурсоемкой тонкой настройки . Вместо повторного обучения всех весов в модели мягкая настройка подсказки автоматически корректирует подсказку для достижения той же цели.
Учитывая текстовое приглашение, программная настройка приглашения обычно добавляет к приглашению дополнительные вставки токенов и использует обратное распространение ошибки для оптимизации ввода.
«Жесткое» приглашение содержит фактические токены вместо встраивания токенов.
Т
температура
Гиперпараметр , который контролирует степень случайности выходных данных модели. Более высокие температуры приводят к более случайному выходному сигналу, тогда как более низкие температуры приводят к менее случайному выходному сигналу.
Выбор оптимальной температуры зависит от конкретного применения и предпочтительных свойств выходной модели. Например, вы, вероятно, повысите температуру при создании приложения, генерирующего творческий результат. И наоборот, вы, вероятно, понизите температуру при построении модели, которая классифицирует изображения или текст, чтобы повысить точность и согласованность модели.
Температура часто используется с softmax .
З
подсказка с нулевым выстрелом
Приглашение , не содержащее примера того, как должна реагировать большая языковая модель . Например:
| Части одной подсказки | Примечания |
|---|---|
| Какая официальная валюта указанной страны? | Вопрос, на который вы хотите получить ответ от LLM. |
| Индия: | Фактический запрос. |
Модель большого языка может ответить любым из следующих действий:
- Рупия
- индийская рупия
- ₹
- Индийская рупия
- рупия
- Индийская рупия
Все ответы верны, хотя вы можете предпочесть определенный формат.
Сравните и сопоставьте подсказки с нулевым выстрелом со следующими терминами: