本页面包含生成式 AI 术语表术语。如需查看所有术语表术语，请点击此处。
A
自回归模型
一种模型，会根据自身之前的预测推断出相应的预测model。例如，自动回归语言模型会根据先前预测的词元预测下一个词元。所有基于 Transformer 的大语言模型都是自动回归模型。
相比之下，基于 GAN 的图像模型通常不是自动回归模型，因为它们在单次正向传播中生成图像，而不是逐步生成图像。但是，某些图片生成模型会自动回归，因为它们是按步骤生成图片。
C
思维链提示
一种提示工程技术，可鼓励大语言模型 (LLM) 逐步解释其原因。以下面的提示为例，请特别注意第二句：
在 7 秒内从每小时 0 加速到每小时 60 英里的汽车中，驾驶员会体验多少克力？在答案中，显示所有相关的计算结果。
LLM 的回答可能会：
- 显示一系列物理公式，并在适当的位置插入值 0、60 和 7。
- 解释为什么它选择这些公式以及各种变量的含义。
思维链提示会强制 LLM 执行所有计算，这可能会得出更正确的答案。此外，思维链提示可让用户检查 LLM 的步骤，以确定答案是否合理。
聊天
与机器学习系统（通常是大语言模型）的来回对话内容。聊天中的上一次互动（您输入的内容以及大语言模型的响应方式）将成为聊天后续部分的上下文。
聊天机器人是大语言模型的应用。
语境化语言嵌入
一种嵌入，能够以人类母语人士可以理解的方式近乎“理解”字词和短语。上下文化语言嵌入可以理解复杂的语法、语义和上下文。
以英语单词 cow 的嵌入为例。较旧的嵌入（例如 word2vec）可以表示英语单词，因此嵌入空间中从牛到公牛的距离类似于从母羊（母羊）到 ram（雄羊）或从女性到男性的距离。语境化语言嵌入可以在此基础上更进一步，它认识到说英语的人有时会偶尔使用“cow”一词来指代牛或公。
上下文窗口
模型可以在给定提示中处理的令牌数量。上下文时段越大，模型可用于为提示提供连贯一致的响应的信息就越多。
D
直接提示
与零样本提示的含义相同。
蒸馏
将一个模型model（称为“教师”model）的大小缩减为较小模型（称为“学生”model）的过程，以尽可能准确地模拟原始模型的预测。蒸馏非常有用，因为与大型模型（老师）相比，较小的模型有两个主要优势：
- 推理速度更快
- 降低内存和能耗
但是，学生的预测通常不如教师的预测好。
蒸馏会训练学生模型，以便根据学生模型和教师模型预测结果之间的差异来尽可能减小损失函数。
将蒸馏与以下术语进行比较和对比：
F
少样本提示
包含多个（“几个”）示例的提示，演示大语言模型应如何响应。例如，下面这个很长的提示包含两个示例，它们展示了一个大语言模型如何回答查询。
| 一个提示的组成部分 | 备注 |
|---|---|
| 指定国家/地区的官方货币是什么？ | 你希望 LLM 回答的问题。 |
| 法国：EUR | 举个例子。 |
| 英国：GBP | 再举一个例子。 |
| 印度： | 实际查询。 |
与零样本提示和单样本提示相比，少样本提示通常会产生更理想的结果。不过，少样本提示需要较长的提示。
微调
在预训练模型上执行的第二轮特定任务的训练，以针对特定使用场景优化其参数。例如，一些大型语言模型的完整训练序列如下所示：
- 预训练：使用大量通用数据集（例如所有英语维基百科页面）训练大型语言模型。
- 微调：训练预训练模型，以执行特定任务，例如响应医疗查询。微调通常涉及成百上千个侧重于特定任务的样本。
再举一个例子，大型图片模型的完整训练序列如下所示：
- 预训练：基于一个大型通用图片数据集（例如维基媒体共享资源中的所有图片）训练大型图片模型。
- 微调：训练预训练模型以执行特定任务，例如生成虎鲸的图片。
微调可以采用以下策略的任意组合：
- 修改预训练模型的所有现有参数。这有时称为“完全微调”。
- 仅修改预训练模型的部分现有参数（通常是最靠近输出层的层），同时保持其他现有参数不变（通常是最靠近输入层的层）。请参阅参数高效调优。
- 添加更多层，通常在最接近输出层的现有层之上。
微调是一种迁移学习。因此，微调可能会使用与训练预训练模型不同的损失函数或模型类型。例如，您可以微调预训练的大型图片模型，以生成可返回输入图片中鸟类数量的回归模型。
使用以下术语来比较和对比微调：
G
生成式 AI
一个新兴的变革性领域，但没有正式定义。 也就是说，大多数专家认为，生成式 AI 模型可以创建（“生成”）以下各项：
- 复杂
- 连贯
- 原图
例如，生成式 AI 模型可以创建复杂的论文或图片。
一些早期技术（包括 LSTM 和 RNN）也可以生成连贯的原创内容。一些专家将这些早期技术视为生成式 AI，而另一些专家则认为，真正的生成式 AI 需要的输出比这些早期技术能够产生的更复杂的输出。
与预测性机器学习相对。
I
情境学习
与小样本提示的含义相同。
指令调优
一种微调形式，可提高生成式 AI 模型按照说明操作的能力。指令调优涉及根据一系列指令提示训练模型，通常涉及各种任务。由此产生的指令调优模型往往会在各种任务中对零样本提示生成有用的响应。
比较和对比：
L
LoRA
低排名自适应的缩写。
低秩自适应 (LoRA)
一种算法，用于执行参数高效调优，且仅对大语言模型的一部分参数进行微调。LoRA 具有以下优势：
- 相较于需要微调模型所有参数的技术，这种技术的微调速度更快。
- 降低经过微调的模型推断的计算开销。
使用 LoRA 调优的模型可以保持或提高其预测质量。
LoRA 支持一个模型的多个专用版本。
M
模型级联
一种系统，为特定推断查询选择理想的模型model。
假设有一组模型，这些模型从非常大（大量参数）到小得多（参数要少得多）不等。与小型模型相比，超大型模型在推理时消耗的计算资源更多。但是，与较小的模型相比，非常大的模型通常可以推断出更复杂的请求。模型级联决定了推理查询的复杂性，然后选择适当的模型来执行推理。模型级联的主要目的是降低推断成本，因为通常选择较小的模型，而仅为更复杂的查询选择较大的模型。
假设一个小型模型在手机上运行，而该模型的较大版本在远程服务器上运行。良好的模型级联通过使较小的模型能够处理简单的请求，并且仅调用远程模型来处理复杂的请求，可以降低费用和延迟时间。
另请参阅模型路由器。
模型路由器
一种算法，用于确定在model中进行推断model的理想model。 模型路由器本身通常就是一种机器学习模型，它会逐步学习如何为给定的输入选择最佳模型。但是，模型路由器有时可能是一种更简单的非机器学习算法。
O
单样本提示
一条提示，其中包含一个示例，演示大语言模型应如何响应。例如，以下提示包含一个示例，其中显示了一个大型语言模型应如何回答查询。
| 一个提示的组成部分 | 备注 |
|---|---|
| 指定国家/地区的官方货币是什么？ | 你希望 LLM 回答的问题。 |
| 法国：EUR | 举个例子。 |
| 印度： | 实际查询。 |
不妨使用以下术语来比较和对比“单样本提示”：
P
参数高效微调
一组技术，可比完全微调更有效微调大型语言模型 (PLM)。参数高效调优在微调参数时通常要比完全微调少得多，但通常会生成一个大语言模型，其性能与基于完全微调构建的大型语言模型一样（或几乎相同）。
比较和对比参数高效微调与以下工具：
参数高效微调也称为“参数高效微调”。
PLM
预训练语言模型的缩写。
预训练模型
已经过训练的模型或模型组件（例如嵌入向量）。有时，您需要将预训练的嵌入向量馈送到神经网络中。而在其他时候，您的模型将自行训练嵌入向量，而不依赖于预训练的嵌入。
预训练
使用大型数据集对模型进行的初始训练。一些预训练模型是笨拙的巨型模型，通常必须通过额外的训练进行优化。例如，机器学习专家可能会基于大型文本数据集（例如维基百科中的所有英语页面）预训练大型语言模型。在预训练之后，可以通过以下任何方法进一步优化生成的模型：
提示
输入的任何文本作为大型语言模型的输入，以便调整模型以使其按某种方式运作。提示可以短至一句话，也可以任意长（例如，一本小说的全文）。提示分为多个类别，如下表所示：
| 提示类别 | 示例 | 备注 |
|---|---|---|
| 问题 | 鸽子可以飞多快？ | |
| 指令 | 写一首关于套利的趣味诗词。 | 一条提示，要求大语言模型执行某项操作。 |
| 示例 | 将 Markdown 代码翻译为 HTML。例如：
Markdown: * 列表项 HTML: <ul> <li>列表项</li> </ul> |
此示例提示中的第一句话是指令。提示的其余部分是示例。 |
| 角色 | 解释为什么物理学博士会在机器学习训练中使用梯度下降法。 | 句子的第一部分是指示；短语“要获得物理学博士学位”则是角色部分。 |
| 需要模型完成的部分输入 | 英国首相居住在 | 部分输入提示可以突然结束（如此示例所示）或以下划线结尾。 |
生成式 AI 模型可以使用文本、代码、图片、嵌入、视频等几乎任何内容来响应提示。
提示式学习
某些模型的功能，使它们能够根据任意文本输入调整自身行为（提示）。在基于提示的典型学习范例中，大语言模型通过生成文本来响应提示。例如，假设用户输入以下提示：
总结牛顿第三运动定律。
能够基于提示的学习的模型未经过专门训练，可回答上一条提示。相反，该模型“了解”许多关于物理学的知识、很多关于一般语言规则的知识，以及很多关于构成一般有用答案的内容的知识。这些知识足以提供（希望）有用的答案。通过额外的人类反馈（“回答太复杂了。”或“什么是反应？”），一些基于提示的学习系统可以逐步提高答案的实用性。
提示设计
与提示工程的含义相同。
提示工程
创建提示，这些提示从大语言模型中引发所需回复的艺术。人类会执行提示工程。编写结构合理的提示是确保大型语言模型给出有用响应的重要部分。提示工程取决于许多因素，包括：
- 用于预训练和可能对大语言模型进行微调的数据集。
- 模型用于生成响应的 temperature 和其他解码参数。
如需详细了解如何编写实用的提示，请参阅提示设计简介。
提示设计是提示工程的同义词。
提示调优
一种参数高效微调机制，该机制会学习系统附加到实际提示符的“前缀”。
提示调整的一种变体（有时称为前缀调整）是在每层前添加前缀。相比之下，大多数提示调整仅会向输入层添加一个前缀。
R
基于人类反馈的强化学习 (RLHF)
使用人工审核者的反馈提高模型回答的质量。 例如，RLHF 机制可以要求用户使用 👍? 或 👎? 表情符号来评价模型的响应质量。然后，系统可以根据该反馈调整未来的响应。
角色提示
提示的可选部分，用于标识生成式 AI 模型回复的目标受众群体。在没有角色提示的情况下，大语言模型提供的答案对提问的人员可能有用，也可能无用。借助角色提示，大型语言模型能够以更适合特定目标受众群体且更有帮助的方式回答问题。例如，以下提示的角色提示部分以粗体显示：
- 总结这篇文章，获取经济学博士学位。
- 描述十岁孩子的潮汐是如何运作的。
- 解释 2008 年金融危机。像对小孩子或金毛寻回犬那样说话。
南
软提示调整
一种针对特定任务调参大语言模型（无需进行资源密集型微调）的技术。软提示调整会自动调整提示来实现相同的目标，而不是重新训练模型中的所有权重。
给定文本提示时，软提示调整通常会将额外的词元嵌入附加到提示上，并使用反向传播算法优化输入。
“硬”提示包含实际令牌，而不是令牌嵌入。
T
温度
一种超参数，用于控制模型输出的随机性。温度越高，输出的随机程度越高，而温度越低，输出的随机性越小。
选择最佳温度取决于具体应用和模型输出的首选属性。例如，在创建可生成广告素材输出的应用时，您可能会提高温度。相反，为了提高模型的准确性和一致性，在构建对图片或文本进行分类的模型时，您可能需要降低温度。
温度通常与 softmax 一起使用。
Z
零样本提示
| 一个提示的组成部分 | 备注 |
|---|---|
| 指定国家/地区的官方货币是什么？ | 你希望 LLM 回答的问题。 |
| 印度： | 实际查询。 |
大型语言模型可能会提供以下任何响应：
- 卢比符号
- INR
- ₹
- 印度卢比
- 卢比
- 印度卢比
以上答案都正确，不过您可能更希望使用某种格式。
使用以下术语来比较和对比零样本提示：