機器學習詞彙表：生成式 AI

本頁麵包含生成式 AI 詞彙表詞彙。如需所有詞彙表字詞，請按這裡。

A

自動迴歸模型

#language
#image
#生成式 AI

根據先前的預測結果推測預測結果的model。例如，自動迴歸語言模型會根據先前預測的符記預測下一個「權杖」。所有以 Transformer 為基礎的大型語言模型都是自動迴歸。

相反地，GAN 的圖片模型通常不是自動迴歸，因為這些模型是以單一向向傳送 (而非步驟) 產生圖片。不過，某些圖片產生模型「是」自動迴歸，因為模型可逐步產生圖片。

C

思維鏈提示

#language
#生成式 AI

「提示工程」技術，鼓勵大型語言模型 (LLM) 逐步說明其原因。舉例來說，請考慮下列提示，請特別留意第二句：

車內駕駛在 7 秒內每小時 0 至 60 英里的 g 彈力是多少？在答案中顯示所有相關計算結果。

LLM 的回應可能會：

  • 顯示一系列物理公式，將值 0、60 和 7 插入適當的位置。
  • 說明選用這些公式的原因，以及各種變數代表的意義。

思維鏈提示會強制 LLM 執行所有計算，這或許能產生更正確的答案。此外，思維鏈提示可讓使用者檢查 LLM 的步驟，判斷答案是否合理。

對話

#language
#生成式 AI

與機器學習系統來回對話的內容，通常是大型語言模型。對話中的過往互動 (您輸入的內容與大型語言模型的回應方式) 會成為聊天後續部分的背景資訊。

「聊天機器人」是大型語言模型的應用程式。

內容比對語言嵌入

#language
#生成式 AI

一個接近「理解」字詞和詞組的嵌入，供母語人士使用。關聯語言嵌入能夠理解複雜的語法、語意和上下文。

例如，考慮嵌入「牛」這個英文字詞。較舊的嵌入 (例如 word2vec) 可代表英文字詞，因此嵌入空間從牛到「火箭」的距離與從「ewe」(女性) (女綿) 到 (男性羊) 到「男性」的距離相近。將特定內容嵌入式語言嵌入能夠更進一步，因為必須瞭解英文使用者有時會使用 cow 一詞來意指牛或公牛。

背景視窗

#language
#生成式 AI

模型可在指定提示中處理的「權杖」數量。背景視窗越大，模型就能運用更多資訊為提示提供一致且一致的回應。

D

直接提示

#language
#生成式 AI

零樣本提示的同義詞。

萃取

#生成式 AI

將一個「模型」model (稱為「老師」model) 的大小縮減為較小的模型 (稱為「學生」model)，以盡可能忠實地模擬原始模型的預測結果。精煉法很有用，因為與大型模型 (老師) 相比，小型模型有兩項主要優勢：

  • 推論時間較快
  • 降低記憶體和能源用量

但是，學生的預測結果通常比老師的預測還差。

精煉作業會訓練學生模型，根據學生和教師模型預測結果之間的差異，將損失函式降至最低。

請對照以下字詞，比較並對照取景方式：

F

少量樣本提示

#language
#生成式 AI

提示包含多個 (一個「少量」) 的範例，示範大型語言模型應如何回應。舉例來說，以下冗長的提示包含兩個範例，說明大型語言模型如何回答查詢。

單一提示組成部分 附註
指定國家/地區的官方貨幣為何？ 您希望 LLM 回答的問題。
法國：歐元 其中一個例子。
英國：GBP 另一個例子
印度： 實際查詢。

相較於「零樣本提示」和「單樣本提示」，少量樣本提示通常能產生更理想的結果。不過，少量樣本提示需要較長的提示

少量樣本提示是少量樣本學習的一種形式，適用於提示式學習。

微調

#language
#image
#生成式 AI

第二項任務專屬訓練通過對預先訓練模型，修正特定用途的參數。例如，某些大型語言模型的完整訓練順序如下：

  1. 預先訓練：使用大量的「一般」資料集 (例如所有英文的 Wikipedia 頁面) 訓練大型語言模型。
  2. 微調：訓練預先訓練模型來執行「特定」工作，例如回應醫療查詢。微調通常需要數百或數千個範例來著重於特定工作。

再舉一個例子，大型圖片模型的完整訓練順序如下：

  1. 預先訓練：使用大量「一般」圖片資料集訓練大型圖片模型，例如 Wikimedia 通用圖片中的所有圖片。
  2. 微調：訓練預先訓練模型來執行「特定」工作，例如產生 Orcas 的圖片。

微調可採用下列策略的任意組合：

  • 修改預先訓練模型的現有所有參數。這種做法有時也稱為「完全微調」。
  • 如果您只修改「部分」預先訓練模型的現有參數 (通常是最靠近輸出層的層)，其他現有參數則保持不變 (通常是離輸入層的圖層)。請參閱符合參數效率的調整方法相關說明。
  • 新增更多圖層，通常位於最接近輸出層的現有層之上。

微調是一種遷移學習。 因此，微調可能使用與訓練預先訓練模型不同的損失函式或模型類型。舉例來說，您可以微調預先訓練的大型圖片模型，以產生可在輸入圖片中傳回鳥類數量的迴歸模型。

使用下列字詞比較並對照微調：

G

生成式 AI

#language
#image
#生成式 AI

新興的轉換欄位，沒有正式的定義。儘管如此，大多數專家都認為生成式 AI 模型可以建立 (「產生」) 的內容如下：

  • 複雜
  • 一致
  • 原始圖片

舉例來說，生成式 AI 模型可以生成複雜的論文或圖片

部分較舊的技術 (包括 LSTM 和 RNN) 也可以產生原創且連貫的內容。有些專家認為這些早期技術就是 生成式 AI，有些則認為

相對於預測機器學習。

I

情境學習

#language
#生成式 AI

少量樣本提示的同義詞。

調整教學

#生成式 AI

微調的一種形式，可改善生成式 AI 模型遵循操作說明的能力。調整指示時，需要用一系列指令提示訓練模型，內容通常涵蓋各種任務。接著，經過訓練後的模型通常會針對各種任務產生實用的「零樣本提示」回應。

對照比較：

L

LoRA

#language
#生成式 AI

「低排名的適應性」的縮寫。

低排名適應性 (LoRA)

#language
#生成式 AI

用於執行參數效率調整的演算法，僅微調大型語言模型參數的一部分。LoRA 具有以下優點：

  • 比起需要微調模型「所有」參數的技術，微調的速度更快。
  • 降低經過微調的模型中的推論運算成本。

使用 LoRA 調整的模型會維持或改善預測品質。

LoRA 支援模型的多個特殊版本。

M

模型階層式

#生成式 AI

系統會為特定推論查詢選擇理想model。

想像一組從非常大 (許多參數) 到更小 (參數更少) 的模型。與小型模型相比，非常大型的模型在推論時耗用更多運算資源。不過，相較於小型模型，非常大型的模型通常推斷出較複雜的要求。模型階層式會決定推論查詢的複雜程度，然後選用適當的模型來執行推論。模型串聯的主要目的是透過一般選取較小的模型來降低推論成本，並且只針對較複雜的查詢選取較大的模型。

假設有一個小型模型在手機上執行，而較大型的模型是在遠端伺服器上運作。良好的模型階層式模型可讓較小的模型處理簡單的要求，並且只呼叫遠端模型來處理複雜的要求，藉此降低成本和延遲時間。

另請參閱「型號路由器」。

型號路由器

#生成式 AI

演算法，用於決定model中model的理想model。模型路由器本身通常是機器學習模型，能逐步學習如何為指定的輸入內容選擇最佳模型。然而，模型路由器有時可能是較簡單的非機器學習演算法

O

單樣本提示

#language
#生成式 AI

提示包含一個範例，示範大型語言模型應如何回應。例如，以下提示含有一個範例，顯示大型語言模型應如何回答查詢。

單一提示組成部分 附註
指定國家/地區的官方貨幣為何？ 您希望 LLM 回答的問題。
法國：歐元 其中一個例子。
印度： 實際查詢。

比較並對照下列字詞：單樣本提示：

P

具參數運用效率的調整作業

#language
#生成式 AI

使用一套技巧「微調」大型預先訓練模型 (PLM)，比完整的微調更有效率。有效率地調整參數的參數通常比完整微調要少得多，但通常會產生大型語言模型，此模型也能執行良好 (或幾乎) 微調建構的大型語言模型。

比較及對照具參數運用效率的調整工具：

「高效參數調整」也稱為「參數效率微調」。

波蘭茲羅提

#language
#生成式 AI

預先訓練的語言模型的縮寫，

預先訓練模型

#language
#image
#生成式 AI

已經訓練的模型或模型元件 (例如嵌入向量)。有時候，您會將預先訓練的嵌入向量饋送至「類神經網路」中。有時，您的模型會自行訓練嵌入向量，而不是依賴預先訓練的嵌入。

「預先訓練模型」一詞是指在通過預先訓練的大型語言模型。

預先訓練

#language
#image
#生成式 AI

在大型資料集中訓練模型的初始訓練。有些預先訓練模型是無害的巨人，通常得透過額外訓練加以修正。舉例來說，機器學習專家可能會對大型文字資料集 (例如維基百科中的所有英文頁面) 預先訓練大型語言模型。在預先訓練之後，產生的模型可以透過下列任一技巧進一步微調：

提示

#language
#生成式 AI

將任何輸入為大型語言模型輸入的文字，規範模型以特定方式表現的條件。提示可以很短，可以是詞組比對或任意長度 (例如小說的整段文字)。提示分為多個類別，包括下表所示：

提示類別 範例 附註
問題 鴿子的飛行速度有多快？
指示 撰寫關於套利的有趣詩詞。 要求大型語言模型「做」特定操作的提示。
範例 將 Markdown 程式碼轉譯為 HTML。例如：
Markdown：* 清單項目
HTML：<ul> <li>清單項目</li> </ul>		 此範例提示中的第一個句子是指令。提示的其餘部分為範例。
角色 說明為何在機器學習訓練中採用梯度下降法，而在物理學系中採用梯度下降法。 句子的第一部分是指令，「to a PhD in Physics」用語則是指角色部分。
模型待完成的部分輸入內容 英國首相 部分輸入提示可能會突然結束 (與這個範例相同)，或是以底線結尾。

生成式 AI 模型可透過文字、程式碼、圖片、嵌入、影片等幾乎任何條件來回應提示。

以提示為基礎的學習

#language
#生成式 AI

特定模型的功能，可讓模型根據任意文字輸入內容調整行為 (提示)。在一般以提示為基礎的學習範例中，大型語言模型會產生文字來回應提示。舉例來說，假設使用者輸入下列提示：

總結牛頓第三運動定律。

能夠以提示為基礎的學習的模型並未經過特別訓練，因此無法回答先前的提示內容。相反地，模型「知道」許多有關物理的知識、大量有關一般語言規則，以及對於一般實用答案的眾多要素。該知識足以提供 (希望) 有用的答案。而額外的人為意見回饋 (「這個答案太過複雜」或「什麼是反應？」) 可讓一些以提示為主的學習系統，逐步提高答案的實用性。

提示設計

#language
#生成式 AI

提示工程的同義詞。

提示工程

#language
#生成式 AI

建立提示，從大型語言模型中取得所需回應的秘訣。人類執行提示工程編寫結構完善的提示，是確保大型語言模型實用回應的重要環節。提示工程取決於許多因素，包括：

  • 用於「預先訓練」，並可能「微調」大型語言模型的資料集。
  • 溫度和其他模型用來產生回應的解碼參數。

如要進一步瞭解如何編寫實用提示，請參閱提示設計簡介。

「提示設計」是「提示工程」的同義詞。

提示調整

#language
#生成式 AI

一種參數效率調整機制，可學習系統在實際提示前加上的「前置字串」。

提示調整的其中一種變化版本 (有時稱為「前置字串調整」) 是在「每一個圖層」前面加上前置字串。相對地，大多數提示調整隻會在輸入層加上前置字串。

R

人類回饋增強學習 (RLHF)

#生成式 AI
#rl

使用評估人員的意見回饋，提高模型回覆的品質。舉例來說，RLHF 機制可要求使用者透過 👍? 或 👎? 表情符號，為模型的回應品質評分。之後系統就能根據這些回饋調整未來的回應。

角色提示

#language
#生成式 AI

這是提示的選用部分，用於識別生成式 AI 模型回應的目標對象。沒有角色提示，大型語言模型會提供答案，不一定對提問者有幫助。大型語言模型「加入」角色提示後，就能以更適當且更適用於特定目標對象的方式回答。舉例來說，以下提示中的角色提示部分會以粗體顯示：

  • 請概述經濟學博士的說明文章。
  • 說明一歲的人將如何降雨。
  • 解釋 2008 年的財務危機。你可能會和小孩子或黃金獵犬說話。

六

軟提示調整

#language
#生成式 AI

一種技巧，可針對特定工作調整大型語言模型，無須耗用大量資源微調調整。這種提示不會重新訓練模型中的所有權重，而是會自動調整「提示」來達成相同目標。

收到文字提示後，軟提示調整通常會將額外的符記嵌入附加至提示，並使用反向傳播來最佳化輸入。

「硬」提示包含實際符記，而非符記嵌入。

T

溫度

#language
#image
#生成式 AI

控制模型輸出隨機程度的超參數。隨機性參數越高，隨機輸出的內容越多，而低溫則會產生較少的隨機輸出內容。

視特定應用程式及模型輸出偏好的屬性而定，選擇最佳溫度的做法會有不同。舉例來說，假設您在建立可產生廣告素材輸出內容的應用程式時，可能會提高溫度。相反地，在建構可將圖片或文字分類的模型時，為了提高模型的準確率和一致性，您可能會降低溫度。

溫度通常會與 softmax 搭配使用。

Z

零樣本提示

#language
#生成式 AI

提示「未」提供您想要大型語言模型回應方式的範例。例如：

單一提示組成部分 附註
指定國家/地區的官方貨幣為何？ 您希望 LLM 回答的問題。
印度： 實際查詢。

大型語言模型可能會以下列任一內容回應：

  • 盧比符號
  • INR
  • ₹
  • 印度盧比
  • 魯蛇
  • 印度盧比

所有答案都正確，但您可能想要使用特定格式。

比較並對照下列字詞：零樣本提示：