このページでは、生成 AI の用語集について説明します。用語集のすべての用語については、こちらをクリックしてください。
A
自己回帰モデル
過去の予測に基づいて予測を推測するモデルmodel。たとえば、自己回帰言語モデルは、以前に予測されたトークンに基づいて次のトークンを予測します。Transformer ベースの大規模言語モデルはすべて自己回帰型です。
一方、GAN ベースの画像モデルは通常、ステップで反復的にではなく 1 回のフォワードパスで画像を生成するため、自己回帰的ではありません。ただし、特定の画像生成モデルは、画像を段階的に生成するため、自己回帰的です。
C
Chain-of-Thought プロンプト
大規模言語モデル（LLM）に推論を段階的に説明するよう促すプロンプト エンジニアリング手法。たとえば、次のプロンプトについて考えてみましょう。特に 2 番目の文に注目します。
時速 0 ～ 60 マイルを 7 秒間で走る車で、ドライバーが経験する力はいくつでしょうか。回答には、関連する計算をすべて示してください。
LLM の回答は次のようになります。
- 一連の物理式を示し、適切な場所に値 0、60、7 を挿入します。
- このような数式を選択した理由と、さまざまな変数の意味を説明します。
Chain-of-Thought プロンプトでは、LLM にすべての計算を実行させ、より正しい回答につながる可能性があります。さらに、Chain-of-Thought プロンプトにより、ユーザーは LLM の手順を調べて、回答が理にかなっているかどうかを判断できます。
チャット
ML システム（通常は大規模言語モデル）との対話の内容。チャットの以前のやり取り（入力した内容と大規模言語モデルがどのように応答したか）が、チャットの後続の部分のコンテキストになります。
chatbot は大規模言語モデルのアプリケーションです。
コンテキスト化された言語埋め込み
ネイティブの人間の話者と同じ方法で単語やフレーズを「理解」できるエンベディング。コンテキスト化された言語エンベディングは、複雑な構文、セマンティクス、コンテキストを理解できます。
たとえば、英語の単語 cow のエンベディングについて考えてみましょう。word2vec などの古いエンベディングは、エンベディング空間内での牛から雄牛までの距離が、女性（女性の羊）から羊（男性の羊）または女性から男性への距離と等しくなるように、英語の単語を表現できます。コンテキスト化された言語エンベディングは、さらに一歩進んで、英語話者にとって「cow」という言葉が牛や雄牛を意味するという意味で使われることがあることを認識し、さらに踏み込んでいます。
コンテキスト ウィンドウ
特定のプロンプトでモデルが処理できるトークンの数。コンテキスト ウィンドウが大きいほど、モデルはより多くの情報を使用して、プロンプトに対して一貫性のある一貫したレスポンスを提供できます。
D
ダイレクト プロンプト
ゼロショット プロンプトと同義です。
での精製
1 つのモデルmodel（教師model）のサイズを小さなモデル（生徒model）に縮小し、元のモデルの予測を可能な限り忠実にエミュレートするプロセス。小規模なモデルには大規模なモデル（教師）に比べて 2 つの主な利点があるため、蒸留は便利です。
- 推論時間が短縮される
- メモリとエネルギー使用量の削減
ただし、生徒の予測は通常、教師の予測ほど良好ではありません。
蒸留は、生徒モデルと教師モデルの予測出力の差に基づいて損失関数を最小化するように生徒モデルをトレーニングします。
抽出を以下の用語と比較対照してください。
F
少数ショット プロンプト
大規模言語モデルの応答方法を示す複数（「少数」）の例を含むプロンプト。たとえば、次の長いプロンプトには、大規模言語モデルでクエリに応答する方法を示す 2 つの例が含まれています。
| 1 つのプロンプトの構成要素 | メモ |
|---|---|
| 指定された国の公式通貨は何ですか？ | LLM に回答してほしい質問。 |
| フランス: EUR | 一例です。 |
| 英国: 英ポンド | もう 1 つ例を示します。 |
| インド: | 実際のクエリ。 |
一般的に、少数ショット プロンプトはゼロショット プロンプトやワンショット プロンプトよりも望ましい結果を生成します。ただし少数ショットプロンプトでは より長いプロンプトが必要になります
少数ショット プロンプトは、プロンプト ベース学習に適用される少数ショット学習の一種です。
ファインチューニング
2 つ目のタスク固有のトレーニング パス。事前トレーニング済みモデルに対して行われ、特定のユースケースに合わせてパラメータを調整します。たとえば、一部の大規模言語モデルの完全なトレーニング シーケンスは次のようになります。
- 事前トレーニング: 膨大な一般的なデータセット（すべての英語の Wikipedia ページなど）で大規模言語モデルをトレーニングします。
- ファインチューニング: 医療関連のクエリへの応答など、特定のタスクを実行するように事前トレーニング済みモデルをトレーニングします。ファインチューニングには通常、特定のタスクに焦点を当てた数百または数千のサンプルが含まれます。
別の例として、大規模な画像モデルの完全なトレーニング シーケンスは次のようになります。
- 事前トレーニング: Wikimedia Commons にあるすべての画像など、膨大な一般的な画像データセットで大規模画像モデルをトレーニングします。
- ファインチューニング: 事前トレーニング済みモデルをトレーニングして、シャチの画像の生成など、特定のタスクを実行します。
ファインチューニングでは、次の戦略を任意に組み合わせることができます。
- 事前トレーニング済みモデルの既存のパラメータをすべて変更する。これは「フル ファインチューニング」とも呼ばれます。
- 事前トレーニング済みモデルの既存のパラメータの一部（通常は出力レイヤに最も近いレイヤ）のみを変更し、他の既存のパラメータ（通常は入力レイヤに最も近いレイヤ）を変更する。パラメータ効率調整をご覧ください。
- レイヤを追加します。通常は、出力レイヤに最も近い既存のレイヤの上に追加します。
ファインチューニングは転移学習の一形態です。そのため、微調整では、事前トレーニング済みモデルのトレーニングに使用したものとは異なる損失関数や異なるモデルタイプが使用されることがあります。たとえば、事前トレーニング済みの大きな画像モデルをファインチューニングして、入力画像の鳥の数を返す回帰モデルを生成できます。
ファインチューニングを以下の用語と比較対照してください。
1 階
生成 AI
正式な定義のない、新たな変革の分野。とはいえ、生成 AI モデルは、次のすべてを含むコンテンツを作成（「生成」）できるとほとんどの専門家が同意しています。
- 複雑
- 首尾一貫した
- オリジナル
たとえば、生成 AI モデルは洗練されたエッセイや画像を作成できます。
LSTM や RNN などの一部の以前のテクノロジーでも、オリジナルで一貫性のあるコンテンツを生成できます。こうした初期のテクノロジーを生成 AI とみなす専門家もいれば、真の生成 AI には、以前のテクノロジーが生成するよりも複雑な出力が必要であると考える専門家もいます。
予測 ML と対比する。
I
コンテキスト内学習
少数ショット プロンプトと同義です。
指示チューニング
ファインチューニングの一種で、生成 AI モデルの指示に従う能力を向上させるものです。指示の調整では、一連の指示プロンプトでモデルをトレーニングします。通常、幅広いタスクに対応しています。結果として得られる命令調整モデルは、さまざまなタスクでゼロショット プロンプトに対して有用なレスポンスを生成する傾向があります。
以下と比較します。
L
LoRA
低ランク適応性（LoRA）
大規模言語モデルのパラメータのサブセットのみをファインチューニングするパラメータ効率調整を実行するためのアルゴリズム。LoRA には次の利点があります。
- モデルのすべてのパラメータを微調整する必要がある手法よりも迅速にファインチューニングできる。
- ファインチューニングされたモデルでの推論の計算コストを削減します。
LoRA で調整されたモデルは、予測の品質を維持または改善します。
LoRA を使用すると、複数の特殊なバージョンのモデルを使用できます。
M
モデルのカスケード
特定の推論クエリに対して理想的なモデルmodelを選択するシステム。
非常に大規模なモデル（多くのパラメータ）から非常に小規模なモデル（非常に少ないパラメータ）まで、モデルのグループがあるとします。非常に大規模なモデルは、小規模なモデルよりも推論時に多くのコンピューティング リソースを消費します。ただし、通常、非常に大規模なモデルでは、小規模なモデルよりも複雑なリクエストを推測できます。モデルのカスケードでは、推論クエリの複雑さが判断され、推論の実行に適したモデルが選択されます。モデルのカスケードの主な動機は、一般的に小規模なモデルを選択し、より複雑なクエリにのみより大きなモデルを選択することで、推論コストを削減することです。
小規模なモデルがスマートフォンで実行され、そのモデルの大規模バージョンがリモート サーバーで実行されているとします。優れたモデルのカスケードでは、小規模なモデルが単純なリクエストを処理し、リモートモデルのみを呼び出して複雑なリクエストを処理することで、コストとレイテンシを低減できます。
モデルルーターもご覧ください。
モデルルーター
モデルのカスケードmodelでの推論modelに理想的なモデルmodelを決定するアルゴリズム。通常、モデルルーター自体は、特定の入力に対して最適なモデルを選択する方法を段階的に学習する ML モデルです。ただし、モデルルーターはより単純な非 ML アルゴリズムの場合もあります。
O
ワンショット プロンプト
大規模言語モデルがどのように応答すべきかを示す 1 つの例を含むプロンプト。たとえば、次のプロンプトには、大規模言語モデルがどのようにクエリに応答するかを示す 1 つの例が含まれています。
| 1 つのプロンプトの構成要素 | メモ |
|---|---|
| 指定された国の公式通貨は何ですか？ | LLM に回答してほしい質問。 |
| フランス: EUR | 一例です。 |
| インド: | 実際のクエリ。 |
ワンショット プロンプトと以下の用語を比較対照してください。
P
パラメータ効率調整
大規模な事前トレーニング済み言語モデル（PLM）を完全な微調整よりも効率的に微調整する一連の手法。パラメータ効率調整でファインチューニングするパラメータは、フルファインチューニングよりもはるかに少ないのが一般的ですが、フルファインチューニングで構築された大規模言語モデルと同等（またはほぼ同じ）のパフォーマンスを発揮する大規模言語モデルが生成されます。
パラメータ効率調整と以下を比較対照します。
パラメータ効率調整は、パラメータ効率ファインチューニングとも呼ばれます。
PLM
事前トレーニング済みモデル
トレーニング済みのモデルまたはモデル コンポーネント（エンベディング ベクトルなど）。事前トレーニング済みのエンベディング ベクトルをニューラル ネットワークにフィードすることもあります。また、事前にトレーニングされたエンベディングに依存せずに、モデルがエンベディング ベクトル自体をトレーニングする場合もあります。
事前トレーニング済み言語モデルという用語は、事前トレーニングが実施されている大規模言語モデルを指します。
事前トレーニング
大規模なデータセットでのモデルの初期トレーニング。一部の事前トレーニング済みモデルは扱いにくいため、通常は追加のトレーニングによって改良する必要があります。たとえば、ML のエキスパートは、膨大なテキスト データセット（Wikipedia の全英語ページなど）で大規模言語モデルを事前にトレーニングできます。結果として得られるモデルは、事前トレーニングの後、次のいずれかの手法でさらに細かく調整できます。
プロンプト
大規模言語モデルに入力として入力されたテキスト。モデルが特定の方法で動作するように条件付けます。プロンプトは、フレーズのように短くても、任意の長さ（小説のテキスト全体）にすることもできます。プロンプトは、次の表に示すように複数のカテゴリに分類されます。
| プロンプトのカテゴリ | 例 | メモ |
|---|---|---|
| 質問 | ハトの飛行速度は？ | |
| 手順 | アービトラージについての面白い詩を書いて。 | 大規模言語モデルに何かを行うよう求めるプロンプト。 |
| 例 | マークダウン コードを HTML に変換します。例:
マークダウン: * リスト項目 HTML: <ul> <li>リスト項目</li> </ul> |
このサンプル プロンプトの最初の文は指示です。プロンプトの残りの部分は例です。 |
| ロール | Physics で博士号を取得するための ML トレーニングに勾配降下法が使用される理由を説明する。 | 文の最初の部分は指示です。「to a PhD in Physics」というフレーズは役割部分です。 |
| モデルを完成させるための部分的な入力 | 英国首相の所在地は | 部分入力プロンプトは、（この例のように）突然終了することも、アンダースコアで終了することもできます。 |
生成 AI モデルは、テキスト、コード、画像、エンベディング、動画など、ほとんどあらゆるものを使用してプロンプトに応答できます。
プロンプト ベースの学習
特定のモデルの機能。任意のテキスト入力（プロンプト）に応じて動作を適応させることができます。一般的なプロンプト ベースの学習パラダイムでは、大規模言語モデルがプロンプトに応答してテキストを生成します。たとえば、ユーザーが次のプロンプトを入力するとします。
ニュートンの運動の第 3 法則を要約して。
プロンプト ベースの学習が可能なモデルは、以前のプロンプトに応答するように特別にトレーニングされていません。むしろ、このモデルは物理学に関する多くの事実、一般的な言語ルールについて多く、一般的に有用な回答を構成する内容について多くのことを「認識」しています。この知識があれば、（うまくいけば）有用な回答を提供するには十分です。一部のプロンプト ベースの学習システムでは、人間による追加のフィードバック（「その回答が複雑すぎました」、「リアクションは何ですか？」など）を使用して、回答の有用性を徐々に向上させることができます。
プロンプト設計
プロンプト エンジニアリングと同義です。
プロンプト エンジニアリング
大規模言語モデルから望ましいレスポンスを引き出すプロンプトを作成する技術。プロンプト エンジニアリングは人間が行います。適切に構造化されたプロンプトを作成することは、大規模言語モデルから有用なレスポンスを実現するための不可欠な要素です。プロンプト エンジニアリングは、次のようなさまざまな要因に左右されます。
- 大規模言語モデルの事前トレーニングと、場合によってはファインチューニングに使用するデータセット。
- モデルがレスポンスの生成に使用する温度とその他のデコード パラメータ。
有用なプロンプトの作成方法の詳細については、プロンプト設計の概要をご覧ください。
プロンプト調整
システムが実際のプロンプトの先頭に付加される「接頭辞」を学習するパラメータ効率調整メカニズム。
プロンプト調整のバリエーションの一つ（プレフィックス チューニングとも呼ばれます）では、すべてのレイヤで接頭辞を付加します。一方、ほとんどのプロンプト調整では、入力レイヤに接頭辞を追加するだけです。
R
人間からのフィードバックを用いた強化学習（RLHF）
人間の評価者からのフィードバックを使用して、モデルのレスポンスの品質を向上させます。たとえば、RLHF メカニズムでは、モデルのレスポンスの品質を 👍? または spreadsheet の絵文字で評価するようユーザーに要求できます。システムは、そのフィードバックに基づいて将来のレスポンスを調整できます。
ロール プロンプト
生成 AI モデルのレスポンスの対象グループを特定するプロンプトのオプション部分。ロール プロンプトが表示されない場合、大規模言語モデルは質問者にとって有用かどうか、あるいは有用でない可能性のある回答を提供します。ロール プロンプトを使用すると、大規模言語モデルは、特定の対象者にとってより適切で有用な回答を提供できます。たとえば、次のプロンプトのロール プロンプト部分は太字で表示されています。
- 経済学の博士号を取得するためにこの記事を要約してください。
- 10 歳の子どもの潮流の仕組みを説明する。
- 2008 年の金融危機について説明してください。小さな子どもやゴールデン レトリバーに対して、自然な言葉で話しかけてください。
S
ソフト プロンプト調整
リソースを大量に消費する微調整なしで、特定のタスク用に大規模言語モデルをチューニングするための手法。ソフト プロンプト調整では、モデル内のすべての重みを再トレーニングする代わりに、プロンプトを自動的に調整して同じ目標を達成します。
テキスト プロンプトの場合、ソフト プロンプトの調整では通常、追加のトークン エンベディングをプロンプトに追加し、バックプロパゲーションを使用して入力を最適化します。
ハード プロンプトには、トークン エンベディングではなく実際のトークンが含まれます。
T
温度
モデルの出力のランダム性の度合いを制御するハイパーパラメータ。温度が高いほどランダム出力は多くなり、温度を低くするとランダム出力は少なくなります。
最適な温度を選択できるかどうかは、特定のアプリケーションと、モデル出力の望ましいプロパティによって異なります。たとえば、クリエイティブな出力を生成するアプリケーションを作成する際に、おそらく温度を上げます。逆に、画像やテキストを分類するモデルを構築する場合は、モデルの精度と一貫性を向上させるために温度を下げる可能性があります。
温度はソフトマックスでよく使用されます。
Z
ゼロショット プロンプト
大規模言語モデルの応答方法の例を示していないプロンプト。次に例を示します。
| 1 つのプロンプトの構成要素 | メモ |
|---|---|
| 指定された国の公式通貨は何ですか？ | LLM に回答してほしい質問。 |
| インド: | 実際のクエリ。 |
大規模言語モデルは、次のいずれかで応答します。
- ルピー
- INR
- ₹
- ルピー（インド）
- ルピー
- インド ルピー
すべての選択肢が正解ですが、特定の形式を使用したい場合もあります。
ゼロショット プロンプトと以下の用語を比較対照してください。