機械学習の用語集

この用語集では、ML の一般的な用語を定義し、 用語について説明します。

ご存じですか？

上部のナビゲーション バーの [用語集] プルダウンからトピックを選択すると、用語集をフィルタできます。孵化中の鳥のアイコンは、ML 初心者向けの定義を示します。

A

アブレーション

特徴量またはコンポーネントをモデルから一時的に削除することで、その重要性を評価する手法。次に、その特徴またはコンポーネントのないモデルを再トレーニングします。再トレーニングしたモデルのパフォーマンスが大幅に低下した場合、削除された特徴またはコンポーネントが重要だった可能性があります。

たとえば、30 秒の 分類モデル 88% の適合率を達成し、 テストセット。重要 別の 9 個の特徴だけを使ってモデルを再トレーニングできます。 説明します。再トレーニングしたモデルのパフォーマンスが大幅に低下した場合（精度が 55% など）、削除された特徴量が重要だった可能性があります。逆に 再トレーニングしたモデルのパフォーマンスが同程度であれば、その特徴はおそらく それほど重要ではありません

アブレーションは、次のような要素の重要性を特定するうえでも役立ちます。

• 大規模な ML システムのサブシステム全体など、大規模なコンポーネント
• データ前処理ステップなどのプロセスまたは手法

どちらの場合も、コンポーネントを削除した後のシステムのパフォーマンスの変化（または変化なし）を確認します。

A/B テスト

2 つ（またはそれ以上）の手法（A と B）を統計的に比較する方法。通常、A は既存のテクニックで、B は新しいテクニックです。A/B テストでは、どの手法のパフォーマンスが優れているかが判明するだけでなく、 差に統計的有意性があるかどうかも確認します

A/B テストでは通常、2 つの手法の単一の指標を比較します。たとえば、2 つの手法のモデルの精度を比較します。ただし、A/B テストでは、 できます。

アクセラレータ チップ

#GoogleCloud

重要な機能を実行するように設計された特殊なハードウェア コンポーネントのカテゴリ ディープ ラーニング アルゴリズムに必要な計算量を削減できます。

アクセラレータ チップ（略してアクセラレータ）を使用すると、汎用 CPU と比較してトレーニング タスクと推論タスクの速度と効率を大幅に向上させることができます。トレーニングや分析に最適 コンピューティング負荷の高い同様のタスクに 適しています

アクセラレータ チップの例:

• 専用ハードウェアを備えた Google の Tensor Processing Unit（TPU） ディープ ラーニング用です。
• NVIDIA の GPU でもあります 並列処理を可能にするように設計されているため、 処理速度を上げることができます

accuracy

#fundamentals

正しい分類予測の数で割った値 割った数値です具体的には、次のことが求められます。

$$\text{Accuracy} = \frac{\text{correct predictions}} {\text{correct predictions + incorrect predictions }}$$

たとえば、40 件の予測を正しく行い、10 件の予測を誤ったモデルの精度は次のようになります。

$$\text{Accuracy} = \frac{\text{40}} {\text{40 + 10}} = \text{80%}$$

バイナリ分類では、正しい予測と誤った予測のさまざまなカテゴリに固有の名前が付けられます。したがって、バイナリ分類の精度の式は次のとおりです。

$$\text{Accuracy} = \frac{\text{TP} + \text{TN}} {\text{TP} + \text{TN} + \text{FP} + \text{FN}}$$

ここで

• TP は真陽性（正しい予測）の数です。
• TN は、真陰性（正しい予測）の数です。
• FP は偽陽性（誤った予測）の数です。
• FN は偽陰性（誤った予測）の数です。

2 つのモデルの精度を比較対照する precision と recall。

アイコンをクリックすると、追加のメモが表示されます。

状況によっては有用な指標ですが、他の状況では誤解を招く可能性があります。特に、精度は通常、指標として 画像を処理する分類モデルを評価する クラス不均衡なデータセット。

たとえば、ある特定の地域で雪が降る日数が 100 年あたり 25 日であるとします。 考えています。雪が降らない日（陰性クラス）が大きく 「雪の日」の降雪データセットが この都市はクラス不均衡がある 1 日に雪が降るか降らないかを予測するはずのバイナリ分類モデルが、毎日「雪なし」と予測するとします。このモデルは精度は高いものの、予測能力はありません。 次の表に、100 年間の予測の結果をまとめます。

カテゴリ	数値
TP	0
TN	36499
FP	0
FN	25

したがって、このモデルの精度は次のようになります。

accuracy = (TP + TN) / (TP + TN + FP + FN)
accuracy = (0 + 36499) / (0 + 36499 + 0 + 25) = 0.9993 = 99.93%

精度が 99.93% は非常に優秀な数値に見えますが、実際にはモデルに予測力はありません。

クラスのバランスが取れていないデータセットでトレーニングされたモデルを評価する場合、通常、精度と再現率は精度よりも有用な指標です。

---

詳細については、ML 集中講座の分類: 精度、再現率、適合率、関連指標をご覧ください。

アクション

#rl

強化学習では、エージェントが環境の状態を遷移するメカニズムです。エージェントは、以下を使用してアクションを選択します。 policy。

活性化関数

#fundamentals

ニューラル ネットワークが特徴とラベルの間の非線形（複雑）な関係を学習できるようにする関数。

よく使用される活性化関数は次のとおりです。

• ReLU
• シグモイド

活性化関数のグラフは単一の直線ではありません。たとえば、ReLU 活性化関数のグラフは 2 本の直線で構成されています。

シグモイド活性化関数のグラフは次のようになります。

アイコンをクリックすると例が表示されます。

ニューラル ネットワークでは、活性化関数はニューロンへのすべての入力の加重合計を操作します。加重合計を計算するため、ニューロンは 関連する値と重みの積を 返すことができますたとえば、 ニューロンへの関連入力は、以下の要素で構成されます。

入力値	入力重み
2	-1.3
-1	0.6
3	0.4

したがって、加重和は次のようになります。

weighted sum = (2)(-1.3) + (-1)(0.6) + (3)(0.4) = -2.0

このニューラル ネットワークの設計者が、ニューラル ネットワークを シグモイド関数: 活性化関数ですこの場合、ニューロンは シグモイドの -2.0 は約 0.12 です。したがって、ニューロンはニューラル ネットワークの次のレイヤに -2.0 ではなく 0.12 を渡します。次の図は、プロセスの関連部分を示しています。

---

詳細については、ML 集中講座のニューラル ネットワーク: 活性化関数をご覧ください。

能動的学習

アルゴリズムが学習するデータの一部を選択するトレーニング アプローチ。アクティブ ラーニングは、ラベル付きの例が不足している場合や、入手するのが高価な場合に特に有用です。やみくもに多様な情報を探し求めるのではなく、 ラベル付きサンプルの範囲を定め、アクティブ ラーニング アルゴリズムは 学習に必要な特定の範囲のサンプルを示します。

AdaGrad

モデルを再スケーリングする洗練された勾配降下アルゴリズムが 各パラメータの勾配を使用して、各パラメータを実質的に 独立した学習率。詳しくは、 こちらの AdaGrad の論文をご覧ください。

エージェント

#rl

強化学習では、 エンティティです。 お客様の期待する収益を最大化するためのポリシーを策定し、 インフラストラクチャの状態間の environment。

より一般的な意味で、エージェントとは、目標を達成するために一連のアクションを自律的に計画して実行し、環境の変化に適応できるソフトウェアです。たとえば、LLM ベースのエージェントは、強化学習ポリシーを適用するのではなく、LLM を使用してプランを生成できます。

アグロメーション クラスタリング

#clustering

階層型クラスタリングをご覧ください。

異常検出

外れ値を特定するプロセス。たとえば、平均値と ある特徴の標準偏差が 10 で 100 である場合、 異常検出で値 200 に不審な点が報告されます。

AR

拡張現実の略。

PR 曲線の下の面積

PR AUC（PR 曲線の下の面積）をご覧ください。

ROC 曲線の下の面積

AUC（ROC 曲線の下の面積）をご覧ください。

AI 全般

幅広い問題解決能力を提供する、人間に頼らないメカニズム 創造性、適応性ですたとえば、人工ニューラル 一般的なインテリジェンスは、テキストの翻訳、交響曲の作曲、 未知のゲームが登場します

人工知能

#fundamentals

高度なタスクを解決できる、人間以外のプログラムまたはモデル。 たとえば、テキストを翻訳するプログラムやモデル、放射線画像から疾患を特定するプログラムやモデルはどちらも人工知能を備えています。

ML は、正式には AI の一分野である インテリジェンスですしかし近年、一部の組織では AI の活用が進んでいます。 「AI」と「ML」を同じ意味で使用します。

Attention、

#language

ニューラル ネットワークで使用されるメカニズムのひとつで、 特定の単語や単語の一部の重要性を示します。Attention は モデルが次のトークン/単語を予測するために必要な情報量。 一般的なアテンション メカニズムは、入力セットの重み付き和で構成されます。各入力の重みは、ニューラル ネットワークの別の部分で計算されます。

セルフ アテンションと マルチヘッド セルフ アテンション: Transformer の構成要素。

LLM: 大規模言語とは どうでしょうか。 ML 集中講座をご覧ください。

属性

#fairness

特徴と同義です。

ML の公平性では、属性は個人に関連する特性を指すことが多いです。

属性サンプリング

#df

ディシジョン フォレストをトレーニングする戦術では、 ディシジョン ツリーでは、候補のうち、 特徴（条件を学習する場合） 通常、特徴のサブセットは、モデルごとに node。一方、属性サンプリングなしで決定木をトレーニングする場合、各ノードに対して考えられるすべての特徴が考慮されます。

AUC（ROC 曲線の下の面積）

#fundamentals

0.0 から 1.0 までの数字は、 バイナリ分類モデルの 正のクラスを分離する機能 ネガティブ クラス。 AUC が 1.0 に近いほど、モデルの 分離します。

たとえば、次の図は、正クラス（緑色の楕円）と負クラス（紫色の長方形）を完全に分離する分類モデルを示しています。この非現実的な完璧なモデルは AUC が 1.0 の場合:

逆に、次の図は分類器の結果を示しています。 モデルを定義します。このモデルの AUC は 0.5 です。

はい。前のモデルの AUC は 0.5 です。0.0 ではありません。

ほとんどのモデルは、この 2 つの極端な中間にあります。たとえば、次のモデルは正と負をある程度分離しているため、AUC は 0.5～1.0 の範囲にあります。

AUC では、分類しきい値に設定した値は無視されます。AUC は は、可能性のあるすべての分類しきい値を考慮します。

アイコンをクリックすると、AUC 曲線と ROC 曲線の関係を確認できます。

AUC は測定対象の面積 ROC 曲線。 たとえば、正例と負例を完全に分離するモデルの ROC 曲線は次のようになります。

AUC は、上の図のグレーの領域の面積です。この異例なケースでは、面積はグレー領域の長さ（1.0）にグレー領域の幅（1.0）を掛けたものです。このプロダクトは 1.0 と 1.0 の AUC は正確に 1.0 になります。 AUC スコア。

逆に、クラスを分離できない分類器の ROC 曲線は、 次のようなものです。このグレーの領域の面積は 0.5 です。

より一般的な ROC 曲線は、おおよそ次のようになります。

この曲線の下の面積を手動で計算するのは大変な作業です。そのため、通常はプログラムで AUC 値のほとんどを計算します。

---

アイコンをクリックすると、AUC のより正式な定義が表示されます。

AUC は、分類器が予測値よりも高い信頼度を持つ確率です。 陽性のサンプルが無作為に抽出され、陽性と 陽性の場合は、ランダムに選択されたネガティブな例が正になります。

---

詳細については、機械学習集中講座の分類: ROC と AUC をご覧ください。

拡張現実

#image

コンピュータ生成の画像をユーザーの現実世界ビューに重ねて、合成ビューを提供する技術。

オートエンコーダ

#language

#image

最も重要な情報を抽出することを学習する 表示されます。オートエンコーダは、エンコーダと decoder。オートエンコーダは次の 2 段階のプロセスに依存します。

1. エンコーダは、入力を（通常は）損失の多い低次元の （中級）形式にします。
2. デコーダは、元の入力の非可逆バージョンを、 低次元の形式を元の高次元の形式に変換できます。 できます。

オートエンコーダは、デコーダにシーケンスを エンコーダの中間形式から元の入力を再構築する できる限り近い位置に集計します中間形式は元の形式よりも小さい（低次元）ため、オートエンコーダは入力内のどの情報が重要かを学習する必要があります。出力は入力と完全には一致しません。

例:

• 入力データがグラフィックの場合、正確でないコピーは元のグラフィックに似ていますが、多少変更されています。おそらく、 元の画像からノイズを取り除いたり、画像を塗りつぶしたりします。 ドット抜けがあります
• 入力データがテキストの場合、オートエンコーダは、 元のテキストを模倣している（同じではありません）

変分オートエンコーダもご覧ください。

自動化バイアス

#fairness

自動化された意思決定システムが誤りを犯した場合でも、人間の意思決定者が自動化されていない情報よりも自動化された意思決定システムによる推奨事項を優先する場合。

公平性: バイアス をご覧ください。

AutoML

機械学習モデルを構築するための自動化プロセス。AutoML は、次のようなタスクを自動的に実行できます。

• 最も適切なモデルを検索します。
• ハイパーパラメータをチューニングします。
• データを準備します（データの準備、 特徴量エンジニアリング）。
• 生成されたモデルをデプロイします。

AutoML は、機械学習パイプラインの開発にかかる時間と労力を節約し、予測精度を向上させることができるため、データ サイエンティストに役立ちます。また、複雑な構成になるため、専門家でなく ML タスクをより身近なものにします。

詳細については、機械学習集中講座の自動 ML（AutoML）をご覧ください。

自己回帰モデル

#language

#image

#generativeAI

独自の過去のモデルに基づいて予測を推測するモデル 説明します。たとえば、自己回帰言語モデルは、 トークン: 以前に予測されたトークンに基づきます。 すべて Transformer ベース 大規模言語モデルは自己回帰的です。

対照的に、GAN ベースの画像モデルは通常、自己回帰的ではない 反復処理ではなく、単一のフォワードパスで画像を生成するため できます。ただし、特定の画像生成モデルは自己回帰的です。 段階的に画像を生成します。

予備損失

損失関数 - ニューラル ネットワークのモデルのメイン損失関数とともに使用され、重みがランダムに初期化される初期反復処理中にトレーニングを加速するのに役立ちます。

補助損失関数は、効果的な勾配を前のレイヤにプッシュします。これにより トレーニング中の収束 勾配消失問題に対処する方法を紹介します。

平均適合率

ランク付けされた一連の結果のパフォーマンスを要約するための指標。 平均適合率は、トレーニングデータから 関連する各結果に対する適合率値（各結果は 前の結果と比較して再現率が上昇するランキング リスト）。

PR 曲線の下の面積もご覧ください。

軸に揃えられた条件

#df

ディシジョン ツリーでは、単一の特徴のみを含む条件。たとえば、area が特徴の場合、次は軸に沿った条件です。

area > 200

「傾斜条件」も参照してください。

B

誤差逆伝播法

#fundamentals

ニューラル ネットワークで勾配降下を実装するアルゴリズム。

ニューラル ネットワークのトレーニングには多数の反復が必要 次の 2 段階のサイクルで行われます。

1. 順伝播中、システムはサンプルのバッチを処理して予測を生成します。システムは各トークンを 予測を各ラベル値に付加します。違いは、 予測とラベル値はその例の損失です。 システムは、すべてのサンプルの損失を集計して、現在のバッチの合計損失を計算します。
2. バックワード パス（バックプロパゲーション）の間は、損失が すべてのニューロンの重みを 非表示レイヤ。

多くの場合、ニューラル ネットワークは多くの隠れ層にまたがって多くのニューロンを含んでいます。 これらのニューロンはそれぞれ、異なる形で全体的な損失に寄与しています。 誤差逆伝播法により重みの増減 適用できます。

学習率は、学習率を 各バックワード パスが各重みを増減する度合い。 学習率が大きいほど、各重みの増減は小さい学習率よりも大きくなります。

計算では、誤差逆伝播法は チェーンルール。 微積分学から得られたものですつまり、誤差逆伝播法では 誤差の偏導関数 必要があります

数年前、ML 担当者はバックプロパゲーションを実装するためのコードを記述する必要がありました。Keras などの最新の ML API では、誤差逆伝播法が実装されています。さて、

詳細については、ML 集中講座のニューラル ネットワークをご覧ください。

バギング

#df

アンサンブルをトレーニングするためのメソッドで、 構成要素のモデルが、トレーニングのランダムなサブセットでトレーニングされる 置換でサンプリングされた例。 たとえば、ランダム フォレストは、 バギングでトレーニングされたディシジョン ツリー。

バギングという用語は、ブートストラップ アグリゲーションの短縮形です。

ランダム フォレストをご覧ください。 デシジョン フォレスト コースをご覧ください。

言葉のバッグ

#language

フレーズやパッセージ内の単語の表現。 表示されます。たとえば、bag of words という単語は、 次の 3 つのフレーズを同じように検索します。

• 犬がジャンプする
• 犬に飛びかかる
• 犬が

各単語はスパース ベクトルのインデックスにマッピングされます。 ベクトルには語彙内のすべての単語に対するインデックスがある。たとえば、「犬が飛び跳ねる」というフレーズは、単語「犬」、「飛び跳ねる」に対応する 3 つのインデックスでゼロ以外の値を持つ特徴ベクトルにマッピングされます。ゼロ以外の値は次のいずれかになります。

• 1 の場合は単語の存在を示します。
• バッグの中に単語が出現する回数。たとえば、フレーズが「the maroon dog is a dog with maroon fur」の場合、maroon と dog の両方が 2 として表され、他の単語は 1 として表されます。
• 単語がバッグに出現する回数のログなど、その他の値。

ベースライン

別のモデル（通常はより複雑なモデル）のパフォーマンスを比較するための参照点として使用されるモデル。たとえば、 ロジスティック回帰モデルが ディープモデルのベースラインとして最適です。

ベースラインを使用すると、モデル開発者は特定の問題に対して 新しいモデルに対して新しいモデルで達成しなければならない最低限の期待パフォーマンス 有用とは言えません

Batch

#fundamentals

1 回のトレーニングの反復で使用されるサンプルのセット。バッチサイズによって、バッチ内のサンプル数が決まります。

バッチとエポックの関連については、エポックをご覧ください。

線形回帰: ハイパーパラメータ をご覧ください。

バッチ推論

#TensorFlow

#GoogleCloud

複数の予測結果の予測 ラベルなしのサンプルを小さなサイズに分割 使用します。

バッチ推論では、アクセラレータ チップの並列化機能を利用できます。つまり、複数のアクセラレータがラベルのないサンプルの異なるバッチで予測を同時に推論できるため、1 秒あたりの推論数が大幅に増加します。

本番環境 ML システム: 静的と動的 推論 をご覧ください。

バッチ正規化

隠れ層の活性化関数の入力または出力の正規化。バッチ正規化では、 次のような利点があります

• 保護することでニューラル ネットワークの安定性を高めます。 外れ値の重みに対してトレーニングされます。
• 学習率を高くすると、トレーニングを高速化できます。
• 過学習を低減します。

バッチサイズ

#fundamentals

バッチ内のサンプルの数。 たとえば、バッチサイズが 100 の場合、モデルは イテレーションあたり 100 の例。

一般的なバッチサイズ戦略は次のとおりです。

• 確率的勾配降下法（SGD）: バッチサイズが 1 です。
• フルバッチ。バッチサイズは、全体のサンプル数です。 トレーニング セット。たとえば、トレーニング セットが 100 万個の例が含まれる場合、バッチサイズは 100 万個になります。 説明します。通常、フルバッチは非効率的な戦略です。
• ミニバッチ。バッチサイズは通常 10 と 1,000 です。通常、ミニバッチが最も効率的な戦略です。

詳しくは以下をご覧ください。

• 本番環境の ML システム: 静的推論と動的推論（ML クラッシュ コース）。
• ディープ ラーニングのチューニング ハンドブックをご覧ください。

ベイズ ニューラル ネットワーク

重みと出力の不確実性を考慮した確率的ニューラル ネットワーク。標準的なニューラル ネットワークは、 回帰モデルは通常、スカラー値を予測します。 たとえば、標準モデルは住宅の価格を予測し、 853,000 人です。一方、ベイジアン ニューラル ネットワークは値の分布を予測します。たとえば、ベイジアン モデルは、標準偏差 67,200 の住宅価格 853,000 を予測します。

ベイズ ニューラル ネットワークは <ph type="x-smartling-placeholder"></ph> ベイズTheorem 重みと予測の不確実性を計算できますベイズニューラル 不確実性を定量化することが重要な場合に役立ちます。 分析することにしましたベイズ ニューラル ネットワークも 過学習を防ぐ。

ベイズ最適化

計算コストの高い目的関数を最適化する確率回帰モデル手法。ベイズ学習手法を使用して不確実性を定量化するサロゲートを最適化します。以降 ベイズ最適化自体にもコストがかかり、通常は最適化に使用される 評価にコストがかかるタスクで、パラメータの数が少なく、 ハイパーパラメータを選択する。

ベルマン方程式

#rl

強化学習では、最適解で次のアイデンティティが Q 関数:

\[Q(s, a) = r(s, a) + \gamma \mathbb{E}_{s'|s,a} \max_{a'} Q(s', a')\]

強化学習アルゴリズムは、 次の更新ルールで Q-learning を作成します。

\[Q(s,a) \gets Q(s,a) + \alpha \left[r(s,a) + \gamma \displaystyle\max_{\substack{a_1}} Q(s',a') - Q(s,a) \right] \]

ベルマン方程式は強化学習以外にも応用できる 動的プログラミングです。詳しくは、 <ph type="x-smartling-placeholder"></ph> ベルマン方程式に関する Wikipedia のエントリ。

BERT（双方向エンコーダ） Transformers による表現）

#language

テキスト表現のモデル アーキテクチャ。トレーニング済みの BERT モデルは、テキスト分類用の大規模なモデルの一部として機能できます。 学習します

BERT には次の特徴があります。

• Transformer アーキテクチャを使用しているため、 セルフ アテンションを重視します。
• Transformer の encoder 部分を使用します。エンコーダのジョブ 特定のタスクを実行するのではなく、 学習します。
• 双方向である。
• マスキングを使用: 教師なしトレーニング。

BERT のバリエーションには次のようなものがあります。

• ALBERT これは A L BERT の頭字語です。
• LaBSE。

BERT の概要については、オープンソース化された BERT: 自然言語処理の最先端の事前トレーニングをご覧ください。

バイアス（倫理 / 公平性）

#fairness

#fundamentals

1. 固定観念、偏見やえこひいき 表示することもできます。これらのバイアスは、データ収集や データの解釈、システムの設計、ユーザーとの 考えることができますこのタイプのバイアスには次のものがあります。

• 自動化バイアス
• 確証バイアス
• 実験者のバイアス
• グループ帰属バイアス
• 暗黙のバイアス
• 所属グループのバイアス
• 群外の均一性バイアス

2. サンプリングまたは報告手順によって生じる体系的なエラー。 この種のバイアスには、次のようなものがあります。

• カバレッジ バイアス
• 回答率バイアス
• 参加バイアス
• 報告バイアス
• サンプリング バイアス
• 選択バイアス

ML モデルのバイアス項と混同しないでください。 または予測バイアス。

公平性: バイアス ML 集中講座をご覧ください。

バイアス（数学）またはバイアス項

#fundamentals

起点からの切片またはオフセット。バイアスは モデルです。このアイコンは、名前が 次のとおりです。

• b
• w₀

たとえば、バイアスは次の式の b です。

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

単純な 2 次元の線の場合、バイアスは「y 切片」を意味します。たとえば、次の図の線のバイアスは 2 です。

バイアスが存在するのは、すべてのモデルが原点（0,0）から始まるわけではありません。たとえば 遊園地への入場料は 2 ユーロで、 お客様の滞在 1 時間あたり 0.5 ユーロ。したがって、合計費用をマッピングするモデルには 2 ユーロの最小費用があるため、バイアスが 2 になります。

バイアスは、倫理と公平性に関するバイアスや予測バイアスと混同しないでください。

線形回帰をご覧ください。 をご覧ください。

双方向

#language

ターゲット テキストの区間の前と後の両方のテキストを評価するシステムを説明する用語。一方、単方向システムは、ターゲット セクションのテキストの前にあるテキストのみを評価します。

たとえば、次の質問で下線付きの単語の確率を決定する必要があるマスクされた言語モデルについて考えてみましょう。

お客様の _____ は

一方通行の言語モデルでは、「What」、「is」、「the」という単語から得られるコンテキストのみに基づいて確率を算出する必要があります。一方、双方向言語モデルは「with」と「you」からコンテキストを取得できるため、モデルがより正確な予測を生成できる可能性があります。

双方向言語モデル

#language

言語モデルは、特定の単語が出現する確率を 基づくテキストの抜粋で、特定のトークンが 前と後のテキスト。

ビグラム

#seq

#language

N=2 である N グラム。

バイナリ分類

#fundamentals

相互に排他的な 2 つのクラスのうちの 1 つを予測する分類タスクの一種。

• 陽性クラス
• 陰性クラス

たとえば、次の 2 つの ML モデルは、それぞれが バイナリ分類:

• メール メッセージが 「迷惑メール」（肯定的なクラス）または「迷惑メール以外」（除外クラス）です。
• 医学的症状を評価し、患者が 特定の疾患（陽性クラス）を持っているか、ない あります。

マルチクラス分類とは対照的です。

ロジスティック回帰と分類しきい値もご覧ください。

分類をご覧ください。 をご覧ください。

バイナリ条件

#df

ディシジョン ツリーの条件 通常ははいといいえの 2 つしか結果がありません たとえば、バイナリ条件は次のとおりです。

temperature >= 100

「ノンバイナリー条件」は、

詳細については、決定木コースの条件の種類をご覧ください。

ビニング

バケット化と同義。

BLEU（Bilingual Evaluation Understudy）

#language

翻訳の品質を示す 0.0 ～ 1.0 のスコア （英語とロシア語など）。BLEU スコア 1.0 は完全な翻訳を示します。BLEU スコアが 0.0 の場合は ひどい訳です。

ブースト

モデルが現在誤って分類しているサンプルを重み付けして、シンプルで精度が低い一連の分類子（「弱い」分類子）を反復的に組み合わせて、精度の高い分類子（「強い」分類子）にする機械学習手法。

勾配ブースト決定 木？ デシジョン フォレスト コースをご覧ください。

境界ボックス

#image

画像内の領域を中心とする長方形の (x, y) 座標は、 下の画像の犬のように入力します。

ブロードキャスト

行列数学演算のオペランドの形状を拡張して、 そのオペレーションと互換性のあるディメンション。たとえば 線形代数では、行列の加算演算で 2 つのオペランドが 同じ次元にする必要があります。したがって、形状が（m、n）のマトリックスを長さが n のベクトルに追加することはできません。ブロードキャストでは、各列に同じ値を複製することで、長さ n のベクトルを形状 (m, n) のマトリックスに仮想的に拡張し、このオペレーションを可能にします。

たとえば、次のような定義の場合、線形代数では A と B は次元が異なるためです。

A = [[7, 10, 4],
     [13, 5, 9]]
B = [2]

一方、ブロードキャストでは、B を次のように仮想的に拡張することで、A+B のオペレーションが可能になります。

 [[2, 2, 2],
  [2, 2, 2]]

したがって、A+B は有効なオペレーションとなります。

[[7, 10, 4],  +  [[2, 2, 2],  =  [[ 9, 12, 6],
 [13, 5, 9]]      [2, 2, 2]]      [15, 7, 11]]

詳細については、NumPy でのブロードキャストの説明をご覧ください。

バケット化、

#fundamentals

1 つの特徴を複数のバイナリ特徴に変換する 「バケット」と呼び、 通常は値の範囲に基づきます。切り取られた対象物は通常、 継続的な機能。

たとえば、温度を 1 つの単語として表すのではなく、 連続浮動小数点特徴を使用して、特定の温度範囲を 次のような個別のバケットに分割できます。

• 摂氏 10 度以下は「コールド」バケットになります。
• 11～24 度が「温暖」バケットになります。
• 25 度以上は「暖かい」バケットになります。

モデルは、同じバケット内のすべての値を同じ方法で処理します。たとえば、値 13 と 22 はどちらも温帯バケットに含まれているため、モデルは 2 つの値を同じ方法で処理します。

アイコンをクリックすると、追加のメモが表示されます。

温度を連続特徴量で表現すると、モデルは 温度を 1 つの特徴として扱います。温度を表す場合 3 つのバケットに分類すると、モデルは各バケットを個別の特徴として扱います。 つまり、モデルは、各バケットとラベルとの関係を個別に ラベル。たとえば、 線形回帰モデルは、 バケットごとに個別の重み。

バケット数を増やすと、モデルが学習する関係の数が増えるため、モデルの複雑さが増します。たとえば、コールド、温室、暖かいバケットは基本的に、 モデルに 3 つの個別の特徴を 提供します「新規顧客の獲得」目標を さらに 2 つのバケット（フリーズとホットなど）を 5 つの個別の特徴量でトレーニングする必要があります。

作成するバケットの数や、各バケットの範囲をどのように把握すればよいですか？通常、回答を得るにはかなりのテストが必要です。

---

数値データ: ビニング をご覧ください。

C

調整レイヤ

予測後の調整。通常は予測バイアスを考慮して行います。調整された予測と 観測されたラベルセットの分布と一致している必要があります。

候補生成

#recsystems

おすすめシステムによって選択された最初の一連の最適化案。たとえば、10 万タイトルを提供する書店について考えてみましょう。候補生成フェーズでは、特定のユーザーに適した書籍のリストが、500 冊程度に絞られます。しかし、500 冊でもユーザーにおすすめするには多すぎます。その後はより高価ですが レコメンデーション システムの各フェーズ（スコアリング、 再ランキングなど）です。 役立つことがあります。

詳細については、候補の生成 概要 をご覧ください。

候補サンプリング

すべての確率分布の確率を計算するトレーニング時間の最適化 正のラベル。たとえば、 ソフトマックス。ただし、ランダムな ネガティブラベルのサンプルです。たとえば、beagle と dog というラベルが付いた例が与えられた場合、候補サンプリングでは、次に示すものの予測確率と対応する損失項が計算されます。

• beagle
• dog
• 残りの陰性クラス（cat、 「ロリポップ」、「フェンス」など）。

負のクラスは、正のクラスが常に適切な正の強化を得ている限り、負の強化を頻繁に受けなくても学習できるという考え方です。これは実際に実証されています。

候補のサンプリングはトレーニング アルゴリズムよりも計算効率が高い すべての陰性クラスの予測を計算する、 陰性クラスの数が非常に多くなっています。

カテゴリデータ

#fundamentals

可能な値の特定のセットを持つ特徴量。たとえば、traffic-light-state という名前のカテゴリ特徴について考えてみましょう。この特徴には、次の 3 つの値のいずれかしか設定できません。

• red
• yellow
• green

traffic-light-state をカテゴリ特徴量として表現することで、モデルは red、green、yellow が運転行動に与える影響の違いを学習できます。

カテゴリ特徴は、離散特徴とも呼ばれます。

数値データとは対照的です。

カテゴリ データ をご覧ください。

因果言語モデル

#language

単方向言語モデルと同義。

双方向言語モデルを参照して、 言語モデリングにおけるさまざまな方向性のアプローチを対比します。

centroid

#clustering

k 平均法またはk 中央値アルゴリズムによって決定されたクラスタの中心。たとえば、k が 3 の場合、K 平均法または K 中央値アルゴリズムは 3 つのセントロイドを見つけます。

クラスタリング アルゴリズムをご覧ください。 をご覧ください。

セントロイド ベースのクラスタリング

#clustering

データを整理するクラスタリング アルゴリズムのカテゴリ 非階層クラスタに分割できます。K 平均法が最も広く、 セントロイドベースのクラスタリング アルゴリズムを使用します。

対比する階層型クラスタリング 学習します。

詳細については、クラスタリング コースのクラスタ化アルゴリズムをご覧ください。

Chain-of-Thought プロンプト

#language

#generativeAI

大規模言語モデル（LLM）が推論を段階的に説明するように促すプロンプト エンジニアリング手法。たとえば、次のプロンプトについて考えてみましょう。特に 2 番目の文に注目してください。

0 から 60 までの自動車では、ドライバーが経験する重力勢はいくつになるでしょう。 マイル/h 7 秒？関連するすべての計算を解答に表示します。

LLM のレスポンスは次のようになります。

• 0、60、7 の値を代入して、一連の物理公式を表示する 適切な場所に配置する必要があります。
• これらの数式が選択された理由と、さまざまな変数の意味を説明します。

思考プロセス プロンプトを使用すると、LLM はすべての計算を実行するため、より正確な回答が得られる可能性があります。さらに、思考の流れプロンプトを使用すると、ユーザーは LLM のステップを調べて、回答が妥当かどうかを判断できます。

チャット

#language

#generativeAI

ML システムとやり取りされる内容。通常は、 大規模言語モデル。 チャットの以前のやり取り （入力した内容と大規模言語モデルがどのように応答したか）が、 コンテキストに基づいて説明します。

chatbot は大規模言語モデルのアプリケーションです。

チェックポイント

モデルのパラメータの状態をキャプチャするデータ。次のいずれかです。 トレーニング中または完了後に行われます。たとえば トレーニング中に 次のことが可能です。

1. トレーニングを意図的に停止する、またはトレーニングを停止した結果として、 表示されます。
2. チェックポイントをキャプチャします。
3. 後で、別のハードウェアでチェックポイントを再読み込みします。
4. トレーニングを再開します。

クラス

#fundamentals

ラベルが属することができるカテゴリ。 例:

• バイナリ分類モデルで、 「Spam」の 2 つのクラスを「Spam」と「Not Spam」にできます。
• マルチクラス分類モデルの場合 犬種を識別する場合、クラスは Poodle、beagle、Pug、 といった具合です

分類モデルはクラスを予測します。これに対して、回帰モデルは です。

分類をご覧ください。 をご覧ください。

分類モデル

#fundamentals

予測がクラスであるモデル。 たとえば、次のすべてが分類モデルです。

• 入力文の言語を予測するモデル（フランス語、スペイン語？ イタリア語）
• 樹木の種類（Maple、オーク？バオバブ？）。
• 特定の医学的状態の陽性または陰性のクラスを予測するモデル。

一方、回帰モデルはクラスではなく数値を予測します。

一般的な分類モデルには次の 2 種類があります。

• バイナリ分類
• マルチクラス分類

分類しきい値

#fundamentals

バイナリ分類では、 元の数値を変換する 0 ～ 1 の数値で ロジスティック回帰モデル 陽性のクラスの予測に変換する またはネガティブ クラス。 分類しきい値は、モデル トレーニングによって選択される値ではなく、人間が選択する値です。

ロジスティック回帰モデルは、0～1 の元の値を出力します。以下の手順を行います。

• この元の値が分類しきい値より大きい場合、正クラスが予測されます。
• この未加工の値が分類しきい値より小さい場合、 予測されます。

たとえば、分類しきい値が 0.8 であるとします。生の値が が 0.9 の場合、モデルは陽性のクラスと予測します。未加工の値が 0.7 の場合、モデルは陰性のクラスを予測します。

分類しきい値の選択は、分類しきい値の数に 偽陽性と 偽陰性。

アイコンをクリックすると、追加のメモが表示されます。

モデルやデータセットが進化するにつれ、エンジニアは トレーニングされます。分類しきい値が変更されると、正のクラスの予測が突然負のクラスになることがあります。その逆も同様です。

たとえば、バイナリ分類疾患予測モデルについて考えてみましょう。 初年度にシステムが稼働した場合、次のようになります。

• 特定の患者に対する生の値は 0.95 です。
• 分類しきい値は 0.94 です。

したがって、システムは陽性のクラスを診断します。（患者は息を呑み、「気分が悪い」）

1 年後、値は次のようになります。

• 同じ患者の元の値は 0.95 のままです。
• 分類しきい値が 0.97 に変更されます。

したがって、システムはその患者を陰性クラスとして再分類します。 （「今日も一日おめでとう！病気ではありません」）同じ患者。別の診断。

---

しきい値と混同 マトリックス をご覧ください。

クラスの不均衡なデータセット

#fundamentals

分類問題のデータセットで、単語の総数は 各クラスのラベルの数が大きく異なる。 たとえば、2 つのラベルが次のように分割されているバイナリ分類データセットについて考えてみましょう。

• 1,000,000 個の否定ラベル
• 10 個の陽性ラベル

ネガティブ ラベルとポジティブ ラベルの比率は 100,000:1 であるため、これはクラスのバランスが取れていないデータセットです。

一方、次のデータセットはクラス不均衡ではありません。理由は次のとおりです。 正のラベルに対する負のラベルの比率は比較的 1 に近い:

• 517 件の否定ラベル
• 483 個の正のラベル

マルチクラス データセットはクラス不均衡になることもあります。たとえば、次のマルチクラス分類データセットも、1 つのラベルの例が他の 2 つよりもはるかに多いため、クラスの不均衡があります。

• クラスが「green」の 1,000,000 個のラベル
• クラスが「purple」の 200 個のラベル
• クラス「orange」の 350 個のラベル

エントロピー、マジョリティ クラス、 および少数派クラス。

クリッピング

#fundamentals

次のいずれか、または両方を行うことで外れ値を処理する手法。

• 最大値を超える特徴値を削減する 最小しきい値まで下がります
• 最小しきい値を下回る特徴値の増加 選択します。

たとえば、特定の特徴の値の 0.5% 未満が 40～60 の範囲外にあるとします。この場合は、以下のことができます。

• 60（最大しきい値）を超えるすべての値をクリップして、ちょうど 60 にします。
• 40（最小しきい値）未満のすべての値をクリップして、ちょうど 40 にします。

外れ値はモデルに損傷を与え、トレーニング中に重みのオーバーフローを引き起こすことがあります。また、異常値によって、 accuracy などの指標。クリッピングは、損傷を制限する一般的な手法です。

勾配クリッピングは、トレーニング中に勾配値を指定された範囲内に強制します。

数値データ: 正規化 をご覧ください。

Cloud TPU

#TensorFlow

#GoogleCloud

マシンの高速化を目的として設計された専用のハードウェア アクセラレータ 学びます。

クラスタリング

#clustering

関連する例のグループ化（特に 教師なし学習。すべての サンプルをグループ化すると、人間が必要に応じて各クラスタに意味を供給できます。

数多くのクラスタリング アルゴリズムが存在します。たとえば、K 平均法アルゴリズムは、次の図のように、重心への近さに基づいてサンプルをクラスタ化します。

人間の研究者がクラスタをレビューして、たとえば クラスタ 1 に「準木」というラベルを付けるクラスタ 2 は「フルサイズのツリー」です。

もう 1 つの例として、画像データに基づくクラスタリング アルゴリズムを 中心点からの距離の例を以下に示します。

クラスタリングに関するコースをご覧ください。 をご覧ください。

共同適応

ニューロンが、ネットワーク全体の動作ではなく、特定の他のニューロンの出力にほぼ完全に依存してトレーニング データ内のパターンを予測する場合。共同適応を引き起こすパターンが 検証データに存在しない場合、協調適応は過学習の原因となります。 ドロップアウト正規化は、ドロップアウトによりニューロンが特定の他のニューロンにのみ依存できないため、協調適応を減らします。

協調フィルタリング

#recsystems

1 人のユーザーの興味 / 関心に関する予測を行う 自動的に最適化されます。コラボレーション フィルタリング レコメンデーション システムでよく使用されます。

詳細については、レコメンデーション システム コースの協調フィルタリングをご覧ください。

コンセプト ドリフト

特徴とラベルの間の関係の変化。 時間の経過とともに、コンセプト ドリフトによってモデルの品質が低下します。

トレーニング中に、モデルは特徴量とラベルの関係を トレーニング セットでそのラベルが付けられます。トレーニング セットのラベルが現実世界を適切に表している場合、モデルは現実世界で適切な予測を行う必要があります。しかし、コンセプトドリフトにより、モデルの 時間の経過とともに低下する傾向があります

たとえば、特定の自動車モデルが「燃費が良い」かどうかを予測するバイナリ分類モデルについて考えてみましょう。つまり、特徴は次のようなものになります。

• 車重量
• エンジン圧縮
• 感染タイプ

ラベルは次のいずれかになります。

• 燃費効率
• 燃料効率が悪い

しかし、「燃費の良い車」のコンセプトは常に変化しています。1994 年に「燃費効率が高い」とラベル付けされた自動車モデルは、2024 年にはほぼ確実に「燃費効率が低い」とラベル付けされます。コンセプト ドリフトが発生しているモデルは、時間の経過とともに有用な予測が得られにくくなります。

非定常性と比較対照してください。

アイコンをクリックすると、追加のメモが表示されます。

コンセプト ドリフトを補正するには、次の割合よりも速くモデルを再トレーニングします。 説明しますたとえば、コンセプト ドリフトによってモデルの精度が 有意なマージンを 2 か月ごとに取得して、モデルをより頻繁に再トレーニングする 2 か月に 1 回です。

---

商品の状態（condition）

#df

ディシジョン ツリーでは、式を評価するノード。たとえば、インフラストラクチャの ディシジョン ツリーには次の 2 つの条件があります。

条件は、分割またはテストとも呼ばれます。

葉とのコントラスト条件。

関連項目:

• バイナリ条件
• ノンバイナリー条件。
• aligned-conditions
• oblique-condition

条件の種類をご覧ください。 デシジョン フォレスト コースをご覧ください。

打ち合わせ

#language

幻覚と同義。

技術的には、「幻覚」よりも「混同」のほうが正確な用語でしょう。 しかし、ハルシネーションが最初に普及しました。

構成

モデルのトレーニングに使用される初期プロパティ値を割り当てるプロセス。次のものがあります。

• モデルの構成レイヤ
• データの場所
• 次のようなハイパーパラメータ
  • 学習率
  • 反復
  • オプティマイザー
  • 損失関数

ML プロジェクトでは、特別な API を使用して構成を行うことができます。 次のような構成ライブラリを使用します。

• HParam
• ジン
• Fiddle

確証バイアス

#fairness

既存の信念や仮説を裏付けるような方法で情報の検索、解釈、優先、回想を行う傾向。ML デベロッパーが誤って収集またはラベル付けする可能性がある データから導き出したデータと 考えています確証バイアスは暗黙的バイアスの一種です。

テスト担当者のバイアスは、既存の仮説が確認されるまでテスト担当者がモデルのトレーニングを継続する、確証バイアスの一種です。

混同行列

#fundamentals

分類モデルが行った正しい予測と誤った予測の数をまとめた NxN 表。たとえば、二値分類モデルの次の混同行列について考えてみましょう。

	腫瘍（予測）	腫瘍以外（予測）
がん（グラウンド トゥルース）	18（TP）	1（FN）
がん以外（グラウンド トゥルース）	6（FP）	452（TN）

上記の混同行列は、次のことを示しています。

• 正解ラベルが「腫瘍」の 19 件の予測のうち、モデルは 18 件を正しく分類し、1 件を誤って分類しました。
• グラウンド トゥルースが非腫瘍であった 458 件の予測のうち、モデルは 正しく分類されたのは 452 で、誤って 6 に分類されました。

マルチクラス分類の問題の混同行列は、間違いのパターンを特定するのに役立ちます。たとえば、3 種類のアヤメ（Virginica、Versicolor、Setosa）を分類する 3 クラスのマルチクラス分類モデルの混同行列について考えてみましょう。グラウンド トゥルースがバージニア州だったとき、 混同行列により、モデルが誤認する可能性が非常に高いことが セトサより Versicolor を予測する:

	セトサ（予測）	バーシカラー（予測）	ヴァージニア（予測）
Setosa（グラウンド トゥルース）	88	12	0
Versicolor（グラウンド トゥルース）	6	141	7
バージニア（グラウンド トゥルース）	2	27	109

さらに別の例として、混同行列を見ると、モデルのトレーニングに 認識しようとすると、誤って 4 ではなく 9 と予測されがちです。 誤って 7 ではなく 1 と予測してしまったりします。

混同行列は、 適合率を含む、さまざまなパフォーマンス指標 再現率。

選挙区の解析

#language

文を小さな文法構造（「構成要素」）に分割する。 ML システムの後方の部分（API など）は、 自然言語理解モデル は元の文よりも構成要素を簡単に解析できます。たとえば、次の文について考えてみましょう。

友だちが 2 匹の猫を育てました。

選挙区パーサーは、この文を次のように分割できます。 2 つの構成要素があります。

• My Friend は名詞句です。
• adopted Two cats は動詞句です。

これらの構成要素は、さらに小さな構成要素に細分化できます。 たとえば、動詞句

2 匹の猫を飼い始めた

はさらに次の 2 つに分類できます。

• adopted は動詞です。
• 2 匹の猫も名詞句です。

コンテキスト化された言語のエンベディング

#language

#generativeAI

ネイティブの人間の話者のように単語やフレーズを「理解」することに近いエンベディング。コンテキスト化された言語 エンベディングでは、複雑な構文、セマンティクス、コンテキストを理解できます。

たとえば、英語の単語「cow」のエンベディングについて考えてみましょう。古いエンベディング たとえば word2vec は英語を表す エンベディング空間内の距離が から 雄牛までの距離は、ewe（メスの羊）から （オスの羊）またはメスからオスに。コンテキスト化された言語 エンベディングでは、英語を話すユーザーがいることを認識することで、 「牛」または「雄牛」を意味する「cow」はカジュアルな意味で使います。

コンテキスト ウィンドウ

#language

#generativeAI

特定の期間内にモデルが処理できるトークンの数 prompt。コンテキスト ウィンドウが大きいほど、モデルはより多くの情報を使用できるため、プロンプトに一貫性のある回答を提供できます。

連続的な特徴

#fundamentals

温度や重量など、無限の値の範囲を持つ浮動小数点特徴量。

離散特徴とは対照的です。

便宜的サンプリング

迅速に実行するために科学的に収集されていないデータセットを使用する 学びました。後で、科学的に収集されたデータセットに切り替えることが重要です。

収束

#fundamentals

損失値の変化がほとんどないか、またはほとんど変化していないときに到達する状態 イテレーションごとにはまったくありません。たとえば、次のようになります。 損失曲線は、約 700 回の反復で収束することを示唆しています。

追加のトレーニングでモデルが改善されなくなると、モデルは収束します。

ディープラーニングでは、損失値が多くの反復処理で一定またはほぼ一定のままになり、最終的に減少することがあります。損失値が長期間一定の場合、一時的に収束したように見えることがあります。

早期停止もご覧ください。

詳細については、ML 集中講座のモデルの収束と損失曲線をご覧ください。

凸関数

関数のグラフの上にある領域が凸集合である関数。プロトタイプの凸関数は、 文字 U のような形にします。たとえば、次の関数はすべて凸関数です。

一方、次の関数は凸ではありません。また、 グラフの上の領域は凸集合ではありません。

厳密な凸関数には局所的な最小値が 1 つあり、 グローバルな最小値でもあります。古典的な U 字型関数は厳密凸関数です。ただし、一部の凸関数は （直線など）は U 字型ではありません。

アイコンをクリックすると、計算の詳細を確認できます。

次のような、一般的な損失関数の 次は、凸関数です。

• L₂ 損失
• ログ損失
• L₁ 正規化
• L₂ 正規化

勾配降下法の多くのバリエーションでは、厳密凸関数の最小値に近い点が確実に見つかります。同様に 多くのバリエーションが 確率的勾配降下法では、確率分布が （ただし、保証ではありません） 必要があります。

2 つの凸関数の合計（たとえば、 L₂ 損失 + L₁ 正則化）は凸関数です。

ディープモデルは決して凸関数ではありません。驚くべきことに、組織のために設計された 凸最適化では、 いずれにしても ディープネットワークでは グローバルな最小値であるとは限りません。

---

詳細については、ML 集中講座の収束と凸関数をご覧ください。

凸最適化

次のような数学的手法を使用するプロセス 勾配降下法を使って 凸関数の最小値。 機械学習の多くの研究は、さまざまな問題を凸最適化問題として定式化し、それらの問題をより効率的に解決することに焦点を当てています。

詳細については、 Convex 最適化。

凸集合

ユークリッド空間のサブセットで、サブセット内の任意の 2 点間を結ぶ線がサブセット内に完全に収まる。たとえば、次の 2 つの形状は凸集合です。

一方、次の 2 つの図形は凸集合ではありません。

畳み込み

#image

数学では、さりげなく言うと 2 つの関数が混ざり合っています。ML では、畳み込みによって畳み込みフィルタと入力行列が混合され、重みがトレーニングされます。

機械学習における「畳み込み」という用語は、多くの場合、畳み込み演算または畳み込みレイヤの省略形として使用されます。

畳み込み演算がなければ、ML アルゴリズムは 大規模なテンソル内の各セルに対して、個別の重みを設定します。たとえば、2K x 2K の画像で機械学習アルゴリズムをトレーニングする場合、400 万個の個別の重みを検出する必要があります。畳み込み演算のおかげで すべてのセルの重みを見つけるだけで済むので、 畳み込みフィルタは、 トレーニングに必要なメモリの量です畳み込みフィルタが セル間で複製され、各セルが乗算されて フィルタで絞り込みます。

詳細については、画像分類コースの畳み込みニューラル ネットワークの概要をご覧ください。

畳み込みフィルタ

#image

畳み込み演算の 2 つのアクターの 1 つ。（もう一方のアクターは 入力行列のスライスです）。畳み込みフィルタは、入力マトリックスと同じランクを持ち、サイズが小さいマトリックスです。たとえば、28x28 の入力行列が与えられた場合、フィルタは 28x28 より小さい任意の 2D 行列にすることができます。

写真操作では、畳み込みフィルタのすべてのセルが 通常は 1 と 0 の定数パターンに設定されますML では 通常、畳み込みフィルタには乱数がシード化され、 ネットワークが理想的な値をトレーニングします。

畳み込みをご覧ください。 画像分類コースをご覧ください

畳み込みレイヤ

#image

ディープ ニューラル ネットワークのレイヤ。畳み込みフィルタが入力行列に渡されます。たとえば、次の 3x3 のケースについて考えてみましょう。 畳み込みフィルタ:

次のアニメーションは、5x5 入力行列を含む 9 つの畳み込み演算で構成される畳み込みレイヤを示しています。各 畳み込み演算は、入力行列の別の 3x3 スライスで機能します。 結果の 3x3 行列（右側）は、9 つの畳み込み演算の結果で構成されています。

詳細については、画像分類コースの全結合層をご覧ください。

畳み込みニューラル ネットワーク

#image

少なくとも 1 つのレイヤが畳み込みレイヤであるニューラル ネットワーク。一般的な畳み込みニューラル ネットワークは、次のレイヤの組み合わせで構成されます。

• 畳み込みレイヤ
• プーリング レイヤ
• 密なレイヤ

畳み込みニューラル ネットワークはある種で大きな成功を収めている さまざまな問題を取り上げます。

畳み込み演算

#image

次の 2 段階の算術演算:

1. 畳み込みフィルタと入力行列のスライスの要素ごとの乗算。（入力マトリックスのスライスのランクとサイズは、畳み込みフィルタと同じです）。
2. 結果の積行列内のすべての値の合計。

たとえば、次の 5x5 入力行列について考えてみましょう。

次のような 2x2 の畳み込みフィルタを考えてみます。

各畳み込み演算には、配列の 2x2 スライスが 1 つ含まれます。 表します。たとえば、入力行列の左上にある 2x2 スライスを使用するとします。したがって、この後の畳み込み演算は このスライスは次のようになります。

畳み込みレイヤは、一連の畳み込み演算で構成され、それぞれが入力行列の異なるスライスに作用します。

費用

損失と同義。

共同トレーニング

半教師あり学習のアプローチ 以下のすべての条件に該当する場合に特に便利です。

• データセット内のラベルなしのサンプルとラベル付きのサンプルの比率が高い。
• これは分類問題（バイナリまたは マルチクラス）。
• データセットには、互いに独立し、補完的な 2 つの異なる予測特徴セットが含まれています。

コトレーニングは、基本的に独立したシグナルを増幅してより強力なシグナルにします。たとえば、個々の中古車を「良好」または「不良」に分類する分類モデルについて考えてみましょう。1 組 年、月、年、年などの集計特性に焦点を当てる 車のメーカー、モデル別の予測機能は 前所有者の運転記録と車のメンテナンス履歴。

共同トレーニングに関する重要な論文は、「ラベル付きデータとラベルなしデータの組み合わせ 共同トレーニング Blum と Mitchell。

反事実的公平性

#fairness

公平性指標: 分類器が ある個人に対して、別の個人に対して同じ結果が得られる 1 つ目と同一であることがわかります。ただし、1 つ以上の 機密属性。反事実的公平性について分類システムを評価することは、モデルでバイアスが生じる可能性のある原因を特定する 1 つの方法です。

詳細については、次のいずれかをご覧ください。

• 公平性: 反事実的条件 公平性 終了です
• When Worlds Collide: Integrating Different Counterfactual Assumptions in Fairness

対象範囲のバイアス

#fairness

選択バイアスをご覧ください。

クラッシュ ブラッサム

#language

意味が曖昧な文やフレーズ。 クラッシュ ブロッサムは、自然言語理解において重大な問題となります。たとえば、ヘッドライン「Red Tape Holds Up Skyscraper」は、NLU モデルがヘッドラインを文字通りまたは比喩的に解釈する可能性があるため、クラッシュ ブロッサムです。

アイコンをクリックすると、追加のメモが表示されます。

よくわからない見出しを確認してみましょう。 <ph type="x-smartling-placeholder">

</ph>
• 煩雑な手続きは、次のいずれかを指す場合があります。
  • 接着剤
  • 過度な官僚主義
• 「保留」は、次のいずれかを指します。
  • 構造サポート
  • 処理の遅れ

---

批評家

#rl

Deep Q-Network と同義。

交差エントロピー

対数損失をマルチクラス分類問題に一般化したものです。交差エントロピー 2 つの確率分布の差を定量化します。関連項目 パープレキシティ:

交差検証

モデルがどの程度適切に一般化するかを 重複しない 1 つ以上のデータ サブセットに対してモデルをテストし、新しいデータを作成 トレーニング セットから除外されます。

累積分布関数（CDF）

ターゲット値以下のサンプルの頻度を定義する関数。たとえば、連続値の正規分布について考えてみましょう。CDF では、サンプルの約 50% が サンプルの約 84% がサンプルの約 84% を 平均を上回る標準偏差を 1 つにします

D

データ分析

サンプル、測定、可視化を考慮してデータを理解する。データ分析は、次のような場合に特に有用です。 データセットが最初に受信され、その後で最初のモデルが作成されます。 また、Terraform でのテストを理解し、問題をデバッグするためにも、 制御します。

データの拡張

#image

範囲と数を人為的に増やす トレーニングの例 既存のインフラストラクチャを examples: 追加の例を作成します。たとえば 画像キャプション モデルが 特徴はあるものの、データセットに 有用な関連付けを学習するために十分な数の画像サンプルが含まれていること。 モデルを適切にトレーニングできるように、データセットに十分なラベル付き画像を追加することをおすすめします。それが不可能な場合は、データ拡張を使用して各画像を回転、伸ばし、反射させ、元の画像のバリエーションを多数生成できます。これにより、優れたトレーニングを可能にする十分なラベル付きデータが得られる可能性があります。

DataFrame

#fundamentals

モデルを表す一般的な pandas データ型。 メモリ内のデータセット。

DataFrame は、テーブルやスプレッドシートに似ています。DataFrame の各列には名前（ヘッダー）があり、各行は一意の数値で識別されます。

DataFrame の各列は 2 次元配列のように構造化されていますが、各列に独自のデータ型を割り当てることができます。

公式ガイド pandas.DataFrame リファレンス のページをご覧ください。

データ並列処理

トレーニングまたは推論をスケーリングする方法。モデル全体を複数のデバイスに複製し、入力データのサブセットを各デバイスに渡します。データ並列処理では、非常に大きなバッチサイズでのトレーニングと推論が可能になります。ただし、データ並列処理では、モデルがすべてのデバイスに収まるほど小さくする必要があります。

通常、データ並列処理によりトレーニングと推論の速度が向上します。

モデル並列処理もご覧ください。

データセットまたはデータセット

#fundamentals

元データのコレクション。通常は（必ずしもそうであるとは限りません）次のいずれかの形式で編成されます。

• スプレッドシート
• CSV（カンマ区切り値）形式のファイル

Dataset API（tf.data）

#TensorFlow

データの読み取りと読み取りのための高レベルの TensorFlow API ML アルゴリズムが必要とする形に変換します tf.data.Dataset オブジェクトは要素のシーケンスを表します。各要素には 1 つ以上の テンソルが含まれています。tf.data.Iterator オブジェクトは、Dataset の要素へのアクセスを提供します。

決定境界

バイナリクラスまたはマルチクラス分類問題でモデルによって学習されたクラス間の区切り文字。たとえば バイナリ分類問題を表す次の画像では、 決定境界はオレンジ色のクラスと blue クラスを使用します。

デシジョン フォレスト

#df

複数のディシジョン ツリーから作成されたモデル。 デシジョン フォレストは、さまざまな予測を集約して 決定します一般的なタイプのデシジョン フォレストには、 ランダム フォレストと勾配ブースティング ツリー。

詳細については、決定木コースの決定木のセクションをご覧ください。

決定しきい値

分類しきい値と同義。

ディシジョン ツリー

#df

一連の条件と階層的に編成されたリーフで構成される教師あり学習モデル。たとえば、次の図はディシジョン ツリーです。

デコーダ

#language

一般に、処理済み、高密度、高密度モデルからデータを変換する より未加工、スパース、または外部表現に内部表現を変換できます。

デコーダは多くの場合、より大きなモデルのコンポーネントであり、エンコーダとペアになっています。

シーケンス ツー シーケンス タスクでは、デコーダはエンコーダによって生成された内部状態から開始して、次のシーケンスを予測します。

デコーダの定義については、Transformer を参照してください。 Transformer アーキテクチャの概要を説明しています。

大規模言語モデルをご覧ください。 をご覧ください。

ディープモデル

#fundamentals

複数を含むニューラル ネットワーク 隠れ層。

ディープモデルは、ディープ ニューラル ネットワークとも呼ばれます。

ワイドモデルとは対照的です。

ネットワークでよく

ディープ モデルと同義。

Deep Q-Network（DQN）

#rl

Q ラーニング: ディープ ニューラル ネットワーク Q 関数を予測する。

Critic は Deep Q-Network の類義語です。

人口学的等価性

#fairness

次の場合に満たされる公平性指標 モデルの分類結果は、モデルの 指定された機密属性。

たとえば、Lilliputians と Brobdingnagians の両方が グラブダブドリブ大学では、回答者の割合が 50% を超えると、 入学が許可されたリリプット人の割合は、ブロブディンナギア人の割合と同じ 平均して 1 つのグループの方が有望度が高いかどうかに関係なく、 表します。

対比する「均等オッズ」は、 機会の平等は、 機密性の高い属性に依存するように集約された分類の結果です。 ただし、指定された特定の 機密性の高い属性に依存する正解のラベル。詳しくは、 「 よりスマートな ML による識別」を ユーザー層の同等性を重視した最適化を行う際は、トレードオフを考慮する必要があります。

公平性: ユーザー属性をご覧ください。 同等 をご覧ください。

ノイズ除去

#language

自己教師あり学習への一般的なアプローチ 各要素の意味は次のとおりです。

1. ノイズは人為的にデータセットに追加されます。
2. モデルはノイズを除去しようとします。

ノイズを除去することで、ラベルなしのサンプルからの学習が可能になります。 元のdatasetがターゲットまたは ラベルと ノイズの多いデータを入力として受け取ります。

一部のマスクされた言語モデルは、次のようにノイズ除去を使用します。

1. ラベルのない文には、ノイズが人為的に追加されます。 作成されます。
2. モデルは元のトークンを予測しようとします。

密な特徴

#fundamentals

ほとんどまたはすべての値がゼロ以外の特徴量。通常は 浮動小数点値のTensor。たとえば、次の 10 要素のテンソルは、9 つの値がゼロ以外であるため、密です。

8

3

7

5

2

4

0

4

9

6

スパースな特徴とは対照的です。

高密度レイヤ

全結合層と同義。

深さ

#fundamentals

ニューラル ネットワークにおける次の合計:

• 隠れ層の数
• 出力層の数（通常は 1）
• エンベディング レイヤの数

たとえば、隠れ層が 5 つ、出力層が 1 つのニューラル ネットワークの深さは 6 です。

なお、入力レイヤは 影響の深さです

深さ方向の分離可能な畳み込みニューラル ネットワーク（sepCNN）

#image

畳み込みニューラル ネットワーク アーキテクチャをベースとし Inception、 Inception モジュールを depthwise separable 畳み込み関数です別名「Xception」。

深さ方向の分離可能な畳み込み（分離可能な畳み込み） 標準的な 3D 畳み込みを 2 つの個別の畳み込み演算に因数分解する 計算効率が上がります。1 つ目は、深度畳み込みです。 深さ 1（n × n × 1）で、次にポイントワイズ畳み込みです。 長さと幅が 1（1 × 1 × n）の 2 種類があります。

詳細については、Xception: Depthwise Separable を使用したディープ ラーニングをご覧ください。 畳み込み。

派生ラベル

プロキシラベルと同義。

デバイス

#TensorFlow

#GoogleCloud

次の 2 つの定義が可能なオーバーロードされた用語。

1. TensorFlow セッションを実行できるハードウェアのカテゴリ。以下が含まれます。 CPU、GPU、TPU。
2. アクセラレータ チップで ML モデルをトレーニングする場合 （GPU または TPU）。実際に操作するシステム部分 テンソルとエンベディング。 デバイスはアクセラレータ チップを搭載しています。一方、ホストは通常 CPU で実行されます。

差分プライバシー

ML では、モデルのトレーニング セットに含まれる機密データ（個人情報など）が漏洩しないようにする匿名化アプローチです。このアプローチにより、モデルは特定の個人についてあまり学習または記憶しません。これは、サンプリングとモデル作成時のノイズの追加によって行われます。 トレーニングによって個々のデータポイントを曖昧にし、 機密性の高いトレーニング データです。

差分プライバシーは ML 以外でも使用されています。たとえば、データ サイエンティストは、さまざまなユーザー属性のプロダクト使用状況統計情報を計算する際に、差分プライバシーを使用して個人のプライバシーを保護することがあります。

次元削減

特徴ベクトルで特定の特徴を表すために使用される次元数を減らす（通常はエンベディング ベクトルに変換する）。

ディメンション

次のいずれかの定義を持つ過負荷の用語:

• Tensorの座標レベルの数。次に例を示します。

  • スカラーの次元は 0 です。例: ["Hello"]
  • ベクトルは 1 次元です。例: [3, 5, 7, 11]
  • マトリックスには 2 つのディメンションがあります（例: [[2, 4, 18], [5, 7, 14]]）。1 次元ベクトル内の特定のセルは 1 つの座標で指定できますが、2 次元行列内の特定のセルを指定するには 2 つの座標が必要です。

• 特徴ベクトル内のエントリ数。

• エンベディング レイヤ内の要素の数。

直接プロンプト

#language

#generativeAI

ゼロショット プロンプトと同義。

離散特徴

#fundamentals

有効な値が有限の特徴。たとえば 値が animal、vegetable、mineral のいずれかの値を持つ特徴は、 離散（またはカテゴリ）特徴量です。

「継続的な機能」も参照してください。

識別モデル

1 つ以上のラベルのセットからラベルを予測するモデル その他の機能。より正式には、識別モデルでは、 出力に対する条件付き確率が与えられると、 weights;つまり:

p(output | features, weights)

たとえば、特徴量からメールが迷惑メールであるかどうかを予測するモデルは、 重みは識別モデルです。

分類モデルや回帰モデルなど、教師あり学習モデルのほとんどは識別モデルです。

生成モデルとは対照的です。

識別子

例が本物か偽物かを判断するシステム。

または、生成敵対的グループ内の ネットワークによって、ネットワークが ジェネレータが作成するサンプルは、本物か架空のものです。

詳細については、GAN コースの識別子をご覧ください。

不均衡な影響

#fairness

さまざまな集団に影響を与える人々について意思決定を行う サブグループの割合が高くなりますこれは通常 アルゴリズムによる意思決定プロセスが害や利益をもたらす場合 評価する傾向があります

たとえば、リルプットアンの確率を判定するアルゴリズムを ミニチュア住宅ローンの対象顧客は 「対象外」として分類します郵送先住所に特定の住所が含まれている場合 郵便番号。もしビッグエンディアンのリリプット語が 送付先住所をこの郵便番号のものにしてください このアルゴリズムはばらばらな影響を与える可能性があります。

差別的取扱いとは対照的に、サブグループの特性をアルゴリズムによる意思決定プロセスに明示的に入力した場合に生じる差異に焦点を当てています。

さまざまな扱い

#fairness

被写体の因数分解'機密属性 アルゴリズムによる意思決定プロセスに変換し、 扱い方が異なる人の割合

たとえば、リリパット人がローン申請で提供したデータに基づいて、リリパット人が小型住宅ローンの利用資格があるかどうかを判断するアルゴリズムについて考えてみましょう。アルゴリズムが、Lilliputian の Big-Endian または Little-Endian の関連性を入力として使用している場合、そのディメンションに基づいて差別的な扱いが行われています。

対照的に、異なる効果は サブグループに対するアルゴリズムによる決定の社会的影響の格差 そのサブグループがモデルへの入力であるかどうかにかかわらず、

警告: 機密性の高い属性はほとんどの場合、アラートと そのデータに備わっている他の特徴を作成し、機密属性を明示的に削除する サブグループが均等に扱われるとは限りません。 たとえば、郵便番号が特徴として含まれているトレーニング データセットから機密性の高い属性を削除しても、サブグループの不均一な扱いに対処できる可能性がありますが、郵便番号が他の属性情報の代理として機能する可能性があるため、これらのグループに不均一な影響が及ぶ可能性があります。

での精製

#generativeAI

1 つのモデル（教師モデル）のサイズを、元のモデルの予測を可能な限り忠実にエミュレートする小規模なモデル（生徒モデル）に縮小するプロセス。精製 が便利です。なぜなら、小規模モデルには大規模モデルより モデル（教師）:

• 推論時間の短縮
• メモリとエネルギーの使用量の削減

ただし、通常、生徒の予測は教師の予測ほど正確ではありません。

精製によって生徒モデルがトレーニングされ、 出力値の差に基づく損失関数 実装します。

蒸留と次の用語を比較対照します。

• ファインチューニング
• プロンプトベースの学習

LLM: ファインチューニング、抽出、プロンプト エンジニアリング をご覧ください。

配信

特定の特徴量またはラベルのさまざまな値の頻度と範囲。分布は、特定の値がどの程度あり得るかを捉えます。

次の図は、2 つの異なる分布のヒストグラムを示しています。

• 左側は、富のパワー ロー分布と、その富を所有する人数を示しています。
• 右側は、身長の正規分布とその身長の人数を示しています。

各特徴とラベルの分布を理解すると、値を正規化する方法と外れ値を検出する方法を決定できます。

「分布外」というフレーズは、データセットにない値や非常にまれな値を指します。たとえば、土星の画像は、 猫の画像で構成されるデータセットで、分布外と見なされます。

除分割クラスタリング

#clustering

階層型クラスタリングをご覧ください。

ダウンサンプリング

#image

次のいずれかを意味するオーバーロードされた用語。

• モデルのトレーニングをより効率的に行うために、特徴量の情報量を削減します。たとえば、画像認識モデルをトレーニングする前に、高解像度の画像を低解像度の形式にダウンサンプリングします。
• 過剰に代表されているクラスのサンプルの割合を不均衡に低くして、過小代表クラスのモデル トレーニングを改善する。たとえば、クラス不均衡な状態では、 新しいデータセットを参照すれば、モデルはその特徴について 過半数のクラスであり、 少数派の階級。ダウンサンプリングは トレーニングの量を多数派と少数派のクラスでバランスが取れるようにします。

詳細については、機械学習集中講座のデータセット: 不均衡なデータセットをご覧ください。

DQN

#rl

Deep Q-Network の略称。

ドロップアウト正則化

トレーニングで役立つ正則化の一種 ニューラル ネットワーク。ドロップアウト正則化 ネットワーク内の一定数のユニットをランダムに選択して削除する 単一のグラデーションステップに 使用できます脱落したユニットが多いほど、 行われます。これは、小規模なネットワークの指数関数的に大きなアンサンブルをエミュレートするようにネットワークをトレーニングするのと同様です。詳細については、Dropout: A Simple Way to Prevent Neural Networks from Overfitting をご覧ください。

動的

#fundamentals

頻繁または継続的に行う作業。機械学習では、動的とオンラインという用語は同義です。マシンでの動的とオンラインの一般的な用途は次のとおりです。 学習:

• 動的モデル（またはオンライン モデル）は、頻繁または継続的に再トレーニングされるモデルです。
• 動的トレーニング（またはオンライン トレーニング）は、頻繁または継続的にトレーニングを行うプロセスです。
• 動的推論（またはオンライン推論）は、 オンデマンドで予測を生成する場合などです。

動的モデル

#fundamentals

頻繁に（または継続的に）使用されるモデル 再トレーニングします。動的モデルは、変化するデータに常に適応する「生涯学習者」です。動的モデルは、オンライン モデルとも呼ばれます。

「静的モデル」も参照してください。

E

積極的実行

#TensorFlow

演算を行う TensorFlow プログラミング環境。 すぐに実行されます。一方、グラフ実行で呼び出されたオペレーションは、明示的に評価されるまで実行されません。早期実行は、ほとんどのプログラミング言語のコードと同様に、命令型インターフェースです。一般に、積極的実行プログラムはグラフ実行プログラムよりもはるかに簡単にデバッグできます。

早期停止

#fundamentals

トレーニング損失の減少が完了する前にトレーニングを終了する正規化の方法。早期停止では、モデルのトレーニングを意図的に停止します。 検証データセットの損失が始まった時点 increase;つまり 一般化のパフォーマンスは悪化します。

アイコンをクリックすると、追加のメモが表示されます。

早期停止は直感に反するかもしれません。結局のところ、損失がまだ減少しているときにトレーニングを停止するようモデルに指示することは、デザートが完全に焼き上がっていないうちに調理を停止するようシェフに指示するようなものです。ただし、モデルのトレーニングを長時間行うと、過学習につながる可能性があります。つまり モデルのトレーニングが長すぎると、モデルがトレーニング データに適合し、 新しいサンプルに対する予測がうまくいかないからです。

---

地球移動距離（EMD）

2 つの分布の相対的な類似性を測定する指標。地球移動距離が小さいほど、分布は類似しています。

距離を編集

#language

2 つの文字列が互いにどの程度類似しているかを示す測定値。 機械学習では、編集距離は計算が簡単で、類似しているとわかっている 2 つの文字列を比較したり、特定の文字列に類似する文字列を見つけたりするのに効果的な方法であるため、有用です。

編集距離にはいくつかの定義があり、それぞれが異なる文字列演算を使用します。たとえば、 <ph type="x-smartling-placeholder"></ph> レーブンシュタイン距離 削除、挿入、置換オペレーションが最小限に抑えられます。

例: 「ハート」という単語間のレーベンシュタイン距離「ダーツ」 3 です。これは、次の 3 つの編集で 1 語になるために必要な変更が少ないためです。 次のように変換します。

1. heart → deart（「h」を「d」に置き換える）
2. deart → dart（「e」を削除）
3. dart → darts（「s」を挿入）

Einsum 表記

2 つのテンソルがどのようになるかを説明する効率的な表記 組み合わせたものですテンソルは、一方のテンソルの要素に他方のテンソルの要素を乗算し、その積を合計することで結合されます。Einsum 表記では記号を使って各テンソルの軸を識別し、 同じ記号が再配置され、生成される新しいテンソルの形状が指定されます。

NumPy は、一般的な Einsum 実装を提供します。

エンベディング レイヤ

#language

#fundamentals

高次元のカテゴリ特徴でトレーニングし、低次元のエンベディング ベクトルを徐々に学習する特別な隠れ層。エンベディング層を使用すると、高次元のカテゴリ特徴のみをトレーニングする場合よりも、ニューラル ネットワークをはるかに効率的にトレーニングできます。

たとえば、地球は現在約 73,000 種の樹木をサポートしています。仮説 樹木の種類はモデルの特徴量であるため、モデルの ワンホット ベクトルを含む 73,000 指定することもできます。 たとえば、baobab は次のように表されます。

73,000 要素からなる配列は非常に長いです。エンベディング レイヤを追加しない場合 モデルのトレーニングには 非常に時間がかかります 72,999 個のゼロを乗算しますエンベディング レイヤを 1 つのレイヤに 12 次元です。その結果、エンベディング レイヤは徐々に学習し、 新しいエンベディング ベクトルを作成します。

特定の状況では、エンベディング レイヤの代わりにハッシュ化が適切な場合があります。

エンベディングをご覧ください。 をご覧ください。

エンベディング空間

#language

高次元の特徴を持つ d 次元ベクトル空間は、 ベクトル空間にマッピングされます。エンべディング空間には、入力シーケンスが 意味のある数学的結果が得られる構造たとえば 理想的なエンベディング空間でのエンベディングの加算と減算 文章にたとえて単語を解き放つことができます。

2 つのエンベディングのドット積は、それらの類似度を測定したものです。

エンベディング ベクトル

#language

広義には、その隠れ層への入力を表す隠れ層から取得された浮動小数点数の配列です。多くの場合、エンベディング ベクトルは Google Cloud でトレーニングされた浮動小数点数の配列 エンベディング レイヤです。たとえば、エンベディング レイヤが新しいパターンを学習し、 エンべディング ベクトルを作成します。おそらく、 次の配列は、バオバブの木のエンベディング ベクトルです。

エンベディング ベクトルはランダムな数値の集まりではありません。エンベディング レイヤ トレーニングによってこれらの値を決定します。これは、 トレーニング中に他の重みも学習します。各要素の 配列は、樹木種の特性に沿った評価です。どの要素がどの樹種の特徴を表していますか。それはすごく難しい 判断できます

エンべディング ベクトルの数学的に注目すべき点は、エンべディング ベクトルが アイテムには同様の浮動小数点数のセットがあります。たとえば、 浮動小数点数のセットは、樹木の種類のほうが 異なる種類の樹木のことです。セコイアとセコイアは関連する樹種です。 浮動小数点数と浮動小数点数のセットが セコイアやヤシの木などで育ちますエンベディング ベクトルの数値は、同じ入力でモデルを再トレーニングしても、モデルを再トレーニングするたびに変化します。

経験累積分布関数（eCDF または EDF）

実際のデータセットからの経験的測定値に基づく累積分布関数。Pod の x 軸上の任意の点における観測値の割合、 データセットを検索します。

経験的リスク最小化（ERM）

トレーニング セットの損失を最小化する関数を選択します。コントラスト 構造リスクの最小化です。

エンコーダ

#language

一般に、未加工、スパース、または外部表現から、より処理された、より密度の高い、またはより内部的な表現に変換する ML システム。

エンコーダは多くの場合、より大きなモデルのコンポーネントであり、デコーダとペアで使用されます。一部の Transformer はエンコーダとデコーダをペアで使用しますが、他の Transformer はエンコーダまたはデコーダのみを使用します。

一部のシステムでは、エンコーダの出力を分類システムへの入力として使用し、 ネットワークです

シーケンスからシーケンスへのタスクでは、エンコーダは入力シーケンスを受け取り、内部状態（ベクトル）を返します。次に、デコーダがその内部状態を使用して次のシーケンスを予測します。

Transformer アーキテクチャでのエンコーダの定義については、Transformer をご覧ください。

LLM: 大規模言語とは モデル をご覧ください。

アンサンブル

予測を持つ独立したトレーニング対象のモデルのコレクション 平均化または集計されます多くの場合、アンサンブルを使用すると、 単一モデルよりも高い精度ですたとえば、 ランダム フォレストは、複数のソースから構築された複数の ディシジョン ツリー。ただし、 ディシジョン フォレストはアンサンブルです。

詳細については、機械学習集中講座のランダム フォレストをご覧ください。

エントロピー

#df

イン <ph type="x-smartling-placeholder"></ph> 情報理論 ある確率がどれだけ予測不能か、 説明しますまた、エントロピーは、生成する AI が 各例に含まれる情報。分布には、 確率変数のすべての値が 可能性があります。

2 つの可能な値「0」と「1」を持つセット（バイナリ分類問題のラベルなど）のエントロピーは、次の式で表されます。

<ph type="x-smartling-placeholder"></ph> H = -p log p - q log q = -p log p - (1-p) * log (1-p)

ここで

• H はエントロピーです。
• p は「1」の分数説明します。
• q は「0」の分数説明します。q = (1 - p) です。
• log は通常 log₂ です。この場合 エントロピーは 単位です。

たとえば、次のように仮定します。

• 100 個の例に値「1」が含まれます
• 300 件のサンプルに値「0」が含まれている

したがって、エントロピー値は次のようになります。

• p = 0.25
• q = 0.75
• H =（-0.25）log₂（0.25）-（0.75）log₂（0.75）= 0.81 ビット / サンプル

完全にバランスの取れた集合（例: 「0」が 200 個と「1」が 200 個） エントロピーは 1 例あたり 1.0 ビットですセットのアンバランスが増加すると、エントロピーは 0.0 に近づきます。

分類ツリーでは、エントロピーは情報量の増加を定式化して、分類分類ツリーの成長中に分割ツールが条件を選択するのに役立ちます。

エントロピーを次と比較:

• ギニ不純物
• 交差エントロピー損失関数

エントロピーは、シャノンのエントロピーとも呼ばれます。

詳細については、意思決定木コースの数値特徴量を使用した二値分類の Exact スプリッタをご覧ください。

環境

#rl

強化学習では、エージェントが含まれ、エージェントがその世界の状態を観察できる世界。たとえば、表現された世界は、チェスのようなゲームや迷路のような物理的な世界にすることができます。エージェントが環境にアクションを適用すると、環境は状態間を遷移します。

エピソード

#rl

強化学習では、エージェントが環境を学習するために繰り返す試行のことです。

エポック

#fundamentals

トレーニング セット全体にわたるフル トレーニング パス 各 example が 1 回処理されるようにします。

エポックは、N / バッチサイズ のトレーニング イテレーションを表します。ここで、N はサンプルの合計数です。

たとえば、次のように仮定します。

• このデータセットは 1,000 件のサンプルで構成されています。
• バッチサイズは 50 サンプルです。

したがって、1 つのエポックには 20 回の反復処理が必要です。

1 epoch = (N/batch size) = (1,000 / 50) = 20 iterations

詳細については、機械学習集中講座の線形回帰: ハイパーパラメータをご覧ください。

イプシロン欲張りポリシー

#rl

強化学習では、ポリシーは イプシロン確率または特定の値を持つランダム ポリシー そうでない場合は欲張りなポリシー。たとえば、イプシロンが 0.9 の場合、ポリシーは 90% の確率でランダムなポリシーに従っていますが、 ポリシーが適用されます

連続するエピソードを通じて、アルゴリズムはランダム ポリシーの実行から貪欲なポリシーの実行に移行するために、ε の値を減らします。方法 ポリシーを変更する場合、エージェントはまず環境をランダムに調査し、 無作為に抽出された結果を利用しようとします。

機会の平等

#fairness

モデルが順調かどうかを評価するための公平性指標 望ましい結果を同等に予測する 機密属性。つまり、 モデルに望ましい結果が陽性クラス、 目標は、真陽性率を すべてのグループで共通です。

機会の平等はオッズの均等に関連しています。 これには真陽性率と真陽性率の両方が 偽陽性率は、すべてのグループで同じです。

グルブドゥブドリブ大学がリルプート派とブロブディングナギー派の両方を認めると仮定する 難易度の高い数学プログラムまでを学習させましたリリプティアン中等教育機関は カリキュラムが充実しており、大多数の生徒が数学の授業に 取得しているとしますブロブディングナギアンスの中学校では 数学の授業をまったく行っていないため、 有望です希望するラベル「 「承諾済み」国籍（リリプート派またはブロブディンナージー派） 有資格の学生であれば、次の 2 点に関係なく、 リルプート派かブロブディンナーギア派です。

たとえば、100 人のリリパット人と 100 人のブロブディンガニア人が Glubbdubdrib 大学に申し込み、入学審査の結果が次のように出たとします。

表 1. リリパット申請者（90% が資格要件を満たしている）

	リードの精査が完了	見込みなし
許可	45	3
不承認	45	7
合計	90	10
入学が認められた資格要件を満たす生徒の割合: 45/90 = 50% 資格要件を満たさない不合格となった生徒の割合: 7/10 = 70% 入学が認められたリリプト人の生徒の合計割合: (45+3)/100 = 48%

 

表 2. Brobdingnagian の応募者（10% が適格）:

	リードの精査が完了	見込みなし
許可	5	9
不承認	5	81
合計	10	90
入学が認められた資格要件を満たしている学生の割合: 5/10 = 50% 資格要件を満たしていない不合格となった学生の割合: 81/90 = 90% 入学が認められた Brobdingnagian の学生の合計割合: (5+9)/100 = 14%

上記の例は、受け入れる機会の平等を満たしています。 Lilliputians と Brobdingnagians のどちらも認定されたため、 50% の確率で承認されます

機会均等は満たされていますが、次の 2 つの公平性指標は満たされていません。

• 人口統計的平等: リリプート派と Brobdingnagians はさまざまな率で大学に入学できる。 リリプット語の学生の 48% が入学を許可しているが、入学を許可しているのは 14% のみ ブロブディングナージ語の学生は入学可能。
• 均等なオッズ: 資格要件を満たしているリリパット人とブロブディンガ人には、どちらも同じ入学チャンスが与えられますが、資格要件を満たしていないリリパット人とブロブディンガ人には、どちらも同じ不合格のチャンスが与えられるという追加の制約は満たされません。資格のないリリパット人の不承認率は 70% ですが、資格のないブロブディンガニア人の不承認率は 90% です。

公平性: 平等性 機会 をご覧ください。

均等オッズ

#fairness

モデルが結果を等しく予測しているかどうかを評価するための公平性指標 機密属性のすべての値に適しています。 陽性のクラスと ネガティブ クラス - どちらか一方のクラスではない あります。つまり、真陽性率と偽陰性率の両方が、すべてのグループで同じである必要があります。

均等オッズは以下に関連しています 機会の平等は、 （正または負）のエラー率に対して課金されます。

たとえば、Glubbdubdrib 大学が厳格な数学プログラムにリリパット人とブロブディンガム人の両方を受け入れているとします。リリプティアンセカンダリ 数学クラスの堅牢なカリキュラムを提供しており、 の学生が大学プログラムの参加資格を満たしているかを確認する。ブロブディンガニアの中等学校では数学クラスがまったく提供されていないため、資格を取得する生徒は非常に少なくなっています。平等な機会は、申請者がリリパット人かブロブディンガジャン人かにかかわらず、資格要件を満たしていればプログラムへの入学が認められ、資格要件を満たしていない場合は不承認となる確率が同じである場合に満たされます。

100 名のリリプティアンと 100 人のブロブディングナギンがグルブドゥブドリブに申し込んだとします。 大学と入学に関する決定は、次のように行われます。

表 3: リリパット申請者（90% が資格要件を満たしている）

	リードの精査が完了	見込みなし
許可	45	2
不承認	45	8
合計	90	10
入学が認められた資格要件を満たす生徒の割合: 45/90 = 50% 資格要件を満たさない不合格となった生徒の割合: 8/10 = 80% 入学が認められたリリプト人の生徒の合計割合: (45+2)/100 = 47%

 

表 4. Brobdingnagian の応募者（10% が適格）:

	リードの精査が完了	見込みなし
許可	5	18
不承認	5	72
合計	10	90
入学を認められた適格な学生の割合: 5/10 = 50% 不適格な生徒の割合: 72÷90 = 80% ブロブディンナージ語の学生の割合の合計: (5 + 18) ÷ 100 = 23%

資格要件を満たしているリリパット人とブロブディンガジャンの学生はどちらも入学できる確率が 50%、資格要件を満たしていないリリパット人とブロブディンガジャンの学生はどちらも不合格になる確率が 80% であるため、均等な確率が満たされています。

注: ここでは均等なオッズが満たされていますが、ユーザー属性の平等性は満たされていません。Lilliputian ブロブディングナギアの学生は、グラブドブドリブ大学に入学することを許可されています。 異なるレート。リリプット人の学生の 47% が入学し、23% は ブロブディングナージ語の学生は入学できます。

オッズの均等化は、「教師あり学習における機会の平等」で次のように正式に定義されています。「予測子 Ŷ が保護属性 A と結果 Y に関してオッズの均等化を満たす場合、Ŷ と A は Y を条件として独立している。」

注: 均等なオッズは、より緩和された機会の平等指標と対比してください。

Estimator

#TensorFlow

非推奨の TensorFlow API。代わりに tf.keras を使用してください。 使用できます。

evals

#language

#generativeAI

主に LLM 評価の略語として使用されます。 より広義には、evals は 評価。

評価

#language

#generativeAI

モデルの品質を測定したり、異なるモデルを比較したりするプロセス。

教師あり機械学習モデルを評価するには、通常、検証セットとテストセットと比較して判断します。LLM の評価には通常、幅広い品質と安全性の評価が含まれます。

例

#fundamentals

1 行の特徴量の値。場合によっては特徴量 ラベル。例 教師あり学習は 2 種類に分類できます。 一般カテゴリ:

• ラベル付きサンプルは 1 つ以上の特徴で構成される です。ラベル付きサンプルはトレーニング中に使用されます。
• ラベルなしの例は、1 つ以上の特徴で構成されますが、ラベルはありません。ラベルなしの例は推論時に使用されます。

たとえば、天候が生徒のテスト成績に与える影響を特定するモデルをトレーニングしているとします。ラベル付きの例を 3 つ示します。

機能			ラベル
温度	湿度	気圧	テストの点数
15	47	998	良い
19	34	1020	非常に良い
18	92	1012	悪い

ラベルのない例を 3 つ示します。

温度	湿度	気圧
12	62	1014
21	47	1017
19	41	1021

datasetの行は通常、サンプルの元のソースです。 つまり、サンプルは通常、データセット内の列のサブセットで構成されます。さらに、サンプルの特徴には、 合成特徴: 例: 特徴クロス。

詳細については、機械学習の概要コースの教師あり学習をご覧ください。

もう一度体験する

#rl

強化学習では、トレーニング データの時間的関連性を低減するために DQN 手法が使用されます。エージェントは、状態遷移を再生バッファに保存し、再生バッファから遷移をサンプリングしてトレーニング データを作成します。

実験者のバイアス

#fairness

確証バイアスをご覧ください。

勾配爆発問題

#seq

ディープ ニューラル ネットワーク（特に再帰ニューラル ネットワーク）の勾配が驚くほど急勾配（高）になる傾向。勾配が急な場合、ディープラーニング ネットワーク内の各ノードの重みが大幅に更新されることがあります。

勾配爆発の問題が発生しているモデルは、トレーニングが困難または不可能です。勾配クリッピングを使用すると、この問題を軽減できます。

勾配消失問題と比較してください。

F

F₁

「統合」バイナリ分類指標 適合率と再現率の両方に依存します。 式は次のとおりです。

$$F{_1} = \frac{\text{2 * precision * recall}} {\text{precision + recall}}$$

たとえば、次の場合を考えてみましょう。

• 適合率 = 0.6
• recall = 0.4

$$F{_1} = \frac{\text{2 * 0.6 * 0.4}} {\text{0.6 + 0.4}} = 0.48$$

適合率と再現率がかなり似ている場合（上記の例を参照）、 F₁ は平均に近い。適合率と再現率が異なる場合 F₁ が小さい値に近づきます。例:

• precision = 0.9
• recall = 0.1

$$F{_1} = \frac{\text{2 * 0.9 * 0.1}} {\text{0.9 + 0.1}} = 0.18$$

公平性の制約

#fairness

アルゴリズムに制約を適用して 1 つ以上の定義を確保する 公平性が満たされることになります。公平性制約の例としては、次のようなものがあります。

• モデルの出力の後処理。
• 損失関数を変更してペナルティを組み込む 公平性に関する指標違反。
• 数学的な制約を最適化問題に直接追加する。

公平性の指標

#fairness

測定可能な「公平性」の数学的定義。よく使用される公平性指標には次のようなものがあります。

• オッズが等しい
• 予測パリティ
• 対抗事実の公正性
• 人口学的等価性

多くの公平性指標は相互に排他的です。公平性指標の不整合をご覧ください。

偽陰性（FN）

#fundamentals

モデルが陰性クラスを誤って予測している例。たとえば、モデルの 特定のメール メッセージが迷惑メールではないと予測する （否定クラス）であるにもかかわらず、そのメール メッセージは実際には迷惑メールです。

偽陰性率

モデルが陰性のクラスを誤って予測した実際の正例の割合。次の式は、誤判定率を計算します。

$$\text{false negative rate} = \frac{\text{false negatives}}{\text{false negatives} + \text{true positives}}$$

詳細については、機械学習集中講座のしきい値と混同行列をご覧ください。

偽陽性（FP）

#fundamentals

モデルが陽性のクラスを誤って予測している例。たとえば、このモデルは 特定のメールが迷惑メール（ポジティブ クラス）であると判断し、 メールが実際には迷惑メールでないかどうか

しきい値と混同 マトリックス をご覧ください。

偽陽性率（FPR）

#fundamentals

モデルが陽性のクラスを誤って予測した実際の陰性サンプルの割合。次の式は、誤検出率を計算します。

$$\text{false positive rate} = \frac{\text{false positives}}{\text{false positives} + \text{true negatives}}$$

偽陽性率は、ROC 曲線の X 軸です。

分類: ROC と AUC をご覧ください。

特徴；特徴表現

#fundamentals

ML モデルへの入力変数。例 は 1 つ以上の特徴で構成されますたとえば、トレーニング データセットで 気象条件が生徒のテストスコアに及ぼす影響を判断しました。 次の表に、それぞれ 3 つの特徴と 1 つのラベルを含む 3 つの例を示します。

機能			ラベル
温度	湿度	気圧	テストのスコア
15	47	998	92
19	34	1020	84
18	92	1012	87

ラベルと対比してください。

教師あり学習をご覧ください。 をご覧ください。

特徴クロス

#fundamentals

「交差」によって形成される合成特徴 カテゴリ特徴またはバケット化された特徴。

たとえば、「ムード予測」機能をトレーニング データを表す temperature を、次の 4 つのバケットのいずれかに分類します。

• freezing
• chilly
• temperate
• warm

風速を次の 3 つのバケットのいずれかで表します。

• still
• light
• windy

特徴クロスを使用しない場合、線形モデルは 先行しますモデルのトレーニングには トレーニングとは無関係に freezing を使用します。たとえば、 windy。

または、温度と風速の特徴クロスを作成することもできます。この合成特徴には、次の 12 個の値が考えられます。

• freezing-still
• freezing-light
• freezing-windy
• chilly-still
• chilly-light
• chilly-windy
• temperate-still
• temperate-light
• temperate-windy
• warm-still
• warm-light
• warm-windy

特徴クロスにより、モデルは freezing-windy 日と freezing-still 日の気分の違いを学習できます。

それぞれに多くの異なるバケットがある 2 つの特徴量から合成特徴量を作成すると、結果として得られる特徴量クロスには膨大な数の組み合わせが存在します。たとえば、一方の特徴に 1,000 個のバケットがあり、もう一方の特徴に 2,000 個のバケットがある場合、結果として得られる特徴の交差には 2,000,000 個のバケットがあります。

十字形は デカルト積。

特徴クロスは主に線形モデルで使用され、ほとんど使用されない 説明します

詳細については、機械学習集中講座のカテゴリデータ: 特徴量の交差をご覧ください。

２つのステップが含まれます

#fundamentals

#TensorFlow

次の手順を含むプロセス:

1. モデルのトレーニングに役立つ可能性がある特徴を特定する。
2. データセットの元データを、それらの特徴量の効率的なバージョンに変換します。

たとえば、temperature が便利な機能であると判断できます。次に、バケット化を試して、モデルがさまざまな temperature 範囲から学習できる内容を最適化できます。

特徴量エンジニアリングは 特徴抽出または 特徴量化。

アイコンをクリックすると、TensorFlow に関する追加のメモが表示されます。

TensorFlow では、特徴量エンジニアリングは、未加工のログファイル エントリを tf.Example プロトコル バッファに変換することを意味します。tf.Transform もご覧ください。

---

数値データ: モデルが特徴量を使用してデータを取り込む方法 ベクトル をご覧ください。

特徴抽出

次のいずれかの定義を持つオーバーロードされた用語。

• 次によって計算された中間特徴表現を取得する 教師なしモデルまたは事前トレーニング済みモデル （たとえば、隠れ層の値、 ニューラル ネットワークなど）を使用して、別のモデルで入力として使用します。
• 特徴量エンジニアリングと同義。

特徴の重要度

#df

変数の重要度と同義。

機能セット

#fundamentals

機械学習モデルがトレーニングする特徴量のグループ。たとえば、郵便番号、物件の広さ、物件の状態は、住宅価格を予測するモデルのシンプルな特徴セットを構成できます。

特徴仕様

#TensorFlow

tf.Example プロトコル バッファから特徴データを抽出するために必要な情報について説明します。これは、 tf.Example プロトコル バッファは単なるデータのコンテナであり、 次のとおりです。

• 抽出するデータ（特徴のキー）
• データ型（float や int など）
• 長さ（固定または可変）

特徴ベクトル

#fundamentals

次の要素を構成する特徴値の配列 例。特徴ベクトルは入力シーケンスの トレーニングおよび推論の際に使用します。 例: 2 つの個別の特徴を持つモデルの特徴ベクトル 例:

[0.92, 0.56]

各サンプルは特徴ベクトルに異なる値を指定するため、次のサンプルの特徴ベクトルは次のようになります。

[0.73, 0.49]

特徴量エンジニアリングでは、 予測します。たとえば、5 つの可能な値を持つバイナリ カテゴリ特徴は、ワンホット エンコーディングで表すことができます。この場合、 特徴ベクトルは 4 つのゼロと 以下のように、3 番目の位置に 1.0 を 1 つ作成します。

[0.0, 0.0, 1.0, 0.0, 0.0]

別の例として、モデルが次の 3 つの特徴で構成されているとします。

• バイナリ カテゴリ特徴量で、次のラベルで表される 5 つの可能な値が ワンホット エンコーディング例: [0.0, 1.0, 0.0, 0.0, 0.0]
• 3 つの可能な値が表現されている別のバイナリ カテゴリ特徴 ワンホット エンコーディングを使用します。例: [0.0, 0.0, 1.0]
• 浮動小数点特徴（例: 8.3）。

この場合、各サンプルの特徴ベクトルは 9 の値で表します。上記のリストに示されている例の値の場合、特徴ベクトルは次のようになります。

0.0
1.0
0.0
0.0
0.0
0.0
0.0
1.0
8.3

数値データ: モデルが特徴量を使用してデータを取り込む方法 ベクトル をご覧ください。

特徴量化

入力ソースから特徴を抽出するプロセス それらの特徴を UDM イベントにマッピングし、 特徴ベクトル。

一部の ML エキスパートは、特徴量化を特徴量化を 特徴量エンジニアリング 特徴抽出。

フェデレーション ラーニング

トレーニングを行う分散型 ML アプローチ トレーニング済みモデルを使用するモデルに スマートフォンなどのデバイスに存在する例。 フェデレーション ラーニングでは、一部のデバイスが現在のモデルをダウンロードする 中央の調整サーバーからもリクエストできますデバイスは、デバイスに保存されているサンプルを使用してモデルを改善します。デバイスは、モデルの改善点（トレーニング例は除く）を調整サーバー（Coordinator Server）にアップロードします。アップロードされた改善点は、他の更新と集約され、改善されたグローバル モデルが生成されます。集計後、デバイスによって計算されたモデルが更新される 不要になった場合は破棄できます。

トレーニング用サンプルはアップロードされないため、フェデレーション ラーニングは、データ収集の集中化とデータ最小化のプライバシー原則に準拠しています。

連携学習の詳細については、こちらのチュートリアルをご覧ください。

フィードバック ループ

#fundamentals

機械学習では、モデルの予測が同じモデルまたは別のモデルのトレーニング データに影響を与える状況です。たとえば、映画をおすすめするモデルは、ユーザーが視聴する映画に影響し、その後の映画のレコメンデーション モデルに影響します。

詳細については、ML 集中講座の本番環境の ML システム: 確認すべき質問をご覧ください。

フィードフォワード ニューラル ネットワーク（FFN）

循環型または再帰型の接続のないニューラル ネットワーク。たとえば 従来のディープ ニューラル ネットワークは、 ニューラル ネットワークです。これは、循環型の回帰型ニューラル ネットワークとは対照的です。

少数ショット学習

オブジェクト分類によく使用される ML アプローチ。 少数のモデルのみから効果的な分類器をトレーニングするために トレーニング例です

ワンショット学習、 ゼロショット学習。

少数ショット プロンプト

#language

#generativeAI

複数（「少数」の）例を含むプロンプト 大規模言語モデルが 応答します。たとえば、次の長いプロンプトには、大規模言語モデルにクエリに回答する方法を示す 2 つの例が含まれています。

1 つのプロンプトを構成する要素	メモ
指定された国の公式通貨は何ですか？	LLM に回答を求める質問。
フランス: EUR	1 つの例を挙げましょう。
英国: GBP	別の例をご紹介します。
インド:	実際のクエリ。

一般的に、少数ショット プロンプトを使用すると、ゼロショット プロンプトやワンショット プロンプトよりも望ましい結果が得られます。ただし、少数ショット プロンプトは 長いプロンプトが必要です。

少数ショット プロンプトは、プロンプトベースの学習に適用される少数ショット学習の一種です。

プロンプトを参照してください。 エンジニアリング をご覧ください。

フィドル

#language

Python ファーストの構成ライブラリで、 関数やクラスの価値をモニタリングできます。 Pax や他の ML コードベースの場合、これらの関数と クラスはモデルとトレーニングを表す ハイパーパラメータ。

Fiddle は、機械学習のコードベースが通常次の 3 つに分割されていることを前提としています。

• レイヤとオプティマイザを定義するライブラリ コード。
• ライブラリを呼び出してすべてを接続するデータセットの「グルー」コード。

Fiddle は、評価されていない変更可能な形式でグルーコードの呼び出し構造をキャプチャします。

ファインチューニング

#language

#image

#generativeAI

2 つ目のタスク固有のトレーニング パスは、 事前トレーニング済みモデルを使って、特定のタスクのためにパラメータを 判断できますたとえば、一部の大規模言語モデルの完全なトレーニング シーケンスは次のとおりです。

1. 事前トレーニング: すべての英語の Wikipedia ページなど、膨大な一般的なデータセットで大規模言語モデルをトレーニングします。
2. ファインチューニング: 医療に関するクエリへの回答など、特定のタスクを実行するように事前トレーニング済みモデルをトレーニングします。通常、ファインチューニングでは以下を行います。 特定のタスクに焦点を当てた何百、何千ものサンプルが存在します。

別の例として、大規模画像モデルの完全なトレーニング シーケンスは次のようになります。 次のようになります。

1. 事前トレーニング: 巨大な一般的な画像で大規模な画像モデルをトレーニングする Wikimedia Commons 内のすべての画像などのデータセットを収集します。
2. ファインチューニング: オルカの画像の生成など、特定のタスクを実行するように事前トレーニング済みモデルをトレーニングします。

ファインチューニングでは、次の戦略を任意に組み合わせて行うことができます。

• 事前トレーニング済みモデルのすべての変更 パラメータ。これはフル ファインチューニングとも呼ばれます。
• 事前トレーニング済みモデルの既存のパラメータの一部のみを変更する （通常は出力レイヤに最も近いレイヤ）。 他の既存のパラメータ（通常は 入力レイヤに最も近いもの）。パラメータ効率チューニングをご覧ください。
• レイヤを追加する（通常は、レイヤに最も近い既存のレイヤの上に） 出力レイヤです。

ファインチューニングは転移学習の一種です。そのため、ファインチューニングでは、トレーニング済みモデルのトレーニングに使用したものとは異なる損失関数やモデルタイプを使用する場合があります。たとえば、 トレーニング済みの大規模画像モデルをファインチューニングして、 入力画像に含まれる鳥の数を返します。

ファインチューニングと次の用語を比較します。

• 蒸留
• プロンプト ベースの学習

ファインチューニングをご覧ください。 をご覧ください。

Flax

#language

高パフォーマンスのオープンソース ライブラリ JAX 上に構築されたディープ ラーニング。Flax が提供する関数 トレーニング ニューラル ネットワーク用 パフォーマンスを評価する手段として利用できます

亜麻性

#language

オープンソースの Transformer library 主に自然言語処理用に設計された Flax 上に構築 マルチモーダル調査です

ワーキングゲート

#seq

長・短期記憶の一部 セル内の情報の流れを規制するセルです。 忘れるゲートは、破棄する情報を決定することでコンテキストを維持する セルの状態から変更できます。

完全な Softmax

softmax と同義。

一方、候補サンプリングでは、

詳細については、ML 集中講座のニューラル ネットワーク: マルチクラス分類をご覧ください。

全結合層

隠しレイヤ。各ノードには、 後続の隠れ層のすべてのノードに接続される

全結合レイヤは、密結合レイヤとも呼ばれます。

関数の変換

関数を入力として受け取り、変換された関数を返す関数 渡します。JAX は関数変換を使用します。

G

GAN

生成敵対的の略語 提供します。

一般化

#fundamentals

新しいモデルに対して正しい予測を行うモデルの能力 未知のデータを取り込むことができます一般化できるモデルは、過学習しているモデルとは対照的です。

アイコンをクリックすると、追加のメモが表示されます。

トレーニング セットのサンプルでモデルをトレーニングします。その結果、モデルはトレーニング セット内のデータの特殊性を学習します。一般化 要するに モデルがサンプルに対して適切な予測を トレーニング セットに含まれません。

一般化を促すために 正則化はモデルのトレーニングに役立つ トレーニング セットのデータの特性に合わせて調整します。

---

詳細については、機械学習集中講座の一般化をご覧ください。

Gemini

#language

#image

#generativeAI

Google の最先端の AI で構成されるエコシステム。このエコシステムの要素には次のようなものがあります。

• さまざまな Gemini モデル。
• Gemini モデルへのインタラクティブな会話インターフェース。 ユーザーがプロンプトを入力すると、Gemini がプロンプトに応答します。
• 各種 Gemini API。
• Gemini モデルに基づくさまざまなビジネス プロダクト（Gemini for Google Cloud など）。

Gemini モデル

#language

#image

#generativeAI

Google の最先端の Transformer ベースの マルチモーダル モデル。Gemini モデルは Google Cloud の エージェントと統合するように設計されている。

ユーザーは、インタラクティブなダイアログ インターフェースや SDK など、さまざまな方法で Gemini モデルを操作できます。

一般化曲線

#fundamentals

反復処理回数の関数として、トレーニング損失と検証損失の両方をプロットします。

一般化曲線は、過剰適合の可能性を検出するのに役立ちます。たとえば、次の一般化曲線は、最終的に検証損失がトレーニング損失よりも大幅に高くなるため、過剰適合を示唆しています。

一般化をご覧ください。 をご覧ください。

一般化線形モデル

最小二乗回帰の一般化 基盤モデルに基づいて ガウス ノイズ、 ノイズのほとんどに基づいて ポアソンノイズ または ノイズを除去できます。一般化された線形モデルの例を以下に示します。

• ロジスティック回帰
• マルチクラス回帰
• 最小二乗回帰

一般化された線形モデルのパラメータは、 凸最適化。

一般化線形モデルには、次の特性があります。

• 最適な最小二乗回帰モデルの平均予測は、トレーニング データのラベルの平均と同じです。
• 最適なロジスティック回帰モデルによって予測される平均確率は、トレーニング データの平均ラベルと同じです。

一般化された線形モデルの能力は、その特徴によって制限されます。一般化線形モデルは、ディープ モデルとは異なり、「新しい特徴を学習」できません。

敵対的生成ネットワーク（GAN）

ジェネレータが新しいデータを作成するためのシステム。 識別要素が、そのデータが 有効または無効です。

敵対的生成ネットワークのコースを確認する。 をご覧ください。

生成 AI

#language

#image

#generativeAI

正式な定義のない、新たな革新的分野。 ただし、ほとんどの専門家は、生成 AI モデルが次のすべてのコンテンツを作成（「生成」）できると考えています。

• 複雑
• 一貫性がある
• オリジナル

たとえば、生成 AI モデルは高度なエッセイや画像を作成できます。

LSTMs などの以前のテクノロジー RNN など）を使用して、元の画像とテキスト、 明確で一貫性のあるコンテンツです。一部の専門家は、これらの初期のテクノロジーを生成 AI と見なしていますが、真の生成 AI には、それらの初期のテクノロジーが生成できるよりも複雑な出力が必要だと考える専門家もいます。

予測 ML も参照してください。

生成モデル

実用的なモデルは、次のいずれかを行います。

• トレーニング データセットから新しいサンプルを作成（生成）します。 たとえば、生成モデルは詩のデータセットでトレーニングした後、詩を作成できます。ジェネレータ部分は、 敵対的生成ネットワーク このカテゴリに分類されます
• 新しい例がトレーニング セットから取得されたか、トレーニング セットを作成した同じメカニズムから作成されたかの確率を決定します。たとえば、英語の文からなるデータセットでトレーニングした後、生成モデルは新しい入力が有効な英語の文である確率を決定できます。

生成モデルは、理論的にはデータセット内の例や特定の特徴の分布を識別できます。具体的には、次のことが求められます。

p(examples)

教師なし学習モデルは生成モデルです。

識別モデルとは対照的です。

ジェネレータ

生成敵対的内部のサブシステム ネットワーク 新しい例を作成します。

識別モデルは、

ジニ不純物

#df

エントロピーに似た指標。分割ツールは、Gini 不純度またはエントロピーから導出された値を使用して、分類決定木の条件を作成します。情報量の増加はエントロピーから導出されます。ジニ不純物から導出された指標に、広く認められた同等の用語はありませんが、この名前のない指標は情報量の増加と同じくらい重要です。

ジニ不純度は、ジニ係数または単にジニとも呼ばれます。

アイコンをクリックすると、Gini 不純度の数学的詳細が表示されます。

ジニ不純度は、新しいデータを誤って分類する確率です。 同じ分布から取得されます2 つのセットのギニ不純度 指定可能な値「0」と「1」（たとえば、ニューラル ネットワークのラベルが バイナリ分類の問題） 次の式で計算されます。

   I = 1 - (p² + q²) = 1 - (p² + (1-p)²)

ここで

• I はジニ不純物です。
• p は「1」の分数説明します。
• q は「0」の例の割合です。q = 1-p に注意してください。

たとえば、次のデータセットについて考えてみましょう。

• 100 個のラベル（データセットの 0.25）に値「1」が含まれている
• 300 個のラベル（データセットの 0.75）に値「0」が含まれている

したがって、Gini 不純度は次のようになります。

• p = 0.25
• q = 0.75
• I = 1 - (0.25² + 0.75²) = 0.375

したがって、同じデータセットからのランダムなラベルの確率は 37.5% になります。 正しく分類される確率は 62.5% です

完全にバランスの取れたラベル（200 個の「0」と 200 個の「1」など）では、Gini 不純度は 0.5 になります。不均衡なラベルでは、Gini 不純物が 0.0 に近くなります。

---

ゴールドデータセット

正解を取得する、手動でキュレートされた一連のデータ。 チームは、1 つ以上のゴールデン データセットを使用してモデルの品質を評価できます。

一部のゴールデン データセットは、グラウンド トゥルースの異なるサブドメインをキャプチャします。たとえば 画像分類用のゴールデン データセットが照明条件をキャプチャする場合 3 種類あります

GPT（Generative Pre-trained Transformer）

#language

Transformer ベースのファミリー Google Cloud が開発した大規模言語モデル OpenAI。

GPT のバリエーションは、次のような複数のモダリティに適用できます。

• 画像生成（ImageGPT など）
• テキストから画像の生成（例: DALL-E）。

グラデーション

次に関する部分微分のベクトル すべての独立変数を指定します。ML では、勾配は モデル関数の偏導関数のベクトル。勾配は最も急な上昇方向を向いています。

勾配累積

誤差逆伝播法では、 パラメータは、エポックごとに 1 回ではなく、エポックごとに 1 回のみ使用する 必要があります。各ミニバッチを処理した後、勾配は 累積勾配は単に勾配の累積合計を更新しますその後、エポックの最後のミニバッチを処理した後、システムはすべての勾配変化の合計に基づいてパラメータを更新します。

勾配の蓄積は、トレーニングで使用可能なメモリの量と比較してバッチサイズが非常に大きい場合に便利です。メモリが問題の場合は、バッチサイズを小さくするのが一般的です。ただし、通常のバックプロパゲーションのバッチサイズを小さくすると、パラメータの更新回数が増加します。勾配累積によって メモリの問題を回避しながらも効率的にトレーニングできます

勾配ブースト（決定）ツリー（GBT）

#df

ディシジョン フォレストの一種で、次のような特徴があります。

• トレーニングは 勾配ブースティング。
• 弱いモデルがディシジョン ツリーです。

勾配ブースト決定 樹木 デシジョン フォレストのコースをご覧ください。

グラデーション ブースト

#df

弱いモデルが繰り返しトレーニングされるトレーニング アルゴリズム 強力なモデルの品質を改善（損失を低減）します。たとえば 線形モデルまたは小さなディシジョン ツリー モデルが弱いモデルになります。 強モデルは、以前にトレーニングされた弱いモデルをすべて合計した値になります。

最も単純な形の勾配ブーストでは、反復処理のたびに弱いモデルがトレーニングされ、強力なモデルの損失勾配が予測されます。次に、勾配降下法と同様に、予測された勾配を減算して、強力なモデルの出力を更新します。

$$F_{0} = 0$$ $$F_{i+1} = F_i - \xi f_i $$

ここで

• $F_{0}$ は開始時の強力なモデルです。
• $F_{i+1}$ が次に強力なモデルです。
• $F_{i}$ は現在の強力なモデルです。
• $\xi$ は 0.0～1.0 の値で、縮小と呼ばれます。これは、勾配降下法の学習率に似ています。
• $f_{i}$ は、モデルの損失勾配を予測するようにトレーニングされた弱いモデルです。 $F_{i}$。

勾配ブースティングの最新のバリエーションには、二次微分係数も （Hessian）です。

ディシジョン ツリーは、勾配ブーストで弱いモデルとしてよく使用されます。詳しくは、 勾配ブースト（決定）ツリー。

グラデーションのクリッピング

#seq

勾配降下を使用してモデルをトレーニングするときに、勾配の最大値を人為的に制限（クリップ）することで、勾配の急増の問題を軽減するためによく使用されるメカニズム。

勾配降下法

#fundamentals

損失を最小限に抑える数学的な手法。勾配降下法は反復的に調整 重みとバイアス 損失を最小限に抑えるため、徐々に最適な組み合わせを見つけ出します。

勾配降下法は、機械学習よりもはるかに古い手法です。

詳細については、機械学習集中講座の線形回帰: 勾配降下法をご覧ください。

グラフ

#TensorFlow

TensorFlow では、計算仕様。グラフ内のノードはオペレーションを表します。エッジは有向で、結果を渡すことを表します。 演算（Tensor）の オペランドを別の演算に引き出せますTensorBoard を使用してグラフを可視化します。

グラフ実行

#TensorFlow

このプログラムが最初に構成を行う TensorFlow プログラミング環境 グラフを作成し、そのグラフのすべてまたは一部を実行します。グラフ実行は、TensorFlow 1.x のデフォルトの実行モードです。

早期実行とは対照的です。

貪欲なポリシー

#rl

強化学習では、常に特定のリソースを選択するポリシー 期待される収益が最も高いアクション。

グラウンド トゥルース

#fundamentals

現実。

実際に発生した事象。

たとえば、バイナリ分類を考えてみましょう。 大学 1 年生の学生が 6 年以内に卒業するでしょうこのモデルのグラウンド トゥルースは、 6 年以内に卒業したとは違います

アイコンをクリックすると、追加のメモが表示されます。

グラウンド トゥルースに照らしてモデルの品質を評価します。正解は 必ずしも完全かつ信頼できるわけではありませんたとえば、次の例は、グラウンド トゥルースにある可能性のある不完全性を示しています。

• 修了試験の例では、修了試験が確実に 各生徒の記録は常に正しいか。大学の記録管理は完璧ですか？
• ラベルが、計測機器（気圧計など）によって測定された浮動小数点値であるとします。どうすれば各楽器が 同じ条件で校正されているか、または各測定値が同じ条件で実施されていること どうすればよいでしょうか。
• ラベルが人間の意見に依存するものである場合、各人間のレーティング担当者がイベントを同じ方法で評価していることをどのように確認できるでしょうか。一貫性を高めるために、専門家の人間による評価が必要になることがある します。

---

グループ帰属バイアス

#fairness

個人に当てはまることを、そのグループ内の全員に当てはまると仮定する。データ収集に便宜的サンプリングを使用すると、グループ アトリビューションのバイアスの影響が悪化する可能性があります。代表性のないサンプルでは、現実を反映していないアトリビューションが作成される可能性があります。

グループ外の均一性バイアスもご覧ください。 グループ内バイアスです。また、 公平性: バイアスの種類 をご覧ください。

H

ハルシネーション

#language

一見、もっともらしく見えても事実に反する出力を、 生成 AI モデルであり、 アサーションが必要です。 たとえば、バラク オバマが 1865 年に亡くなったと主張する生成 AI モデルは幻覚を起こしています。

ハッシュ ; ハッシュ化

ML では、バケット化のメカニズムを カテゴリデータです。特に数が カテゴリの数は多いが、実際に表示されるカテゴリの数は データセット内の比較的小さいサイズです。

たとえば、地球には約 73,000 種類の樹木が生息しています。73,000 種類の樹木を 73,000 個の個別のカテゴリ バケットで表すことができます。または、データセットに実際に表示される樹木の種類が 200 種類しかない場合は、ハッシュを使用して樹木の種類を 500 個のバケットに分割できます。

1 つのバケットに複数の種類の樹木を含めることもできます。たとえば、ハッシュ化により、遺伝的に類似していない 2 つの種であるバオバブと赤いカエデが同じバケットに配置される可能性があります。いずれにしても、ハッシュ化は、大規模なカテゴリセットを選択した数のバケットにマッピングする優れた方法です。ハッシュ化は、 多数の有効な値を持つカテゴリ特徴量を 1 つのテーブルに値をグループ化して、値を 決定論的な方法で取り組みます。

カテゴリデータ: 語彙とワンホット エンコード をご覧ください。

ヒューリスティック

問題に対するシンプルで迅速に実装できるソリューション。たとえば 「ヒューリスティックを使用して、86% の精度を達成しました。ディープラーニング ネットワークに切り替えると、精度は 98% に向上しました。」

隠れ層

#fundamentals

レイヤ間のニューラル ネットワークのレイヤは、 入力レイヤ（特徴量）と、 出力レイヤ（予測）。 各隠れ層は 1 つ以上のニューロンで構成されています。 たとえば、次のニューラル ネットワークには、隠れ層が 2 つ含まれています。 1 つ目には 3 つのニューロンがあり、2 つ目には 2 つのニューロンがあります。

ディープ ニューラル ネットワークは複数の 隠されています。たとえば、上の図は、モデルに 2 つの隠しレイヤが含まれているため、ディープニューラル ネットワークです。

詳細については、ML 集中講座のニューラル ネットワーク: ノードと隠れ層をご覧ください。

階層型クラスタリング

#clustering

クラスタのツリーを作成するクラスタリングアルゴリズムのカテゴリ。階層型クラスタリングは階層データに適しています。 さまざまなパターンを学習します。階層型には 2 つの種類があります。 クラスタリング アルゴリズム:

• 集約型クラスタリングでは、まずすべてのサンプルを独自のクラスタに割り当てます。 最も近いクラスタを繰り返し統合して、階層 1 と 2 の 表示されます。
• 分割クラスタリングでは、まずすべてのサンプルを 1 つのクラスタにグループ化し、次にクラスタを反復的に階層ツリーに分割します。

重心ベースのクラスタリングとは対照的です。

詳細については、クラスタリング コースのクラスタリング アルゴリズムをご覧ください。

ヒンジの紛失

各トレーニング サンプルから可能な限り離れた分類境界を見つけ、サンプルと境界間のマージンを最大化するように設計された分類用の損失関数のファミリー。KSVM: ヒンジの損失（または ヒンジ損失の 2 乗など）。バイナリ分類の場合、ヒンジ損失関数は 次のように定義されます。

$$\text{loss} = \text{max}(0, 1 - (y * y'))$$

ここで、y は真のラベル（-1 または +1）、y' は未加工の出力 分類器モデルの予測を行います。

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

したがって、ヒンジ損失と（y * y'）のプロットは次のようになります。

過去のバイアス

#fairness

世界にすでに存在し、データセットに組み込まれているバイアスの一種。こうしたバイアスは、既存の文化的固定観念、人口統計的な不平等、特定の社会的グループに対する偏見を反映する傾向があります。

たとえば、分類モデルについて考えてみましょう。 ローン申請者がローンを債務不履行するかどうかを予測します。 2 つの地域で地方銀行の 1980 年代のローン債務不履行履歴データに基づいてトレーニング できます。コミュニティ A の過去の申請者が、コミュニティ B の申請者よりもローンのデフォルト率が 6 倍高い場合、モデルは過去の偏見を学習し、そのコミュニティのデフォルト率が高くなった過去の状況が現在は関連性がなくなっていても、コミュニティ A のローンを承認する可能性が低くなる可能性があります。

詳細については、ML 集中講座の公平性: バイアスの種類をご覧ください。

ホールドアウト データ

トレーニング中に意図的に使用されない（「ホールドアウト」）サンプル。検証データセットと テスト データセットは、ホールドアウト データの例です。ホールドアウト データは、トレーニングに使用したデータ以外のデータに一般化するモデルの能力を評価するのに役立ちます。ホールドアウト セットの損失により、 未知のデータセットでの損失の推定値と トレーニングセットを使用します

ホスト

#TensorFlow

#GoogleCloud

アクセラレータ チップで ML モデルをトレーニングする場合 （GPU または TPU）: システムの一部 次の両方を制御します。

• コードの全体的なフロー。
• 入力パイプラインの抽出と変換。

ホストは通常、アクセラレータ チップではなく CPU で実行されます。デバイスは、アクセラレータ チップでテンソルを操作します。

ハイパーパラメータ

#fundamentals

ハイパーパラメータ調整サービスによって実行される変数は、 モデルを継続的に調整する必要がありますたとえば、学習率はハイパーパラメータです。方法 トレーニング セッションの前に学習率を 0.01 に設定する。もし 0.01 が高すぎると判断した場合は、 トレーニング セッションでは 0.003 に設定します。

一方、パラメータは、トレーニング中にモデルが学習するさまざまな重みとバイアスです。

線形回帰: ハイパーパラメータ をご覧ください。

超平面

空間を 2 つのサブスペースに分割する境界。たとえば、直線は 平面は 2 次元の超平面であり、平面は 3 次元の超平面です。 機械学習では、ハイパープレーンは高次元空間を分離する境界です。カーネル サポート ベクター マシン 正のクラスと負のクラスを分離する超平面。 高次元空間です。

I

i.i.d.

独立および同分布の略語。

画像認識

#image

画像内のオブジェクト、パターン、コンセプトを分類するプロセス。画像認識は、画像分類とも呼ばれます。

詳細については、次をご覧ください: ML Practicum: Image Classification。

ML の実践: 画像分類の実践演習 コース をご覧ください。

不均衡なデータセット

クラス不均衡データセットと同義。

暗黙のバイアス

#fairness

自分の心に基づいて自動的に関連付けや仮定を立てる 生成 AI です。無意識の偏見は、次のようなことに影響する可能性があります。

• データの収集方法と分類方法。
• 機械学習システムの設計と開発方法。

たとえば、結婚式の写真を識別する分類子を構築する場合、エンジニアは写真に白いドレスが写っているかどうかを特徴として使用できます。しかし、白いドレスが慣例となっていたのは特定の時代に限定され、 地域によっても異なります。

確証バイアスもご覧ください。

補完

値の補完の短縮形。

公平性に関する指標の非互換性

#fairness

公平性の概念の中には相互に相反するものがあり、 同時に満たすことはできませんそのため、すべての ML 問題に適用できる公平性を定量化する単一の普遍的な指標はありません。

これは好ましくないと思うかもしれませんが、公平性に関する指標に互換性がないのは 公平性の取り組みが実を結んでいないことを意味するわけではありません。代わりに、ユースケースに固有の害を防ぐことを目標に、特定の ML 問題のコンテキストに沿って公平性を定義する必要があることを示唆しています。

このトピックの詳細については、「公平性の（不）可能性について」をご覧ください。

コンテキスト内学習

#language

#generativeAI

少数ショット プロンプトと同義。

独立同分布（i.i.d）

#fundamentals

変化しない分布から取得されたデータと、各値が 描画されるものは、以前に描画された値に依存しません。i.i.d. は機械学習の理想気体です。これは有用な数学的な構成ですが、現実世界ではほとんど正確に見つかりません。たとえば、ウェブページへの訪問者の分布は、短い期間では独立分散である可能性があります。つまり、その短い期間では分布は変化せず、1 人の訪問は通常別の人の訪問とは独立しています。ただし、期間を広げると、ウェブページの訪問者数に季節的な違いが現れる可能性があります。

非定常性もご覧ください。

個人の公平性

#fairness

類似の個人が類似して分類されるかどうかを確認する公平性指標。たとえば、Brobdingnagian アカデミーは、同じ成績と標準化テストのスコアを持つ 2 人の生徒が、入学する可能性を同等に確保することで、個人の公平性を満たしたいと考えています。

個人の公正性は、「類似性」（この場合は成績とテストのスコア）の定義に完全に依存します。類似性指標で重要な情報（生徒のカリキュラムの厳しさなど）が欠落していると、新しい公正性の問題が発生するリスクがあります。

個々の公平性について詳しくは、「認識による公平性」をご覧ください。

推論

#fundamentals

機械学習では、トレーニング済みモデルをラベルなしの例に適用して予測を行うプロセス。

推論は、統計では若干異なる意味があります。 詳細については、統計的推論に関する Wikipedia の記事をご覧ください。

教師あり学習をご覧ください。 で、教師あり学習における推論の役割を 学習します。

推論パス

#df

ディシジョン ツリーで推論を行う際、 特定の例が root を他の条件に追加し、 リーフ。たとえば、次のディシジョン ツリーでは、 太い矢印は、次のサンプルの推論パスを示しています。 特徴値:

• x = 7
• y = 12
• z = -3

次の図の推論パスは、リーフ（Zeta）に到達する前に 3 つの条件を通過します。

3 つの太い矢印は推論パスを示しています。

詳細については、ディシジョン フォレスト コースのディシジョン ツリーをご覧ください。

情報利得

#df

ディシジョン フォレストでは、ノードのエントロピーと、その子ノードのエントロピーの重み付け（例数による）の合計の差です。ノードのエントロピーとは、ノードの 表示されます。

たとえば、次のエントロピー値について考えてみましょう。

• 親ノードのエントロピー = 0.6
• 関連する 16 個のサンプルを持つ 1 つの子ノードのエントロピー = 0.2
• 関連する 24 個のサンプルを持つ別の子ノードのエントロピー = 0.1

つまり、例の 40% が 1 つの子ノードに、60% がもう 1 つの子ノードに分類されます。そのため、次のようになります。

• 子ノードの加重エントロピー合計 = (0.4 * 0.2) + (0.6 * 0.1) = 0.14

したがって、情報取得は次のようになります。

• 情報利得 = 親ノードのエントロピー - 子ノードの重み付けエントロピーの合計
• 情報利得 = 0.6 - 0.14 = 0.46

ほとんどの分割ツールは、情報量を最大化する条件を作成しようとします。

所属グループのバイアス

#fairness

自分のグループや自分の特性に偏見を示す。テスターまたは評価者が ML デベロッパーの友人、家族、同僚である場合、グループ内バイアスによりプロダクト テストまたはデータセットが無効になる可能性があります。

所属グループのバイアスとは、グループ帰属バイアスの一種です。グループ外の均一性バイアスもご覧ください。

公平性: バイアス ML 集中講座をご覧ください。

入力ジェネレータ

Google Cloud Storage にデータを読み込むメカニズム ニューラル ネットワーク。

入力ジェネレータは、入力ジェネレータの処理を担うコンポーネントと 元データをテンソルに変換し、それを反復してバッチを生成 トレーニング、評価、推論です

入力層

#fundamentals

特徴ベクトルを保持するニューラル ネットワークのレイヤ。つまり、入力レイヤが トレーニングの例を提供します。 推論。たとえば、次の入力レイヤでは、 ニューラル ネットワークは、

セット内の条件

#df

ディシジョン ツリーの条件 一連のアイテム内に 1 つのアイテムが存在するかどうかをテストします。 たとえば、インセット条件は次のとおりです。

  house-style in [tudor, colonial, cape]

推論中に、家スタイルの特徴の値が tudor、colonial、cape のいずれかである場合、この条件は Yes と評価されます。住宅スタイルの特徴の値が他の場合（ranch など）は、この条件は「いいえ」と評価されます。

通常、セット内条件は、ワンホット エンコードされた特徴をテストする条件よりも効率的なディシジョン ツリーにつながります。

インスタンス

example と同義。

指示チューニング

#generativeAI

生成 AI モデルが指示に従う能力を向上させるファインチューニングの一種。指示チューニングには、一連のデータでモデルをトレーニング 指示プロンプトが多数用意されており、通常はさまざまな 多岐にわたります。その結果、指示用にチューニングされたモデルは、 ゼロショット プロンプトに対する有用なレスポンスを生成する 学習しました。

比較対照:

• パラメータ効率チューニング
• プロンプトのチューニング

解釈可能性

#fundamentals

ML モデルの推論を 人間が理解できる用語で表現します。

たとえば、ほとんどの線形回帰モデルは、 作成します。（各トレーニング済み重みを参照するだけで済みます。 feature.)デシジョン フォレストは解釈性も高く、ただし、一部のモデルでは、解釈可能にするために高度な可視化が必要になります。

Learning Interpretability Tool（LIT）を使用して ML モデルを解釈できます。

評価者間合意

タスクを実施するときに人間の評価者が同意する頻度の測定値。 評価者が一致しない場合は、タスクの手順を改善する必要があります。アノテーション作成者間の一致や評価者間の信頼性とも呼ばれます。最も一般的な判定者間の合意測定の 1 つである Cohen のカッパもご覧ください。

カテゴリデータ: 共通 問題 をご覧ください。

Intersection over Union（IoU）

#image

2 つの集合の共通部分をその和で割った値。ML 画像検出タスクでは、IoU を使用してモデルの 境界に関して予測される境界ボックス グラウンド トゥルースの境界ボックス。この場合、2 つのボックスの IoU は重複領域と合計領域の比率であり、値は 0（予測境界ボックスとグラウンド トゥルースの境界ボックスが重複しない）から 1（予測境界ボックスとグラウンド トゥルースの境界ボックスの座標が完全に一致）です。

たとえば、次の画像では、

• 予測された境界ボックス（モデルが絵画のナイトテーブルが配置されていると予測する場所を区切る座標）は紫色の枠線で囲まれています。
• グラウンド トゥルースの境界ボックス（夜間、 が緑色の枠線で囲まれています。

ここで、予測境界ボックスと正解境界ボックスの交差（左下）は 1、予測境界ボックスと正解境界ボックスの和（右下）は 7 であるため、IoU は \(\frac{1}{7}\)です。

IoU

Intersection over Union の略。

アイテム マトリックス

#recsystems

レコメンデーション システムでは、アイテムに関する潜在シグナルを保持する行列分解によって生成されたエンベディング ベクトルの行列。アイテム マトリックスの各行には、すべてのアイテムの単一の潜在特徴の値が格納されます。たとえば、映画のレコメンデーション システムについて考えてみましょう。アイテム マトリックスの各列は 1 つの映画を表します。潜在シグナルは、ジャンルを表す場合もあれば、ジャンル、スター、映画の公開年などの要素間の複雑な相互作用を含む、解釈が難しいシグナルである場合もあります。

アイテム マトリックスの列数は、分解されるターゲット マトリックスの列数と同じです。たとえば、ある映画が 10,000 本の映画タイトルを評価するレコメンデーション システム、 アイテム マトリックスは 10,000 列になります。

アイテム

#recsystems

レコメンデーション システムでは、 表示されます。たとえば、動画はビデオストアがおすすめするアイテムであり、書籍は書店がおすすめするアイテムです。

繰り返し

#fundamentals

モデルのパラメータ（モデルのパラメータ）を 1 回更新すると、 重みとバイアス - トレーニングをご覧ください。バッチサイズは、モデルが 1 回の反復で処理するサンプルの数を決定します。たとえば、バッチサイズが 20 の場合、モデルは 20 個のサンプルを処理してからパラメータを調整します。

ニューラル ネットワークをトレーニングする場合、1 回の反復処理は 次の 2 つのパスがあります。

1. 1 つのバッチで損失を評価する順伝播。
2. バックプロパゲーションを調整するためのバックワード パス（ モデルのパラメータを調整する必要があります。

J

JAX

アレイ コンピューティング ライブラリは、 XLA（Accelerated Linear Algebra）と自動微分 高パフォーマンスの数値計算に最適ですJAX はシンプルかつ高性能な コンポーズ可能な変換により、高速化された数値コードを記述するための API。 JAX には次のような機能があります。

• grad（自動微分）
• jit（ジャストインタイム コンパイル）
• vmap（自動ベクトル化またはバッチ処理）
• pmap（並列化）

JAX は、数値コードの変換を表現してコンポーズするための言語です。Python の NumPy ライブラリに似ていますが、その範囲ははるかに広いです。（実際、JAX の .numpy ライブラリは、機能的には同等ですが、Python NumPy ライブラリの完全に書き換えられたバージョンです）。

JAX は、モデルとデータを GPU と TPU アクセラレータ チップ間の並列処理に適した形式に変換することで、多くの ML タスクを高速化するために特に適しています。

Flax、Optax、Pax など、多くのライブラリが JAX インフラストラクチャ上に構築されています。

K

Keras

よく利用されている Python の ML API。 Keras 実行日 ディープ ラーニング フレームワークがいくつか用意されています。TensorFlow では、 利用可能 tf.keras を使用します。

カーネル サポート ベクター マシン（KSVM）

入力データベクトルを高次元空間にマッピングすることで、正クラスと負クラスの間のマージンを最大化しようとする分類アルゴリズム。たとえば、入力データセットに 100 個の特徴がある分類問題について考えてみましょう。正クラスと負クラス間のマージンを最大化するために、KSVM は内部でこれらの特徴を 100 万次元の空間にマッピングできます。KSVM は、ヒンジ損失と呼ばれる損失関数を使用します。

keypoints

#image

画像内の特定の特徴の座標。たとえば、花の種類を区別する画像認識モデルの場合、キーポイントは各花びらの中心、茎、雄しべなどです。

k フォールド交差検証

モデルの性能を予測するためのアルゴリズムは、 新しいデータに一般化する。k 分割の k は、データセットのサンプルを分割する等しいグループの数を指します。つまり、モデルを k 回トレーニングしてテストします。トレーニングとテストの各ラウンドでは、異なるグループがテストセットになり、残りのすべてのグループがトレーニング セットになります。k ラウンドのトレーニングとテストの後、平均と 選択したテスト指標の標準偏差。

たとえば、データセットが 120 個のサンプルで構成されているとします。さらに仮に k を 4 に設定することにしました。したがって、サンプルをシャッフルした後、データセットを 30 個のサンプルの 4 つの均等なグループに分割し、4 回のトレーニングとテストを実施します。

たとえば、線形回帰モデルでは平均二乗誤差（MSE）が最も有意な指標になる可能性があります。したがって、4 つのラウンド全体の MSE の平均と標準偏差を確認します。

K 平均法

#clustering

教師なし学習で例をグループ化する一般的なクラスタリング アルゴリズム。k 平均法アルゴリズムは基本的に次のことを行います。

• 最適な k 個の中心点（セントロイド）を反復的に決定します。
• 各サンプルを最も近いセントロイドに割り当てます。最も近くにあるサンプルは 同じセントロイドが同じグループに属する場合です。

k 平均法アルゴリズムは、各サンプルから最も近いセントロイドまでの距離の累積2 乗を最小化するようにセントロイドの位置を選択します。

たとえば、犬の高さと犬の幅の次のプロットについて考えてみましょう。

k=3 の場合、K 平均法アルゴリズムによって 3 つの重心が決定されます。各サンプルは、最も近い重心に割り当てられ、3 つのグループが生成されます。

たとえば あるメーカーが、小型 サイズも豊富です3 つのセントロイドは、そのクラスタ内の各犬の平均高さと平均幅を示します。したがって、メーカーは、これらの 3 つの重心に基づいてセーターサイズを決定する必要があります。通常、クラスタの重心はクラスタ内の例ではありません。

上の図は、2 つの特徴量（高さと幅）のみを含む例の K 平均法を示しています。k 平均法では、多くの特徴にわたってサンプルをグループ化できます。

k 中央値

#clustering

k 平均法に密接に関連するクラスタリング アルゴリズム。2 つの実質的な違いは次のとおりです。

• K 平均法では、セントロイドが 2 乗: セントロイド候補と各 説明します。
• k-median では、セントロイド候補と各例の間の距離の合計を最小化することでセントロイドが決定されます。

距離の定義も異なることに注意してください。

• K 平均法は、セントロイドからサンプルまでのユークリッド距離に依存します。（2 つの次元では、 距離はピタゴラスの定理を使って 斜辺）です。たとえば、（2,2）と（5,-2）の間の K 平均法距離は次のようになります。

$$ {\text{Euclidean distance}} = {\sqrt {(2-5)^2 + (2--2)^2}} = 5 $$

• k 中央値は マンハッタン距離に依存 例に挙げられますこの距離は、トレーニング データの 差分を表示できます。たとえば、（2,2）と（5,-2）の間の k-median 距離は次のようになります。

$$ {\text{Manhattan distance}} = \lvert 2-5 \rvert + \lvert 2--2 \rvert = 7 $$

L

L₀ 正則化

#fundamentals

正則化の一種で、 ゼロ以外の重みの合計数にペナルティをかける です。たとえば、11 個のゼロ以外の重みを持つモデルは、10 個のゼロ以外の重みを持つ同様のモデルよりも大きなペナルティが適用されます。

L₀ 正則化は、L0 ノルム正則化とも呼ばれます。

アイコンをクリックすると、追加のメモが表示されます。

一般に、大規模モデルでは L₀ 正則化は実用的ではありません。 L₀ 正則化は、トレーニングを 凸面 最適化の問題です。

---

L₁ 損失

#fundamentals

実際のラベル値とモデルが予測する値の差の絶対値を計算する損失関数。たとえば、5 つのサンプルのバッチに対する L₁ 損失の計算は次のとおりです。

例の実際の値	モデルの予測値	デルタの絶対値
7	6	1
5	4	1
8	11	3
4	6	2
9	8	1
		8 = L1 損失

L₁ 損失は外れ値の影響を受けにくい L₂ 損失よりも高くなります。

平均絶対誤差は、サンプルあたりの平均 L₁ 損失です。

アイコンをクリックすると、正式な数式が表示されます。

$$ L_1 loss = \sum_{i=0}^n | y_i - \hat{y}_i |$$

ここで

• $n$ はサンプル数です。
• $y$ はラベルの実際の値です。
• $\hat{y}$ は、モデルが $y$ に対して予測する値です。

---

L₁ 正則化

#fundamentals

ペナルティを課す正則化の一種 絶対値の合計に比例する重み あります。L₁ 正則化は、無関係またはほとんど関連性のない特徴量の重みを正確に 0 に近づけるのに役立ちます。重みが 0 の特徴量は、モデルから実質的に削除されます。

L₂ 正則化とは対照的です。

L₂ 損失

#fundamentals

二乗を計算する損失関数 実際のラベル値と モデルが予測する値。たとえば、ここでは バッチが 5 の場合の L₂ 損失の計算 例:

例の実際の値	モデルの予測値	三角形
7	6	1
5	4	1
8	11	9
4	6	4
9	8	1
		16 = L2 損失

二乗によって、L₂ の損失が 外れ値。 つまり、L₂ の損失は、悪い予測に対してよりも強い反応を示す L₁ 損失。たとえば、前のバッチの L₁ 損失は 16 ではなく 8 になります。1 つの Pod が 外れ値は 16 個のうち 9 個を占めます。

回帰モデルでは通常、損失関数として L₂ 損失を使用します。

平均二乗誤差は、 例あたり L₂ 損失。 二乗損失は、L₂ 損失の別名です。

アイコンをクリックすると、正式な計算が表示されます。

$$ L_2 loss = \sum_{i=0}^n {(y_i - \hat{y}_i)}^2$$

ここで

• $n$ はサンプル数です。
• $y$ はラベルの実際の値です。
• $\hat{y}$ は、モデルが $y$ について予測した値です。

---

L₂ 正則化

#fundamentals

正則化の一種で、重みの平方の合計に比例して重みにペナルティーを科します。L₂ 正則化は、外れ値の重み（ 0 に近いものの、0 に近い値を指定します。 値が 0 に非常に近い特徴はモデルに残りますが、モデルの予測にはあまり影響しません。

L₂ 正則化は、線形モデルの一般化を常に改善します。

対照的に、L₁ 正則化です。

ラベル

#fundamentals

教師あり機械学習では、例の「回答」または「結果」の部分。

各ラベル付きサンプルは、1 つ以上の特徴量とラベルで構成されます。たとえば、スパム検出データセットでは、ラベルは「スパム」または「スパムではない」のいずれかになります。降雨データセットでは、ラベルは特定の期間に降った雨の量です。

ラベル付きサンプル

#fundamentals

1 つ以上の特徴とラベルを含む例。たとえば、次の表は、住宅査定モデルの 3 つのラベル付きサンプルを示しています。それぞれに 3 つの特徴と 1 つのラベルがあります。

寝室の数	浴室数	家の築年数	住宅価格（ラベル）
3	2	15	34 万 5,000 ドル
2	1	72	$179,000
4	2	34	$392,000

教師あり ML では、 ラベル付きサンプルでトレーニングされ、 ラベルなしのサンプル。

ラベル付きサンプルとラベルなしサンプルを比較します。

ラベル漏洩

モデル設計上の欠陥で、特徴が label。たとえば、 バイナリ分類モデル 見込み顧客が特定の商品を購入するかどうか モデルの特徴の 1 つが SpokeToCustomerAgent という名前のブール値であるとします。さらにカスタマーエージェントは 見込み顧客が実際に購入した後に割り当てられる 説明します。トレーニング中に、モデルはこの関連性を SpokeToCustomerAgent とラベルの間の値。

lambda

#fundamentals

正則化率と同義。

ラムダはオーバーロードされた用語です。ここでは、正則化におけるこの用語の定義について説明します。

LaMDA（対話アプリケーション用言語モデル）

#language

Google が開発した Transformer ベースの大規模言語モデル。大規模な会話データセットでトレーニングされており、リアルな会話レスポンスを生成できます。

LaMDA: Google の画期的な会話テクノロジーで概要を確認できます。

landmarks

#image

キーポイントと同義。

言語モデル

#language

トークンの確率を推定するモデル トークン、つまり、より長いシーケンスのトークンで生成されるシーケンスです。

アイコンをクリックすると、追加のメモが表示されます。

直感に反するかもしれませんが、テキストを評価する多くのモデルは 言語モデル。たとえば、テキスト分類モデルと感情分析モデルは言語モデルではありません。

---

大規模言語モデル

#language

少なくとも、パラメータが非常に多い言語モデルが必要です。よりカジュアルな言い方をすれば、Transformer ベースの言語モデル（Gemini や GPT など）。

潜在空間

#language

エンベディング空間と同義。

レイヤ

#fundamentals

一連のニューロンが ニューラル ネットワーク。一般的な 3 種類のレイヤ 次のとおりです。

• 入力レイヤ。すべての特徴の値を提供します。
• 1 つ以上の隠れ層。特徴とラベル間の非線形関係を検出します。
• 出力レイヤ。予測を提供します。

たとえば、次の図は、1 つの入力レイヤ、2 つの隠れ層、1 つの出力レイヤを持つニューラル ネットワークを示しています。

TensorFlow では、レイヤも Python 関数であり、 テンソルと構成オプションを入力および 他のテンソルを出力として生成します。

Layers API（tf.layers）

#TensorFlow

レイヤの合成としてディープニューラル ネットワークを構築するための TensorFlow API。Layers API を使用すると、次のようなさまざまなタイプのレイヤを作成できます。

• tf.layers.Dense: 全結合レイヤ。
• tf.layers.Conv2D: 畳み込みレイヤ。

Layers API は、Keras レイヤ API の規則に準拠しています。つまり、別の接頭辞を除き、Layers API 内のすべての関数は、 名前と署名が、Keras アプリケーションのものと レイヤ API です。

葉

#df

ディシジョン ツリー内の任意のエンドポイント。リーフは、条件とは異なり、テストを実行しません。リーフは、可能な予測です。リーフは、推論パスの終端ノードでもあります。

たとえば、次のディシジョン ツリーには 3 つのリーフが含まれています。

Learning Interpretability Tool（LIT）

モデルの理解とデータ可視化のためのビジュアルでインタラクティブなツール。

オープンソースの LIT を使用して、 モデルを解釈したり、テキスト、画像、 表します。

学習率

#fundamentals

勾配降下法を示す浮動小数点数 重みとバイアスをどれだけ強く調整するかを iteration。たとえば、学習率が 0.3 の場合、重みとバイアスの調整は学習率が 0.1 の場合の 3 倍強くなります。

学習率は重要なハイパーパラメータです。学習率を低く設定しすぎると、トレーニングに時間がかかりすぎます。条件 学習率の設定が高すぎると、勾配降下法で問題が発生することが 収束に到達する。

アイコンをクリックすると、より数学的な説明が表示されます。

反復処理のたびに、 勾配降下法 アルゴリズムは、 勾配によって学習します結果として得られる積は、 勾配ステップ。

---

最小二乗回帰

線形回帰モデルは、トレーニング データの L₂ 損失。

リニア

#fundamentals

単独で表現できる 2 つ以上の変数間の関係 加算と乗算で計算されます

直線関係のプロットは線になります。

非線形とは対照的です。

線形モデル

#fundamentals

特徴ごとに 1 つの重みを割り当てて予測を行うモデル。（線形モデルにはバイアスも組み込まれています）。一方 ディープモデルでの予測と特徴量の関係 通常はnonlinearです。

通常、線形モデルはディープ モデルよりもトレーニングが容易で、解釈可能です。ただし、ディープモデルは特徴間の複雑な関係を学習できます。

線形回帰と ロジスティック回帰は、2 種類の線形モデルです。

アイコンをクリックすると、計算結果が表示されます。

線形モデルは次の式に従います。

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

各要素の意味は次のとおりです。

• 生の予測です。（特定の種類の線形モデルでは、この元の予測がさらに変更されます。たとえば、ロジスティック回帰をご覧ください）。
• b はバイアスです。
• w は重みです。w₁ は最初の特徴の重み、w₂ は 2 番目の特徴の重み、というようにします。
• x は特徴量であるため、x₁ は最初の特徴量の値、x₂ は 2 番目の特徴量の値になります。

たとえば、3 つの特徴量の線形モデルが バイアスと重み: <ph type="x-smartling-placeholder">

</ph>
• b = 7
• w₁ = -2.5
• w₂ = -1.2
• w₃ = 1.4

したがって、3 つの特徴（x₁、x₂、 x₃）に対して、線形モデルでは次の式が使用されます。 各予測を生成します。

y' = 7 + (-2.5)(x1) + (-1.2)(x2) + (1.4)(x3)

特定の例に次の値が含まれているとします。

• x₁ = 4
• x₂ = -10
• x₃ = 5

これらの値を数式に組み込むと、この例の予測が生成されます。

y' = 7 + (-2.5)(4) + (-1.2)(-10) + (1.4)(5)
y' = 16

線形モデルには、一次方程式のみを使用するモデルだけでなく、 予測を行うだけでなく、一次方程式を使用する幅広いモデルも 予測を行う式の 1 つの要素にすぎません たとえばロジスティック回帰では 0 ～ 1 の間の最終的な予測値を生成します。 あります。

---

線形回帰

#fundamentals

次の両方が当てはまる ML モデルのタイプ。

• このモデルは線形モデルです。
• 予測は浮動小数点値です。（これは線形回帰の回帰部分です）。

線形回帰とロジスティック回帰を比較します。また、回帰と分類を対比します。

LIT

の略語 Learning Interpretability Tool（LIT） これは以前、言語解釈可能性ツールと呼ばれていました。

LLM

#language

#generativeAI

大規模言語モデルの略語。

LLM 評価（評価）

#language

#generativeAI

大規模言語モデル（LLM）のパフォーマンスを評価するための一連の指標とベンチマーク。大まかに言うと LLM の評価:

• 研究者が LLM の改善が必要な領域を特定できるようにします。
• さまざまな LLM を比較し、特定のタスクに最適な LLM を特定する場合に役立ちます。
• LLM が安全で倫理的に使用できることを保証します。

ロジスティック回帰

#fundamentals

確率を予測する回帰モデルの一種。ロジスティック回帰モデルには次の特徴があります。

• ラベルはカテゴリです。ロジスティックという用語 回帰は通常、二項ロジスティック回帰、つまり 2 つの有効な値を持つラベルの確率を計算するモデルに与えられます。 あまり一般的ではないバリエーションである多項式ロジスティック回帰は、2 つ以上の候補値を持つラベルの確率を計算します。
• トレーニング中の損失関数は ログ損失です。（2 つを超える値が可能なラベルの場合は、複数のログロス ユニットを並列に配置できます）。
• このモデルは、ディープ ニューラル ネットワークではなく、線形アーキテクチャです。ただし、この定義の残りの部分は、カテゴリラベルの確率を予測するディープラーニング モデルにも適用されます。

たとえば、入力メールがスパムであるかそうでないかの確率を計算するロジスティック回帰モデルについて考えてみましょう。推論の際に、モデルが 0.72 と予測したとします。したがって、 次を予測:

• メールが迷惑メールである確率は 72% です。
• メールが迷惑メールではない確率は 28%。

ロジスティック回帰モデルは、次の 2 段階のアーキテクチャを使用します。

1. モデルは、一次関数を適用して未加工の予測（y'）を生成する 学習します。
2. モデルはその生の予測を入力として シグモイド関数は元のデータを 範囲（0 と 1 は含まない）で表現されます。

他の回帰モデルと同様に、ロジスティック回帰モデルは数値を予測します。 ただし、通常、この数値は次のようにバイナリ分類モデルの一部になります。

• 予測された数値が実際の数値よりも大きい場合、 分類しきい値、 バイナリ分類モデルが陽性のクラスを予測します。
• 予測された数が分類しきい値より小さい場合、バイナリ分類モデルは負のクラスを予測します。

ロジット

分類によって生成される未加工の（正規化されていない）予測のベクトル 生成され、通常は正規化関数に渡されます。 モデルがマルチクラス分類を解決する場合 ロジットは通常、モデルに与える softmax 関数。 次に、softmax 関数は、考えられるクラスごとに 1 つの値を持つ（正規化された）確率ベクトルを生成します。

ログ損失

#fundamentals

バイナリロジスティック回帰で使用される損失関数。

アイコンをクリックすると、計算結果が表示されます。

ログ損失は、次の式で計算されます。

$$\text{Log Loss} = \sum_{(x,y)\in D} -y\log(y') - (1 - y)\log(1 - y')$$

ここで

• \((x,y)\in D\) は、ラベル付きの多くの例（ \((x,y)\) ペア）を含むデータセットです。
• \(y\) は、ラベル付きサンプルのラベルです。これはロジスティック回帰であるため、 \(y\) のすべての値は 0 または 1 にする必要があります。
• \(y'\) は、 \(x\)の特徴セットに基づく予測値（0～1 の範囲）です。

---

ログオッズ

#fundamentals

あるイベントのオッズの対数。

アイコンをクリックすると、計算式が表示されます。

事象が 2 項確率の場合、オッズは 成功の確率（p）と 失敗します（1-p）。たとえば、特定のイベントの成功確率が 90%、失敗確率が 10% であるとします。この場合、オッズは次のように計算されます。

$$ {\text{odds}} = \frac{\text{p}} {\text{(1-p)}} = \frac{.9} {.1} = {\text{9}} $$

対数オッズは、オッズの単なる対数です。通常、 "対数"意味 自然対数 対数は実際には、1 より大きい任意の底にすることができます。 慣例により、この例の対数オッズは次のようになります。

$$ {\text{log-odds}} = ln(9) ~= 2.2 $$

対数オッズ関数は、 シグモイド関数。

---

Long Short-Term Memory（LSTM）

#seq

手書き認識、機械翻訳、画像キャプションなどのアプリケーションでデータシーケンスを処理するために使用される、再帰型ニューラル ネットワークの一種のセル。LSTM は、長いデータシーケンスが原因で RNN をトレーニングするときに発生する勾配消失の問題に対処します。これは、RNN 内の前のセルからの新しい入力とコンテキストに基づいて、内部メモリ状態の履歴を維持することで実現されます。

LoRA

#language

#generativeAI

Low-Rank Adaptability の略語。

損失

#fundamentals

トレーニングの 教師ありモデル: モデルの予測はラベルから取得されます。

損失関数は損失を計算します。

損失アグリゲータ

機械学習アルゴリズムの一種で、 モデルのパフォーマンスを向上させる 複数のモデルの予測を組み合わせて、 単一の予測を行います。その結果 損失アグリゲータを使用すると、予測の分散を 予測の精度を向上させる。

損失曲線

#fundamentals

トレーニング数の関数としての損失のプロット iterations。次のグラフは、一般的な損失曲線を示しています。

損失曲線は、モデルがトレーニング中に 収束または過学習。

損失曲線には、次のタイプの損失をすべてプロットできます。

• トレーニング損失
• 検証損失
• テスト損失

一般化曲線もご覧ください。

損失関数

#fundamentals

トレーニングまたはテスト中、 次の数値を計算する数学関数では、 例のバッチに対する損失です。損失関数は、1 対 1 の会話から 予測を行うモデルよりも、精度の高い 検出できます。

通常、トレーニングの目標は、損失関数が返す損失を最小限に抑えることです。

損失関数にはさまざまな種類があります。構築するモデルの種類に適した損失関数を選択します。例:

• L₂ 損失（または平均二乗誤差）は、線形回帰の損失関数です。
• 対数損失は、ロジスティック回帰の損失関数です。

損失表面

体重と体脂肪率のグラフ。勾配降下は、損失曲面が局所最小値となる重みを見つけることを目的としています。

低ランクの適応性（LoRA）

#language

#generativeAI

パラメータ効率なファイン チューニング手法。モデルの事前トレーニング済み重みを「凍結」（変更できなくする）し、トレーニング可能な重みの小さなセットをモデルに挿入します。このトレーニング可能な重みのセット（ 「更新行列」）はベースモデルよりもかなり小さく、 トレーニングにかかる時間が大幅に短縮されます。

LoRA には次のような利点があります。

• 細かな粒度が不明な領域におけるモデルの予測品質を 適用されます。
• モデルのすべてのファインチューニングが必要な手法よりも高速にファインチューニング あります。
• 以下を有効にすることで、推論の計算コストを削減 同じベースを共有する複数の専用モデルの同時サービング モデルです。

アイコンをクリックすると、LoRA の更新マトリックスの詳細を確認できます。

LoRA で使用される更新行列は、ランク分解行列で構成されています。これは、ノイズを除去し、モデルの最も重要な特徴にトレーニングを集中させるためにベースモデルから派生したものです。

---

LSTM

#seq

長・短期記憶の略称。

M

機械学習

#fundamentals

トレーニングするプログラムまたはシステム 入力データからモデルを取得する。トレーニングされたモデルは、モデルのトレーニングに使用したものと同じ分布から抽出された新しい（これまでにない）データから有用な予測を行うことができます。

機械学習は、これらのプログラムやシステムに関連する研究分野も指します。

多数クラス

#fundamentals

より一般的なラベルは、 クラス不均衡なデータセット。たとえば、99% が負のラベルで 1% が正のラベルを含むデータセットの場合、負のラベルが多数クラスになります。

少数クラスとは対照的です。

マルコフ決定プロセス（MDP）

#rl

意思決定モデルを表すグラフは、 （またはアクション） 状態が維持されることを前提としています。 マルコフの性質。イン 強化学習という、 数値の報酬を返します。

マルコフの性質

#rl

特定の環境のプロパティで、その環境の状態は、 は、完全に定義された情報によって 現在の状態とエージェントのアクション。

マスク言語モデル

#language

シーケンス内の空白を埋める候補トークンの確率を予測する言語モデル。たとえば、 マスクされた言語モデルで候補単語の確率を計算できる を使用して、次の文の下線を置き換えます。

帽子の ____ が戻ってきた。

通常、文献では下線ではなく文字列「MASK」が使用されます。例:

帽子の「MASK」が復元されました。

最新のマスク付き言語モデルのほとんどは双方向です。

matplotlib

オープンソースの Python 2D プロット ライブラリ。 matplotlib を使用すると、 さまざまな側面から説明します

行列分解

#recsystems

数学では、ドット積がターゲット マトリックスに近似するマトリックスを見つけるメカニズム。

レコメンデーション システムにおけるターゲット マトリックス しばしばユーザーのitems に対する評価。たとえば、映画のレコメンデーション システムのターゲット マトリックスは次のようになります。正の整数はユーザー評価で、0 はユーザーが映画を評価していないことを意味します。

	カサブランカ	フィラデルフィア物語	Black Panther（「ブラック パンサー」）	ワンダーウーマン	パルプ・フィクション
ユーザー 1	5.0	3.0	0.0	2.0	0.0
ユーザー 2	4.0	0.0	0.0	1.0	5.0
ユーザー 3	3.0	1.0	4.0	5.0	0.0

映画のレコメンデーション システムは、評価されていない映画のユーザー評価を予測することを目的としています。たとえば、ユーザー 1 は Black Panther を気に入るでしょうか？

レコメンデーション システムの手法の一つとして、マトリックスを 次の 2 つの行列を生成します。

• ユーザー数 × エンベディング ディメンション数で構成されるユーザー マトリックス。
• アイテム マトリックス。エンベディングの数として形成されます。 寸法 × 項目数です。

たとえば、3 人のユーザーと 5 つのアイテムに対して行列分解を使用すると、 この場合、次のようなユーザー マトリックスとアイテム マトリックスが生成されます。

User Matrix                 Item Matrix

1.1   2.3           0.9   0.2   1.4    2.0   1.2
0.6   2.0           1.7   1.2   1.2   -0.1   2.1
2.5   0.5

ユーザー行列とアイテム行列の点積は、元のユーザー評価だけでなく、各ユーザーが視聴していない映画の予測も含むおすすめ情報行列を生成します。たとえば、ユーザー 1 のカサブランカの評価は 5.0 でした。推奨事項マトリックスのそのセルに対応するドット積は 5.0 程度になるはずです。実際には次のようになります。

(1.1 * 0.9) + (2.3 * 1.7) = 4.9

さらに重要なのは、ユーザー 1 は Black Panther を気に入るかどうかです。1 行目と 3 列目に相当する内積を取ると、予測評価 4.3 が得られます。

(1.1 * 1.4) + (2.3 * 1.2) = 4.3

行列分解で生成されるユーザー マトリックスとアイテム マトリックスは通常、 ターゲット マトリックスよりも大幅にコンパクトになります。

平均絶対誤差（MAE）

L₁ 損失を使用する場合のサンプルあたりの平均損失。平均絶対誤差は次のように計算します。

1. バッチの L₁ 損失を計算します。
2. L₁ 損失をバッチ内の例数で除算します。

アイコンをクリックすると、正式な数式が表示されます。

$$\text{Mean Absolute Error} = \frac{1}{n}\sum_{i=0}^n | y_i - \hat{y}_i |$$

ここで

• $n$ はサンプル数です。
• $y$ はラベルの実際の値です。
• $\hat{y}$ は、モデルが $y$ について予測した値です。

---

たとえば、入力シーケンスの L₁ 損失の計算を 5 つの例のバッチに続きます。

例の実際の値	モデルの予測値	損失（実際と予測の差）
7	6	1
5	4	1
8	11	3
4	6	2
9	8	1
		8 = L1 の損失

したがって、L₁ の損失は 8、例の数は 5 です。 したがって、平均絶対誤差は次のようになります。

Mean Absolute Error = L1 loss / Number of Examples
Mean Absolute Error = 8/5 = 1.6

平均絶対誤差を平均二乗誤差で対比する。 二乗平均平方根誤差。

平均二乗誤差（MSE）

L₂ 損失を使用する場合の例あたりの平均損失。平均二乗誤差は次のように計算します。

1. バッチの L₂ 損失を計算します。
2. L₂ 損失をバッチ内の例数で除算します。

アイコンをクリックすると、正式な数式が表示されます。

$$\text{Mean Squared Error} = \frac{1}{n}\sum_{i=0}^n {(y_i - \hat{y}_i)}^2$$ ここで:

• $n$ は、例の数です。
• $y$ はラベルの実際の値です。
• $\hat{y}$ は、$y$ に対するモデルの予測です。

---

たとえば、次の 5 つのサンプルのバッチの損失について考えてみましょう。

実際の値	モデルの予測	損失	二乗損失
7	6	1	1
5	4	1	1
8	11	3	9
4	6	2	4
9	8	1	1
			16 = L2 損失

したがって、平均二乗誤差は次のようになります。

Mean Squared Error = L2 loss / Number of Examples
Mean Squared Error = 16/5 = 3.2

平均二乗誤差は一般的なトレーニング オプティマイザーです。 特に線形回帰で使用します。

平均二乗誤差を平均絶対誤差や二乗平均平方根誤差と比較します。

TensorFlow Playground: 平均二乗誤差を使用 損失値を計算します。

アイコンをクリックすると、外れ値の詳細が表示されます。

外れ値は平均二乗誤差に大きく影響します。 たとえば、損失 1 は損失 1 の 2 乗ですが、損失 3 は損失です。 損失の 2 乗損失になります上の表では、損失が 3 の例が平均二乗誤差の約 56% を占めていますが、損失が 1 の例はそれぞれ平均二乗誤差の 6% しか占めていません。

外れ値は平均絶対誤差にそれほど強く影響しない 平均二乗誤差。たとえば、3 件のアカウントの損失は、平均絶対誤差の約 38% にすぎません。

極端な外れ値がモデルの予測能力に悪影響を及ぼすのを防ぐ方法の一つがクリッピングです。

---

メッシュ

#TensorFlow

#GoogleCloud

ML 並列プログラミングでは、データとモデルを TPU チップに割り当て、これらの値のシャーディングまたは複製方法を定義する用語。

メッシュは、次のいずれかを意味するオーバーロードされた用語です。

• TPU チップの物理レイアウト。
• データとモデルを TPU チップにマッピングするための抽象的な論理構造。

どちらの場合も、メッシュはシェイプとして指定されます。

メタ学習

#language

学習アルゴリズムを検出または改善する ML のサブセット。 メタラーニング システムでは、新しい情報をすばやく学習するようにモデルをトレーニングすることも 少量のデータやこれまでのタスクで得た経験から トレーニングすることもできます 通常、メタ学習アルゴリズムは次の目標を達成しようとします。

• 手動で作成された特徴（初期化子やオプティマイザーなど）を改善または学習する。
• データ効率とコンピューティング効率を高める。
• 一般化を改善する。

メタ学習は少数ショット学習に関連しています。

指標

#TensorFlow

重視する統計情報。

目標とは、機械学習システムが最適化しようとする指標です。

Metrics API（tf.metrics）

モデルを評価するための TensorFlow API。たとえば、tf.metrics.accuracy は、モデルの予測がラベルと一致する頻度を決定します。

ミニバッチ

#fundamentals

1 回の反復処理で処理されるバッチの小さなランダム サブセット。ミニバッチのバッチサイズは通常、 10 ～ 1,000 サンプル。

たとえば、トレーニング セット全体（完全なバッチ）が 1,000 個のサンプルで構成されているとします。さらに、各ミニバッチのバッチサイズを 20 に設定したとします。したがって、各反復処理で 1,000 個のサンプルからランダムに 20 個のサンプルを選択し、その損失を決定してから、それに応じて重みとバイアスを調整します。

ミニバッチでの損失を計算する方が、 サンプル全体の損失が わかります

ミニバッチ確率的勾配降下法

ミニバッチを使用する勾配降下法アルゴリズム。つまり、ミニバッチ 確率的勾配降下法は、トレーニング データの小さなサブセットに基づいて勾配を推定します。通常の確率的勾配降下法では、サイズ 1 のミニバッチを使用します。

ミニマックス損失

生成されたデータと実際のデータの分布間のクロスエントロピーに基づく、生成敵対ネットワークの損失関数。

最小損失損失が 最初の論文で 生成敵対的ネットワークです。

少数派クラス

#fundamentals

カテゴリではあまり一般的でないラベルが クラス不均衡なデータセット。たとえば 99% の負のラベルと 1% の正のラベルを含むデータセットの場合、 正のラベルは少数派のクラスです

多数クラスとは対照的です。

アイコンをクリックすると、追加のメモが表示されます。

100 万個のサンプルを含むトレーニング セットは、非常に印象的です。ただし、少数派のクラスが適切に表現されていない場合、 非常に大きなトレーニング セットでも不十分な場合があります。データセットのサンプルの合計数よりも、少数派クラスのサンプル数に重点を置きます。

データセットに少数派クラスのサンプルが十分に含まれていない場合は、ダウンサンプリング（2 つ目の箇条書きの定義）を使用して少数派クラスを補完することを検討してください。

---

専門家の組み合わせ

#language

#generativeAI

パラメータのサブセット（エキスパート）のみを使用して特定の入力トークンまたは例を処理することで、ニューラル ネットワークの効率を高めるスキーム。ゲーティング ネットワークは、各入力トークンまたは例を適切なエキスパートに転送します。

詳細については、次のいずれかのホワイトペーパーをご覧ください。

• 超大規模ニューラル ネットワーク: スパースゲート方式の専門家混合レイヤ
• エキスパート選択ルーティングを使用した Mixture-of-Experts

ML

機械学習の略語。

MMIT

#language

#image

#generativeAI

略語: マルチモーダル指示用調整済み。

MNIST

#image

LeCun、Cortes、Burges がコンパイルした、 60,000 点の画像で、それぞれが人間がどのようにして特定の言葉を手作業で書いたか 0 ～ 9 の数字。各画像は 28 x 28 の整数の配列として保存されます。各整数は 0～255 のグレースケール値です。

MNIST は機械学習のカノニカル データセットであり、新しい機械学習アプローチのテストによく使用されます。詳しくは、 <ph type="x-smartling-placeholder"></ph> The MNIST Database of HandWriting Digits（手書き数字の MNIST データベース）。

モダリティ

#language

上位のデータカテゴリ。たとえば、数値、テキスト、画像、動画、音声は 5 つの異なるモダリティです。

モデル

#fundamentals

一般に、入力データを処理して結果を返す数学的構造は 出力です。別の言い方をすると、モデルとは、システムが予測を行うために必要なパラメータと構造のセットです。教師あり機械学習では、モデルは例を入力として受け取り、予測を出力として推論します。教師あり ML では、 若干異なります。例:

• 線形回帰モデルは一連の重み バイアス。
• ニューラル ネットワーク モデルは、次の要素で構成されます。
  • 一連の非表示レイヤ。各レイヤには 1 つまたは複数のレイヤが含まれます。 より多くのニューロン。
  • 各ニューロンに関連付けられた重みとバイアス。
• ディシジョン ツリー モデルは次の要素で構成されます。
  • 木の形状。つまり、条件とリーフが接続されるパターン。
  • 条件と出発。

モデルの保存、復元、コピーを行うことができます。

教師なし ML にも モデルを生成します。通常は、入力サンプルをモデルに 最適なクラスタを選択する。

アイコンをクリックして、代数関数とプログラミング関数を ML モデルと比較します。

次のような代数関数はモデルです。

  f(x, y) = 3x -5xy + y2 + 17

上記の関数は、入力値（x と y）を出力にマッピングします。

同様に、次のようなプログラミング関数もモデルです。

def half_of_greater(x, y):
  if (x > y):
    return(x / 2)
  else
    return(y / 2)

呼び出し元は、先行する Python 関数に引数を渡し、 Python 関数は出力を生成します（return ステートメントを使用）。

ディープ ニューラル ネットワークは、代数関数やプログラミング関数とは数学的な構造が大きく異なりますが、入力（例）を受け取り、出力（予測）を返します。

人間のプログラマーがプログラミング関数を手動でコーディングします。一方、機械学習モデルは、自動トレーニング中に最適なパラメータを徐々に学習します。

---

モデルの容量

モデルが学習できる問題の複雑さ。データが複雑になるほど 学習できる問題が多いほど、モデルのキャパシティは高くなります。通常、モデルの容量はモデル パラメータの数に比例して増加します。1 つの 分類器の容量の正式な定義については、以下をご覧ください。 VC ディメンション。

モデルのカスケード

#generativeAI

特定の推論クエリに最適なモデルを選択するシステム。

非常に大規模なものから多数の（多数の）モデルまで、 パラメータ）をはるかに小さくします（パラメータの数を大幅に減らします）。 非常に大規模なモデルでは、多くのコンピューティング リソースを 推論時間を短縮できます。ただし、非常に大きなモデルは、通常、小規模なモデルよりも複雑なリクエストを推測できます。モデルのカスケードにより推論クエリの複雑さが決定され、 推論を実行する適切なモデルを選択します。 モデル カスケードの主な目的は、通常は小規模なモデルを選択し、複雑なクエリに対してのみ大規模なモデルを選択することで、推論コストを削減することです。

小さなモデルがスマートフォンで動作し、そのモデルの大きなバージョンがスマートフォンで実行されているとします。 リモート サーバーで実行されます。適切なモデル カスケードを使用すると、小さいモデルで単純なリクエストを処理し、複雑なリクエストを処理するためにリモートモデルを呼び出すだけで、費用とレイテンシを削減できます。

モデルルーターもご覧ください。

モデルの並列処理

#language

トレーニングまたは推論をスケーリングする方法 model をさまざまなデバイスにモデル化。モデル並列処理を使用すると、1 つのデバイスに収まらない大きすぎるモデルを使用できます。

モデル並列処理を実装するために、システムは通常、次のことを行います。

1. モデルを小さな部分にシャーディング（分割）します。
2. これらの小さな部分のトレーニングを複数のプロセッサに分散します。 各プロセッサは、モデルの独自の部分をトレーニングします。
3. 結果を結合して単一のモデルを作成します。

モデルの並列処理はトレーニングを遅らせます。

データ並列処理もご覧ください。

モデルルーター

#generativeAI

理想的なモデルを決定するアルゴリズム モデルのカスケードにおける推論。 モデルルーター自体が、通常はそのルーター自体が 与えられた入力に対して最適なモデルを選択する方法を徐々に学習します。 ただし、モデルルーターのほうが、 アルゴリズムです。

モデルのトレーニング

最適なモデルを決定するプロセス。

モメンタム

学習ステップが現在のステップの微分だけでなく、直前のステップの微分にも依存する高度な勾配降下アルゴリズム。Momentum には、 経時的な勾配の指数加重移動平均、類似 物理学の運動量に応用できますモメンタムによって学習が妨げられることがある 局所的な最小値に行き詰まることがあります。

MOE

#language

#image

#generativeAI

専門家の組み合わせの略語。

マルチクラス分類

#fundamentals

教師あり学習における分類問題。データセットに2 つを超えるクラスのラベルが含まれています。たとえば、Iris データセットのラベルは次のいずれかである必要があります。 3 つのクラスがあります。

• アヤメ属セトサ
• アイリス バージニカ
• アイリス ベルシカラー

新しい例でアヤメの種類を予測する Iris データセットでトレーニングされたモデルは、マルチクラス分類を実行しています。

対照的に、正確に 2 つのクラスを区別する分類問題は、バイナリ分類モデルです。たとえば、メールが「スパム」か「スパムではない」かを予測するメールモデルは、バイナリ分類モデルです。

クラスタリング問題では、マルチクラス分類とは 2 つのクラスタがあります。

多クラス ロジスティック回帰

ロジスティック回帰を マルチクラス分類の問題。

マルチヘッドセルフアテンション

#language

自己注意の拡張機能で、入力シーケンスの各位置に自己注意メカニズムを複数回適用します。

Transformers では、マルチヘッドの自己注意が導入されました。

マルチモーダル モデル

#language

入力または出力に複数のモダリティが含まれるモデル。たとえば、入力文と出力値の両方を受け取る 特徴量としてのテキスト キャプション（2 つのモダリティ） は、画像に対するテキスト キャプションがどの程度適切かを示すスコアを出力します。 したがって、このモデルの入力はマルチモーダルであり、出力は単一モードです。

マルチモーダル指示のチューニング済み

#language

入力を処理できる指示調整済みモデル テキスト以外の画像、動画、音声などです。

多項分類

マルチクラス分類と同義。

多項式回帰

多クラス ロジスティック回帰の同義語。

マルチタスク

機械学習の手法では、単一のモデルを 複数のタスクを実行するようにトレーニングされています。

マルチタスク モデルは、さまざまなタスクごとに適切なデータでトレーニングすることで作成されます。これにより、モデルはタスク間で情報を共有することを学習し、モデルの学習をより効果的に行うことができます。

複数のタスク用にトレーニングされたモデルは、一般化能力が向上し、さまざまな種類のデータをより堅牢に処理できます。

N

NaN トラップ

モデル内の 1 つの数値が NaN になる場合 モデル内の他の多くの数値またはすべての数値が NaN になります。

NaN は、Not a Number の略です。

自然言語理解

#language

ユーザーの入力内容や発言に基づいてユーザーの意図を判断します。 たとえば、検索エンジンは自然言語理解を使用して ユーザーの入力内容や発言内容から、ユーザーが検索している内容を判別する。

陰性クラス

#fundamentals

バイナリ分類では、一方のクラスは「陽性」と呼ばれ、もう一方のクラスは「陰性」と呼ばれます。陽性のクラスは、モデルがテスト対象とする物体またはイベントであり、陰性のクラスは他の可能性です。例:

• 医療検査の負のクラスは「腫瘍ではない」などです。
• メール分類システムの負クラスは「スパムではない」かもしれません。

一方、ポジティブ クラスは、

ネガティブ サンプリング

候補サンプリングと同義。

ニューラル アーキテクチャ検索（NAS）

ニューラル ネットワークのアーキテクチャを自動的に設計する手法。NAS アルゴリズムを使用すると、ニューラル ネットワークのトレーニングに必要な時間とリソースを削減できます。

NAS では通常、以下のものが使用されます。

• 検索スペース（可能なアーキテクチャのセット）。
• 適合性関数。特定のアーキテクチャが特定のタスクでどの程度適切に動作するかを測定するものです。

NAS アルゴリズムは、通常、可能なアーキテクチャの小さなセットから開始し、アルゴリズムが効果的なアーキテクチャについて学習するにつれて、検索スペースを徐々に拡大します。適合性関数は通常、トレーニング セットでのアーキテクチャのパフォーマンスに基づいています。アルゴリズムは通常、強化学習手法を使用してトレーニングされます。

NAS のアルゴリズムは、パフォーマンスの高い アーキテクチャをさまざまなタスク向けに構築しました。 分類、テキスト分類、 多岐にわたります。

ニューラル ネットワークの

#fundamentals

隠れ層を 1 つ以上含むモデル。ディープ ニューラル ネットワークは、ニューラル ネットワークの一種である 隠れ層を含んでいます。たとえば、次の図は、2 つの隠れ層を含むディープ ニューラル ネットワークを示しています。

ニューラル ネットワーク内の各ニューロンは、次のレイヤ内のすべてのノードに接続します。たとえば、上の図では、3 つのニューロンのそれぞれが 最初の隠れ層にある 2 つのニューロンに個別に接続し、 レイヤに分割されます。

コンピュータに実装されたニューラル ネットワークは、 人工ニューラル ネットワークによって、 脳や他の神経系で見られるニューラル ネットワークです。

一部のニューラル ネットワークは、さまざまな特徴とラベル間の非常に複雑な非線形関係を模倣できます。

畳み込みニューラル ネットワークもご覧ください。 回帰型ニューラル ネットワーク。

ニューロン

#fundamentals

ML における隠れ層内の個別の単位 ニューラル ネットワークのものです。各ニューロンは次の処理を実行する 2 段階の対策:

1. 入力値に対応する重みを乗じた重み付き合計を計算します。
2. 加重合計を活性化関数に入力として渡します。

最初の隠れ層のニューロンは特徴値からの入力を受け入れる 入力レイヤ:最初の隠れ層以外の隠れ層のニューロンは、前の隠れ層のニューロンからの入力を受け入れます。たとえば、2 番目の隠れ層のニューロンは、1 番目の隠れ層のニューロンからの入力を受け入れます。

次の図は、2 つのニューロンとその入力を示しています。

ニューラル ネットワークのニューロンは、脳の中のニューロンの挙動を模倣しています。 神経系のその他の部分にも影響します。

N グラム

#seq

#language

N 単語の順序付きシーケンス。たとえば、truly madly は 2 グラムです。順序が重要であるため、madly truly は truly madly とは異なる 2 グラムです。

N	この種の N グラムの名前	例
2	バイグラムまたは 2 グラム	行く、行く、ランチを食べる、ディナーを食べる
3	トリグラムまたは 3 グラム	ate too much, three blind mice, the bell tolls
4	4 グラム	walk in the park, dust in the wind, the boy ate lentils

多くの自然言語理解モデルは、N グラムを使用して、ユーザーが入力または発音する次の単語を予測します。たとえば、ユーザーが「three blind」と入力したとします。3 文字語に基づく NLU モデルは、ユーザーが次に「mice」と入力することを予測する可能性があります。

N グラムは、単語の順序付けされていないセットであるバッグ オブ ワードとは対照的です。

NLU

#language

自然言語理解の略。

ノード（ディシジョン ツリー）

#df

ディシジョン ツリー内の条件またはリーフ。

ノード（ニューラル ネットワーク）

#fundamentals

隠れ層のニューロン。

ノード（TensorFlow グラフ）

#TensorFlow

TensorFlow グラフ内の演算。

ノイズ

大まかに言うと、データセット内のシグナルを不明瞭にするもの。ノイズ さまざまな方法でデータに導入できます例:

• 人間のレーティング担当者がラベル付けでミスを犯す。
• 人間と計器が特徴値の記録を誤る、または省略している。

ノンバイナリー状態

#df

2 つ以上の結果が想定される条件。たとえば、次の非バイナリ条件には、次の 3 つの結果が考えられます。

nonlinear

#fundamentals

単独では表現できない 2 つ以上の変数間の関係 加算と乗算で計算されます線形の関係は線で表すことができますが、非線形の関係は線で表すことはできません。たとえば、2 つのモデルはそれぞれ 1 つのラベルにマッピングできます左側のモデルは線形で、右側のモデルは非線形です。

無回答のバイアス

#fairness

選択バイアスをご覧ください。

非定常性

#fundamentals

1 つ以上のディメンション（通常は時間）で値が変化する特徴。たとえば、次のような非定常性について考えてみましょう。

• 特定の店舗で販売される水着の数は季節によって異なります。
• 特定の地域での特定の果物の収穫量 ほとんどの期間はゼロですが、短期間では大きな値になります。
• 気候変動により、年間平均気温は変化しています。

一方、定常性とは対照的です。

正規化

#fundamentals

大まかに言うと、変数の実際の範囲を変換するプロセスが 値を標準の値範囲に変換できます。

• -1～+1
• 0 to 1
• Z スコア（おおよそ -3 ～+3）

たとえば、特定の特徴の実際の値の範囲が 800～2,400 であるとします。特徴量エンジニアリングの一環として、実際の値を標準範囲（-1～+1 など）に正規化できます。

正規化は、特徴量エンジニアリングの一般的なタスクです。通常、特徴ベクトル内のすべての数値特徴の範囲がほぼ同じ場合、モデルのトレーニングはより速く（より正確な予測が生成されます）。

詳細については、ML 集中講座の数値データの操作モジュールをご覧ください。Z スコアの正規化もご覧ください。

特異点検知

新しい（斬新な）事例が同じものから得られたものかどうかを判断するプロセス トレーニング セットとして指定します。つまり、 特異点検出は、トレーニング セットで新しい サンプル（推論または追加トレーニング）は、 外れ値。

「外れ値検出」も参照してください。

数値データ

#fundamentals

整数または実数として表される特徴。たとえば住宅の評価モデルでは、 数値データとして表されます。表現 数値データは特徴値の値が変化したときに ラベルとの数学的関係。 つまり、家の面積は家の価値と数学的な関係があると考えられます。

すべての整数データを数値データとして表す必要はありません。たとえば、一部の国では郵便番号が整数ですが、整数の郵便番号をモデルで数値データとして表す必要はありません。これは、郵便番号 20000 が郵便番号 10000 の 2 倍（または半分）の有効性を持つわけではないためです。さらに、郵便番号が異なると不動産価格も異なるものの、郵便番号 20000 の不動産価格が郵便番号 10000 の不動産価格の 2 倍であるとは限りません。郵便番号は、代わりにカテゴリデータとして表す必要があります。

数値特徴は、連続特徴とも呼ばれます。

NumPy

Python で効率的な配列演算を提供するオープンソースの数学ライブラリ。pandas は NumPy 上に構築されています。

O

目標

アルゴリズムが最適化しようとしている指標。

目的関数

モデルの最適化対象とする数式または指標。 たとえば、線形回帰の目的関数は通常、平均二乗損失です。したがって、線形回帰モデルをトレーニングするときは、平均二乗損失を最小限に抑えることを目的とします。

目的関数を最大化することが目標である場合もあります。 たとえば、目的関数が精度の場合、目標は精度を最大化することです。

損失もご覧ください。

斜め状態

#df

ディシジョン ツリーでは、複数の特徴が関係する条件。たとえば、高さと幅が両方とも特徴量である場合、次の条件は斜め条件です。

  height > width

軸方向の条件とは対照的です。

オフライン

#fundamentals

static と同義。

オフライン推論

#fundamentals

モデルが予測のバッチを生成し、それらの予測をキャッシュに保存するプロセス。アプリは、モデルを再実行するのではなく、キャッシュから推論された予測にアクセスできます。

たとえば、地域の天気予報を生成するモデルについて考えてみましょう。 （予測）を 4 時間に 1 回実行します。モデルの実行ごとに、システムはすべてのローカルの天気予報をキャッシュに保存します。天気アプリが天気予報を取得する キャッシュから取り出します。

オフライン推論は静的推論とも呼ばれます。

オンライン推論とは対照的です。

ワンホット エンコード

#fundamentals

カテゴリデータをベクトルとして表現します。

• 1 つの要素は 1 に設定されます。
• その他の要素はすべて 0 に設定されます。

ワンホット エンコーディングは、文字列や識別子を表すために 取り得る値の集合が限られています。 たとえば、Scandinavia という特定のカテゴリ特徴に 5 つの値があるとします。

• 「デンマーク」
• "スウェーデン"
• 「Norway」
• 「フィンランド」
• 「アイスランド」

ワンホット エンコーディングでは、5 つの値をそれぞれ次のように表すことができます。

country	ベクトル
「デンマーク」	1	0	0	0	0
「Sweden」	0	1	0	0	0
「ノルウェー」	0	0	1	0	0
「フィンランド」	0	0	0	1	0
「アイスランド」	0	0	0	0	1

ワンホット エンコーディングにより、モデルはさまざまなつながりを 5 か国それぞれについて予測しています

特徴を数値データとして表現することは、 ワンホット エンコーディングの代替手段です。残念ながら、北欧諸国を数値で表すことは適切ではありません。たとえば、次の数値表現について考えてみましょう。

• 「デンマーク」は 0
• 「スウェーデン」は 1
• 「ノルウェー」は 2
• 「フィンランド」は 3
• 「アイスランド」4

数値エンコーディングでは、モデルは元の数値を数学的に解釈し、それらの数値でトレーニングを試みます。しかし、アイスランドの人口の 2 倍（または半分）はありません。 そのため、モデルは奇妙な結論を導き出します。

ワンショット学習

オブジェクト分類によく使用される機械学習アプローチ。単一のトレーニング例から効果的な分類器を学習するように設計されています。

少数ショット学習、 ゼロショット学習。

ワンショット プロンプト

#language

#generativeAI

プロンプト - 1 つの例を含む 大規模言語モデルで応答する必要があります。たとえば、次のプロンプトには、クエリにどのように回答するかを大規模言語モデルに示す例が 1 つ含まれています。

1 つのプロンプトの各部分	メモ
指定された国の公式通貨は何ですか？	LLM に回答を求める質問。
フランス: EUR	1 つの例を挙げましょう。
インド:	実際のクエリ。

ワンショット プロンプトと次の用語を比較します。

• ゼロショット プロンプト
• 少数ショット プロンプト

1 対すべて

#fundamentals

N クラスの分類問題の場合、N 個の個別のバイナリ分類器（考えられる結果ごとに 1 つのバイナリ分類器）で構成されるソリューション。たとえば、サンプルを分類するモデルがあるとします。 1 対 1 のソリューションで 次の 3 つの独立したバイナリ分類器です。

• 動物と動物以外
• 野菜と野菜以外の区別
• 鉱物と非鉱物

online

#fundamentals

動的と同義。

オンライン推論

#fundamentals

予測をオンデマンドで生成する。たとえば アプリが入力をモデルに渡して、 できます。 オンライン推論を使用するシステムは、モデルを実行して（予測をアプリに返して）リクエストに応答します。

オフライン推論とは対照的です。

オペレーション（op）

#TensorFlow

TensorFlow では、パイプラインを Tensor を操作、破棄します。対象 行列乗算は 2 つのテンソルを 1 つのテンソルを出力として生成します。

Optax

JAX 用の勾配処理と最適化のライブラリ。Optax は、カスタム方法で再結合してディープニューラル ネットワークなどのパラメータモデルを最適化できる構成要素を提供することで、研究を容易にします。その他の目標:

• 読みやすく、十分にテストされた、効率的な実装を実現するには 説明します。
• 低含有成分の組み合わせを可能にすることで生産性を向上 カスタム オプティマイザー（またはその他の勾配処理コンポーネント）に読み込みます。
• 誰でも簡単に貢献できるようにすることで、新しいアイデアの採用を加速します。

オプティマイザー

勾配降下法の具体的な実装 アルゴリズムです。一般的な最適化ツールには次のようなものがあります。

• AdaGrad: ADAptive GRADient descent の略。
• Adam は「ADAptive with Momentum」の略です。

自分が属していないグループに対する均一性のバイアス

#fairness

グループ内のメンバーよりもグループ外のメンバーを似ているとみなす傾向 態度、価値観、個性、特性などについて 説明します。イングループとは、日常的に交流する相手を指し、アウトグループとは、日常的に交流しない相手を指します。アウトグループに関する属性をユーザーに提供してもらってデータセットを作成する場合は、参加者がイングループのユーザーについて挙げる属性よりも、ニュアンスが乏しく、固定観念に偏った属性になる可能性があります。

たとえば、リリプート派の人は他のリリプート人の家について記述できます。 建築様式、窓、設計の微妙な違いについて ドア、サイズ。しかし、同じリリプティアンは単純に、 ブロブディングナギャンはみんな同じ家に住んでいる。

自分が属していないグループに対する均一性のバイアスは、グループ属性バイアスの一種です。

所属グループのバイアスもご覧ください。

外れ値検出

パフォーマンス指標の外れ値を特定するプロセスは トレーニング セット。

一方、特異点検知は重要です。

考慮する

他のほとんどの値から離れている値。ML では、次のいずれも外れ値です。

• 値が約 3 標準偏差を超える入力データ 平均値を計算します。
• 絶対値の大きい重み。
• 予測値が実際の値から比較的離れている。

たとえば、widget-price が特定のモデルの特徴であるとします。 平均 widget-price が標準偏差で 7 ユーロであると仮定します 1 ユーロです。12 ユーロまたは 2 ユーロの widget-price を含む例 外れ値とみなされます。これは、それぞれの価格が 平均から 5 標準偏差を測定します。

外れ値の多くは入力ミスやその他の入力ミスが原因です。一方、外れ値が誤りである場合もあります。平均から 5 標準偏差離れた値はまれですが、不可能ではありません。

多くの場合、外れ値はモデル トレーニングで問題を引き起こします。外れ値を管理する方法の 1 つがクリッピングです。

out-of-bag 評価（OOB 評価）

#df

サービスの品質を評価するメカニズムは、 ディシジョン フォレスト ディシジョン ツリー 使用されない例 そのディシジョン ツリーのトレーニングを行います。たとえば、 次の図では、システムが各ディシジョン ツリーを サンプルの約 3 分の 2 をモデルに 3 分の 1 で済みます。

袋外評価は計算効率が高く、保守的 交差検証メカニズムの近似値。 クロス バリデーションで、クロス バリデーション ラウンドごとに 1 つのモデルがトレーニングされます（10 分割クロス バリデーションで 10 個のモデルがトレーニングされます）。OOB 評価では、単一のモデルがトレーニングされます。バギングではトレーニング中に各ツリーから一部のデータが保持されるため、OOB 評価ではそのデータを使用してクロス バリデーションを近似できます。

出力層

#fundamentals

ニューラル ネットワークの「最終」レイヤ。出力層には予測が含まれます。

次の図は、入力レイヤ、2 つの隠れ層、出力レイヤを持つ小さなディープラーニング ネットワークを示しています。

過学習

#fundamentals

トレーニング データと非常によく一致するモデルを作成すると、モデルが新しいデータに対して正しい予測を行えなくなります。

正則化により、過剰適合を軽減できます。大規模で多様なトレーニング セットでトレーニングを行うと、過学習を軽減することもできます。

アイコンをクリックすると、追加のメモが表示されます。

過学習とは、お気に入りの人からのアドバイスに厳密に従うことに似ています。 あります。その教師のクラスでは成功する可能性はありますが、その教師のアイデアに「過剰適合」し、他のクラスでは成功しない可能性があります。さまざまな教師からのアドバイスに従うことで、新しい状況に適応しやすくなります。

---

オーバーサンプリング

少数派のクラスの例を再利用する クラス不均衡なデータセットに置いて、 よりバランスの取れたトレーニング セットを作成する。

たとえば、バイナリ分類を考えてみましょう。 母集団に対する過半数のクラスと 5,000:1 です。データセットに 100 万個のサンプルが含まれている場合、少数派クラスのサンプルは約 200 個しか含まれません。これは、効果的なトレーニングを行うにはサンプル数が少ない可能性があります。この不備を克服するために 200 のサンプルが複数回オーバーサンプリング（再利用）され、その結果、 十分な例が必要です。

次の場合に過学習に注意する必要があります。 オーバーサンプリングします

一方、アンダーサンプリングは有効です。

P

パックされたデータ

データをより効率的に保存するためのアプローチ。

パッケージ化されたデータは、圧縮形式か より効率的にアクセスできるようにします。 パックされたデータは、データにアクセスするために必要なメモリ量と計算量を最小限に抑え、トレーニングの高速化とモデル推論の効率化につながります。

パックデータは、次のような他の手法でよく使用されます。 データの拡張と 正則化し、モデルの性能を モデル。

pandas

#fundamentals

numpy 上に構築された列指向のデータ分析 API。 多くの ML フレームワーク Pandas データ構造を入力としてサポートします。詳しくは、 pandas のドキュメント をご覧ください。

パラメータ

#fundamentals

モデルがトレーニング中に学習する重みとバイアス。たとえば、線形回帰モデルでは、パラメータはバイアス（b）とすべての重み（w₁、w₂ など）で構成されます。式は次のとおりです。

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

一方、ハイパーパラメータは、ユーザー（またはハイパーパラメータ チューニング サービス）がモデルに提供する値です。たとえば、学習率はハイパーパラメータです。

パラメータ効率チューニング

#language

#generativeAI

大規模な事前トレーニング済み言語モデル（PLM）を完全なファインチューニングよりも効率的にファインチューニングするための一連の手法。パラメータ効率チューニングでは、通常、完全なファインチューニングよりもはるかに少ないパラメータをファインチューニングしますが、通常、完全なファインチューニングから構築された大規模言語モデルと同等（またはほぼ同等）のパフォーマンスを示す大規模言語モデルが生成されます。

パラメータ効率チューニングと以下を比較対照します。

• 指示チューニング
• プロンプト調整

パラメータ効率チューニングは、パラメータ エフィシエント ファインチューニングとも呼ばれます。

パラメータ サーバー（PS）

#TensorFlow

分散環境でモデルのパラメータを追跡するジョブ。

パラメータの更新

トレーニング中にモデルのパラメータを調整するオペレーション。通常は、勾配降下の 1 回の反復処理内で行われます。

偏微分係数

変数の 1 つを除くすべての変数が定数と見なされる微分。たとえば、x に関する f(x, y) の偏微分係数は、 f の導関数を x のみの関数と見なす（つまり、y 定数）。x に関する f の偏微分係数では、次のみに焦点が当てられます。 x がどのように変化するかを調べ、方程式内の他の変数はすべて無視します。

参加バイアス

#fairness

無回答のバイアスと同義。選択バイアスをご覧ください。

パーティショニング戦略

変数を分割するアルゴリズム パラメータ サーバー。

Pax

大規模なトレーニングのために設計されたプログラミング フレームワーク 非常に大規模なニューラル ネットワーク モデル 複数の TPU にまたがっていることを アクセラレータ チップ スライス Pod を使用します。

Pax は Flax 上に構築されており、これは JAX 上に構築されています。

パーセプトロン

1 つ以上の入力値を受け取り、入力の重み付き合計に対して関数を実行し、単一の出力値を計算するシステム（ハードウェアまたはソフトウェア）。機械学習では、通常、関数は非線形です（ReLU、sigmoid、tanh など）。たとえば、次のパーセプトロンは、シグモイド関数を使用して 3 つの入力値があります。

$$f(x_1, x_2, x_3) = \text{sigmoid}(w_1 x_1 + w_2 x_2 + w_3 x_3)$$

次の図は、ペルセプトロンが 3 つの入力を受け取り、それぞれがペルセプトロンに入力される前に重みによって変更される様子を示しています。

ペルセプトロンは、ニューラル ネットワークのニューロンです。

パフォーマンス

次の意味を持つオーバーロードされた用語。

• ソフトウェア エンジニアリングにおける標準の意味。つまり、このソフトウェアはどれくらい速く（または効率的に）実行されるかということです。
• 機械学習における意味。ここで、パフォーマンスは次の質問に答えます。このモデルはどの程度正しいですか？つまり モデルの予測の質はどうでしょうか

並べ替え変数の重要度

#df

特徴量の値を並べ替えた後のモデルの予測誤差の増加を評価する変数重要度の一種。並べ替え変数の重要度は、モデルに依存しない 表示されます。

パープレキシティ

モデルがタスクをどの程度適切に遂行しているかを示す尺度です。 たとえば、ユーザーがスマートフォンのキーボードで入力している単語の最初の数文字を読み取り、候補となる単語のリストを表示するタスクがあるとします。このタスクのパープレキシティ、P は、 必要な推測をリストにまとめます。 表示されます。

混乱度は、次のように交差エントロピーに関連しています。

$$P= 2^{-\text{cross entropy}}$$

pipeline

ML アルゴリズムを取り巻くインフラストラクチャ。パイプライン これには、データの収集、トレーニング データファイルへの入力、 1 つ以上のモデルのトレーニング、本番環境へのモデルのエクスポートです。

パイプライン化

#language

モデルの処理が連続するステージに分割され、各ステージが異なるデバイスで実行されるモデル並列処理の一種。1 つのステージが 1 つのバッチを処理している間、前のステージは次のバッチで処理できます。

段階的なトレーニングもご覧ください。

pjit

コードを分割して複数のアクセラレータ チップで実行する JAX 関数。ユーザーが関数を pjit に渡すと、同等のセマンティクスを持つ関数が返されます。この関数は、複数のデバイス（GPU や TPU コアなど）で実行される XLA コンピューティングにコンパイルされます。

pjit を使用すると、 SPMD パーティション分割ツール。

2023 年 3 月に pjit は jit と統合されました。詳しくは、 分散配列と自動 並列化 をご覧ください。

PLM

#language

#generativeAI

事前トレーニング済み言語モデルの略称。

Pmap

基盤となる複数のハードウェア デバイス（CPU、GPU、TPU）で、異なる入力値を使用して入力関数のコピーを実行する JAX 関数。pmap は SPMD に依存しています。

ポリシー

#rl

強化学習では、エージェントの確率的マッピングが 状態からアクションに変換できます。

プーリング

#image

以前に生成された行列を削減する 畳み込み層を小さな行列に変換する。 プーリングでは通常、最大値または平均値を取る 移動できますたとえば、次の 3x3 行列があるとします。

プーリング演算は、畳み込み演算と同様に、 スライスに変換してから畳み込み演算を ストライド。たとえば、2 つの Cloud Storage バケットを 畳み込み行列を 1x1 ストライドの 2x2 スライスに分割します。 次の図に示すように、4 つのプーリング オペレーションが行われます。各プーリング オペレーションが、そのスライス内の 4 つの値の最大値を選択するとします。

プーリングは 入力行列の翻訳不変性。

ビジョン アプリケーションのプーリングは、正式には空間プーリングと呼ばれています。 時系列アプリケーションでは、通常、プールを時間的プールと呼びます。それほど形式的ではありませんが、プーリングはサブサンプリングまたはダウンサンプリングと呼ばれることがよくあります。

位置エンコード

#language

シーケンス内のトークンの位置に関する情報を トークンのエンベディング。Transformer モデルは、位置エンコードを使用して、シーケンスのさまざまな部分間の関連性をより深く理解します。

位置エンコードの一般的な実装では、正弦関数を使用します。（具体的には、正弦関数の周波数と振幅は、 シーケンス内のトークンの位置によって決まります）。この手法は、 これにより、Transformer モデルはモデルのさまざまな部分に注意を シーケンスを表現します。

陽性クラス

#fundamentals

テスト対象のクラス。

たとえば、がんモデルにおける陽性のクラスは「tumor」となります。 メール分類器における陽性のクラスは「迷惑メール」である可能性があります。

負のクラスとは対照的です。

アイコンをクリックすると、追加のメモが表示されます。

陽性のクラスという用語は混同されがちです。なぜなら、「陽性」は成果 望ましくない結果になることがよくあります。たとえば、多くの医療検査における陽性クラスは、腫瘍や疾患に対応しています。通常は 「おめでとうございます！テスト結果は陰性でした。」 いずれにせよ、陽性のクラスは、テストが見つけようとしているイベントです。

確かに陽性と陰性の両方について 同時にテストしています クラスです。

---

後処理

#fairness

#fundamentals

モデルの実行後にモデルの出力を調整する。 後処理を使用すると、モデル自体を変更せずに公平性制約を適用できます。

たとえば、バイナリ分類子にポスト処理を適用するには、分類しきい値を設定して、一部の属性について機会の平等を維持します。これは、その属性のすべての値で真陽性率が同じであることを確認することで行います。

PR AUC（PR 曲線の下の面積）

適合率 / 再現率曲線の補間下の面積。分類しきい値のさまざまな値の（再現率、適合率）ポイントをプロットすることで得られます。どのように PR AUC は モデルの平均適合率。

Praxis

Pax のコアとなる高性能 ML ライブラリ。プラクシスはしばしば レイヤライブラリと呼ばれます

Praxis には、Layer クラスの定義だけでなく、次のようなサポート コンポーネントのほとんども含まれています。

• データ入力
• 設定ライブラリ（HParam と Fiddle）
• オプティマイザー

Praxis は Model クラスの定義を提供しています。

precision

回答となる分類モデルの指標 質問です。

モデルが陽性のクラスを予測したとき、 予測の何パーセントが正しかったでしょうか

式は次のとおりです。

$$\text{Precision} = \frac{\text{true positives}} {\text{true positives} + \text{false positives}}$$

ここで

• 真陽性とは、モデルが陽性のクラスを正しく予測したことを意味します。
• 偽陽性とは、モデルが陽性クラスを誤って予測したことを意味します。

たとえば、モデルが 200 件の陽性予測を行ったとします。 これら 200 個の陽性予測のうち:

• 150 件が真陽性でした。
• 50 は偽陽性でした。

次のような場合があります。

$$\text{Precision} = \frac{\text{150}} {\text{150} + \text{50}} = 0.75$$

精度と再現率とは対照的です。

詳細については、分類: 精度、再現率、適合率、関連指標をご覧ください。

適合率と再現率の曲線

さまざまな分類しきい値で、適合率と再現率の曲線。

予測

#fundamentals

モデルの出力。例:

• バイナリ分類モデルの予測は、陽性または 除外します。
• マルチクラス分類モデルの予測は 1 つのクラスです。
• 線形回帰モデルの予測は数値です。

予測バイアス

予測の平均がデータセット内のラベルの平均からどの程度離れているかを示す値。

機械学習モデルのバイアス項や、倫理と公正性におけるバイアスとは異なります。

予測 ML

標準（「従来型」）の機械学習システム。

予測 ML という用語には正式な定義はありません。 生成 AI。

予測同等性

#fairness

以下を確認する公平性指標。 適合率、 は、検討中のサブグループで同等です。

たとえば、大学の合格を予測するモデルは、リリパット人とブロブディンガニア人の適合率が同じであれば、国籍の予測の平等を満たします。

予測パリティは、予測レート パリティとも呼ばれます。

予測の公平性について詳しくは、「公平性の定義の説明」（セクション 3.2.1）をご覧ください。

予測レートの同等性

#fairness

予測的パリティの別名。

前処理

#fairness

モデルのトレーニングに使用する前にデータを処理する。前処理では、 単語を含まない単語を英語のテキスト コーパスから削除するのと同じくらい簡単です。 英語の辞書に登場する単語や、単語を再表現するような複雑な単語など、 関連する属性をできるだけ多く排除できます。 機密属性を可能な限り指定してください。 前処理は、公平性の制約を満たすのに役立ちます。

事前トレーニング済みモデル

#language

#image

#generativeAI

モデルまたはモデル コンポーネント（ エンベディング ベクトル）が表示されます。 場合によっては、トレーニング済みのエンベディング ベクトルを ニューラル ネットワーク。逆に、トレーニングしたモデルに、 エンベディング ベクトル自体をトレーニング エンベディング ベクトル自体に変換する方法を学びます。

事前トレーニング済み言語モデルという用語は、事前トレーニングを行った大規模言語モデルを指します。

事前トレーニング

#language

#image

#generativeAI

大規模なデータセットでのモデルの初期トレーニング。一部の事前トレーニング済みモデルは 不器用な巨人で、通常は追加のトレーニングで洗練させなければなりません。 たとえば、ML の専門家は、Wikipedia のすべての英語ページなど、膨大なテキスト データセットで大規模言語モデルを事前トレーニングする場合があります。事前トレーニングの後、 結果として得られるモデルは、次のいずれかによってさらに絞り込まれる場合があります。 手法：

• 抽出
• ファインチューニング
• 命令のチューニング
• パラメータ効率チューニング
• プロンプト調整

事前信念

トレーニングを開始する前に、データについて信じていること。 たとえば、L₂ 正則化は、 重みは小さく、 分散されます。

確率的回帰モデル

各特徴の重みだけでなく、それらの重みの不確実性も使用する回帰モデル。確率的回帰モデルでは、 予測とその不確実性が含まれますたとえば、確率的回帰モデルでは、標準偏差が 12 の 325 という予測が得られる場合があります。確率的回帰について詳しくは、 こちらのColab tensorflow.org.

確率密度関数

データサンプルの頻度を特定する関数は、 表示されます。データセットの値が連続浮動小数点 完全一致はめったに発生しません。しかし、確率を積分すると、 値 x から値 y までの密度関数から、想定される頻度は次のとおりです。 x～y のデータサンプル。

たとえば、平均が 200 で標準偏差が 30 の正規分布について考えてみましょう。211.4～218.7 の範囲内にあるデータサンプルの予想頻度を特定するには、211.4～218.7 の範囲で正規分布の確率密度関数を積分します。

prompt

#language

#generativeAI

大規模言語モデルへの入力として入力されたテキスト 特定の動作をするようモデルに与えますプロンプトは、出力シーケンスの 任意の長さ（小説の本文全体など）。プロンプト 次の表に示す複数のカテゴリに分類できます。

プロンプト カテゴリ	例	メモ
質問	ハトはどのくらいの速さで飛ぶことができますか？
手順	アービトラージについて面白い詩を書いて。	大規模言語モデルに何かを行うように求めるプロンプト。
例	Markdown コードを HTML に変換します。例: Markdown: * リストアイテム HTML: <ul> <li>リストアイテム</li> </ul>	この例のプロンプトの最初の文は指示です。 プロンプトの残りの部分が例です。
ロール	機械学習のトレーニングで勾配降下法が使用される理由を、物理学の博士号取得者に説明します。	文章の最初の部分は指示です。フレーズ "物理学の博士号まで"ロールの部分です
モデルが完了する部分入力	英国の首相は	部分入力プロンプトは、この例のように突然終了することも、アンダースコアで終了することもできます。

生成 AI モデルは、テキスト、コード、画像、エンベディング、動画など、ほぼすべてのプロンプトに応答できます。

プロンプトベースの学習

#language

#generativeAI

適応を可能にする特定のモデルの機能 任意のテキスト入力（プロンプト）に応答する動作。 典型的なプロンプトベースの学習パラダイムでは、 大規模言語モデル: プロンプトに 生成します。たとえば、ユーザーが次のプロンプトを入力したとします。

ニュートンの運動の第 3 法則を要約してください。

プロンプトベースの学習が可能なモデルが、回答するように特別にトレーニングされていない 使用します。むしろ、モデルは物理学に関する多くの事実、一般的な言語ルール、一般的に有用な回答を構成するものについて多くのことを「知っています」。その知識は、（うまくいけば）役に立つ あります。人間による追加のフィードバック（「回答が複雑すぎた」、 「リアクションとは何ですか？」など、プロンプトベースの学習システムは、 回答の有用性を高めることができます。

プロンプト設計

#language

#generativeAI

プロンプト エンジニアリングと同義。

プロンプト エンジニアリング

#language

#generativeAI

望ましいレスポンスを引き出すプロンプトを作成する技術 大規模言語モデルから作成されました。人間がプロンプトを実行する 学びました適切に構造化されたプロンプトを作成することは、大規模言語モデルから有用なレスポンスを得るために不可欠な要素です。プロンプト エンジニアリングは、 次のようなさまざまな要因があります。

• 大規模言語モデルの事前トレーニングと、必要に応じてファイン チューニングに使用されるデータセット。
• モデルがレスポンスの生成に使用する temperature などのデコード パラメータ。

詳しくは、 プロンプト設計の概要 を参照してください。

プロンプト設計は、プロンプト エンジニアリングと同義です。

プロンプト調整

#language

#generativeAI

パラメータ効率調整メカニズム 単語の「接頭辞」を先頭に「」が付加され、 実際のプロンプト。

プロンプト調整のバリエーションの 1 つ（プレフィックス チューニングとも呼ばれます）があります。 すべてのレイヤで接頭辞を付けます。対照的に、ほとんどのプロンプト調整は、 入力レイヤに接頭辞を追加します。

接頭辞の詳細を確認するには、アイコンをクリックします。

プロンプトのチューニングでは、「接頭辞」（「ソフト プロンプト」とも呼ばれます）は、実際のプロンプトのテキスト トークン エンベディングの先頭に追加される、学習済みのタスク固有のベクトルのことです。システムはソフト プロンプトを 他のすべてのモデル パラメータを凍結して、特定のタスクでファインチューニングします。

---

プロキシラベル

#fundamentals

ラベルを近似するために使用されるデータは、データセットでは直接利用できません。

たとえば、従業員のストレスレベルを予測するモデルをトレーニングする必要がある場合を考えてみましょう。データセットには多くの予測特徴が含まれていますが、ストレスレベルというラベルは含まれていません。気軽に「職場での事故」を選んでくださいプロキシラベルとして ストレスレベル。ストレスの多い従業員は、落ち着いた従業員よりも事故に遭遇する可能性が高くなります。本当にそうでしょうか？職場での事故や 実際には複数の原因で 増減しています

2 番目の例として、「雨が降っていますか？」をブール値ラベルにするとします。 データセットに降雨データが含まれていませんでした。条件 写真がある場合は、 「雨は降っていますか？」の代用ラベルとして「傘を持ってる」これは良いプロキシラベルですか？可能性がありますが、地域によっては、雨よりも日差しを避けるために傘を持っている人が多いかもしれません。

多くの場合、プロキシのラベルは完全ではありません。可能であれば、プロキシラベルではなく実際のラベルを選択してください。ただし、実際のラベルがない場合は、プロキシラベルを非常に慎重に選択し、最もひどくないプロキシラベルの候補を選択してください。

プロキシ（機密性の高い属性）

#fairness

機密性の高い属性の代用として使用される属性。たとえば、 収入の代用として個人の郵便番号が使用されることがあります。 考慮する必要があります。

純粋関数

出力が入力のみに基づき、副作用がない関数。具体的には、純粋関数は、ファイルの内容や関数外の変数の値など、グローバル状態を使用しないか、変更しません。

純粋な関数を使用すると、スレッドセーフなコードを作成できます。これは、 モデルのコードを複数の アクセラレータ チップ。

JAX の関数変換メソッドには、 入力関数が純粋な関数であることです

Q

Q 関数

#rl

強化学習では、状態でアクションを実行し、特定のポリシーに従うことで得られる予想されるリターンを予測する関数。

Q 関数は、状態行動価値関数とも呼ばれます。

Q 学習

#rl

強化学習では、ベルマン方程式を適用して、エージェントがマルコフ決定プロセスの最適な Q 関数を学習できるようにするアルゴリズムです。マルコフ決定過程モデルは、 環境。

分位数

分位バケット化の各バケット。

分位バケット化

特徴の値をバケットに分布させて、 同じ（またはほぼ同じ）数のサンプルが格納されています。たとえば、次の図は 44 個の点を 4 つのバケットに分割し、各バケットに 11 個の点を配置しています。図の各バケットに同じ数の点を含めるため、一部のバケットは異なる幅の X 値にまたがっています。

量子化

次のいずれかの方法で使用できるオーバーロードされた用語:

• 特定の特徴に分位バケット化を実装する。
• データを 0 と 1 に変換して、保存、トレーニング、推論を高速化します。ブール値データは、ノイズやエラーに対する耐性が 量子化によってモデルの正確性が向上します。 量子化技術には、丸め、切り捨て、 binning します。

• モデルの特徴量の格納に使用するビット数を削減すると、 パラメータ。たとえば、モデルのパラメータが 32 ビットの浮動小数点数として保存されているとします。量子化では、これらのパラメータを 32 ビットから 4 ビット、8 ビット、または 16 ビットに変換します。量子化により、次のことが行われます。

  • コンピューティング、メモリ、ディスク、ネットワークの使用量
  • 予測を推測するまでの時間
  • 消費電力

  ただし、量子化により、モデルの予測結果の正確性が低下することがあります。 説明します。

キュー

#TensorFlow

キューデータを実装する TensorFlow Operation 構成します。通常は I/O で使用されます。

R

RAG

#fundamentals

検索拡張生成の略語。

ランダム フォレスト

#df

ディシジョン ツリーのアンサンブル。各ディシジョン ツリーは、バギングなどの特定のランダム ノイズでトレーニングされます。

ランダム フォレストは、ディシジョン フォレストの一種です。

ランダム ポリシー

#rl

強化学習では、 ポリシー: action。

ランキング

教師あり学習の一種で、次の特徴があります。 アイテムのリストを並べ替えることを目標としています。

ランク（順序）

ML の問題におけるクラスの順序位置で、 クラスを降順に並べ替えます。たとえば行動ランキングや システムは犬の報酬を最高のもの（ステーキ）から 低い（しおれたケール）。

階数（テンソル）

#TensorFlow

テンソルのディメンション数。たとえば、スカラーのランクは 0、ベクトルのランクは 1、行列のランクは 2 です。

ランク（序数）と混同しないでください。

評価者

#fundamentals

例にラベルを提供する人間。「アノテーター」はレーター（評価者）の別名です。

recall

次の質問に回答する分類モデルの指標。

グラウンド トゥルースが 陽性クラス（予測の何パーセントが実行されたか） モデルは陽性クラスとして正しく識別したでしょうか

式は次のとおりです。

\[\text{Recall} = \frac{\text{true positives}} {\text{true positives} + \text{false negatives}} \]

ここで

• 真陽性とは、モデルが陽性のクラスを正しく予測したことを意味します。
• 偽陰性とは、モデルが誤った予測を ネガティブ クラス。

たとえば、200 件の予測をモデルで行ったとします。 グラウンド トゥルースは陽性のクラスでした。これらの 200 件の予測のうち、

• 180 が真陽性でした。
• 20 は偽陰性でした。

次のような場合があります。

\[\text{Recall} = \frac{\text{180}} {\text{180} + \text{20}} = 0.9 \]

アイコンをクリックすると、クラス不均衡なデータセットに関するメモが表示されます。

再現率は、陽性のクラスがまれな分類モデルの予測力を判断する場合に特に役立ちます。たとえば、特定の疾患の陽性クラスが 100 万人の患者のうち 10 人にしか発生しないクラスの不均衡なデータセットについて考えてみましょう。モデルが 500 万件の予測を行い、次の単語が 次のような結果になります

• 30 の真陽性
• 20 件の偽陰性
• 4,999,000 件の真陰性
• 誤検知 950 件

したがって、このモデルの再現率は次のようになります。

recall = TP / (TP + FN)
recall = 30 / (30 + 20) = 0.6 = 60%

一方、このモデルの精度は次のとおりです。

accuracy = (TP + TN) / (TP + TN + FP + FN)
accuracy = (30 + 4,999,000) / (30 + 4,999,000 + 950 + 20) = 99.98%

この高い精度は印象的ですが、本質的には意味がありません。クラスのバランスが取れていないデータセットでは、精度よりも再現率のほうがはるかに有用な指標です。

---

詳細については、分類: 精度、再現率、適合率、関連指標をご覧ください。

レコメンデーション システム

#recsystems

比較的少ない数の望ましい会話セットを各ユーザーについて選択し、 大規模なコーパスからのアイテム。 たとえば、動画レコメンデーション システムは、10 万本の動画のコーパスから 2 本の動画をおすすめします。あるユーザーには カサブランカと フィラデルフィア物語を、別のユーザーには ワンダーウーマンと ブラックパンサーを選択します。動画のおすすめシステムは 次のような要素に基づいて推奨事項が表示されます。

• 類似のユーザーが評価または視聴した映画。
• ジャンル、ディレクター、俳優、ターゲット層...

正規化線形ユニット（ReLU）

#fundamentals

次の動作を持つ活性化関数。

• 入力が負またはゼロの場合、出力は 0 になります。
• 入力が正の場合、出力は入力と等しくなります。

例:

• 入力が -3 の場合、出力は 0 です。
• 入力が +3 の場合、出力は 3.0 です。

ReLU のプロットを以下に示します。

ReLU は非常に一般的な活性化関数です。動作はシンプルですが、ReLU を使用すると、ニューラル ネットワークは特徴量とラベルの間の非線形な関係を学習できます。

回帰型ニューラル ネットワーク

#seq

意図的に複数の実行されるニューラル ネットワーク 各実行の一部が次の実行にフィードされます。具体的には 隠しレイヤから生成されたレイヤの一部は、 再計算が行われます。再帰型ニューラル ネットワーク 特にシーケンスの評価に有用であるため、隠れ層は 以前のニューラル ネットワークの実行から学習し、 必要があります。

たとえば、次の図は、再帰型ニューラル ネットワークを 4 回実行されます。最初の実行で隠れ層で学習された値は、2 回目の実行で同じ隠れ層への入力の一部になります。同様に隠れ層で学習した値は、 2 回目の実行は、同じ隠れ層への入力の一部になり、 3 回目の実行がありますこのようにして、回帰型ニューラル ネットワークは、ニューラル ネットワークが だけではなく、数列全体の意味を予測する できます。

回帰モデル

#fundamentals

非公式には数値予測を生成するモデル。（これに対し、分類モデルはクラス予測を生成します）。たとえば、次のすべてが回帰モデルです。

• 特定の住宅の価値（423,000 ユーロなど）を予測するモデル。
• ある樹木の寿命を予測するモデル（23.2 年など）。
• 特定の都市の雨量を予測するモデル 0.18 インチなど、今後の 6 時間にわたって大幅に改善されます。

一般的な回帰モデルには次の 2 種類があります。

• 線形回帰: ラベル値を特徴に最も適合する線を見つけます。
• ロジスティック回帰。 その後、システムが通常、クラスにマップする確率は 0.0 ～ 1.0 できます。

数値予測を出力するすべてのモデルが回帰モデルであるとは限りません。場合によっては、数値予測が実際には単なる分類モデルになる 数値のクラス名が含まれます。たとえば、郵便番号を予測するモデルは、回帰モデルではなく分類モデルです。

正則化

#fundamentals

過学習を減らすメカニズム。 よく使用される正則化のタイプは次のとおりです。

• L₁ 正規化
• L₂ 正規化
• ドロップアウト正則化
• 早期停止（これは正式な正規化方法ではありませんが、過剰適合を効果的に制限できます）

正則化は、モデルの複雑さに対するペナルティとしても定義できます。

アイコンをクリックすると、追加のメモが表示されます。

正則化は直感に反するものです。正則化を増やすと、通常は トレーニングの損失が増加します。これは混乱を招きます。 トレーニングの損失を最小化することを目標にすべきでしょうか。

実は、そうではありません。目標はトレーニング損失を最小限に抑えることではありません。目標は、実際の例に対して優れた予測を行うことです。驚くべきことに、 正則化を増やすとトレーニングの損失が増加します。通常、 精度が向上しています。

---

正則化率

#fundamentals

この数値は、指標の相対的な重要度を指定する 正則化。正則化率を上げると過剰適合は減少しますが、モデルの予測能力が低下する可能性があります。逆に、1 対 1 の会話の 正則化率は過学習が増えます

アイコンをクリックすると、計算式が表示されます。

正則化率は通常、ギリシャ文字のラムダとして表されます。 次の簡略化された損失方程式は、 ラムダの影響:

$$\text{minimize(loss function + }\lambda\text{(regularization))}$$

[Regularization] は、以下を含む任意の正則化メカニズムです。

• L₁ 正則化
• L₂ 正則化

---

強化学習（RL）

#rl

最適なポリシーを学習するアルゴリズム ファミリー。環境とやり取りする際のリターンを最大化することを目的としています。たとえば、ほとんどのゲームの最終的な報酬は勝利です。 強化学習システムは、最終的に勝利につながった過去のゲームの動きと、最終的に敗北につながった動きのシーケンスを評価することで、複雑なゲームのプレイのエキスパートになることができます。

人間からのフィードバックを用いた強化学習（RLHF）

#generativeAI

#rl

人間の評価者からのフィードバックを使用して、モデルのレスポンスの品質を向上させる。 たとえば、RLHF メカニズムを使用して、モデルの品質を評価して ” ” または ” ” という絵文字を付けます。システムはその後のレスポンスを調整 生成 AI です。

ReLU

#fundamentals

正規化線形ユニットの略。

リプレイ バッファ

#rl

DQN のようなアルゴリズムでは、エージェントが使用するメモリ 状態遷移をストレージ オペレーションで 視聴体験リプレイ。

レプリカ

トレーニング セットまたはモデルのコピー（通常は別のマシン上）。たとえば、システムは次の戦略を使用してデータ並列処理を実装できます。

1. 既存のモデルのレプリカを複数のマシンに配置します。
2. トレーニング セットの異なるサブセットを各レプリカに送信します。
3. パラメータの更新を集計します。

報告バイアス

#fairness

ユーザーがアクション、結果、プロパティについて記述する頻度が、実世界の頻度や、プロパティが個人のクラスの特徴である程度を反映していないという事実。報告バイアスが構成に影響する可能性がある ML システムが学習するためのデータです

たとえば、書籍では「笑った」という単語は「息を吸った」よりも一般的です。書籍コーパスから笑い声と呼吸の相対頻度を推定する ML モデルは、笑い声が呼吸よりも一般的であると判断する可能性があります。

「bank」が

データを有用な特徴にマッピングするプロセス。

再ランキング

#recsystems

レコメンデーション システムの最後のステージ。スコアが付けられたアイテムは、他の（通常は ML 以外の）アルゴリズムに基づいて再評価される場合があります。再ランキングで項目のリストが評価される スコアリング フェーズで生成されたものであり、次のアクションを実行します。

• ユーザーがすでに購入した商品を削除する。
• 新しいアイテムのスコアを上げる。

検索拡張生成（RAG）

#fundamentals

モデルのトレーニング後に取得した知識ソースに基盤を置くことで、大規模言語モデル（LLM）の出力の品質を向上させる手法。RAG は、トレーニング済みの LLM に信頼できるナレッジベースまたはドキュメントから取得した情報へのアクセス権を付与することで、LLM のレスポンスの精度を向上させます。

検索拡張生成を使用する一般的な動機は次のとおりです。

• モデルで生成されるレスポンスの事実に基づく精度を高める。
• モデルがトレーニングされていない知識にモデルがアクセスできるようにする。
• モデルが使用する知識を変更する。
• モデルによるソースの引用を有効にする

たとえば、化学アプリが PaLM API を使用して要約を生成 分析できますアプリのバックエンドがクエリを受信すると、バックエンドは次の処理を行います。

1. ユーザーのクエリに関連するデータを検索（「取得」）します。
2. 関連する化学データをユーザーのクエリに追加（「拡張」）します。
3. 追加されたデータに基づいて要約を作成するよう LLM に指示します。

リターン

#rl

強化学習では、特定のポリシーと特定の状態が与えられると、リターンは、エージェントが状態からエピソードの終了までポリシーに従って受け取ると予想されるすべての報酬の合計です。エージェントは、報酬の獲得に必要な状態遷移に応じて報酬を割り引くことで、期待される報酬の遅延を考慮します。

したがって、割引率が \(\gamma\)で、かつ \(r_0, \ldots, r_{N}\)であるとします。 エピソードの最後まで報酬を示し、収益の計算 内容は次のとおりです。

$$\text{Return} = r_0 + \gamma r_1 + \gamma^2 r_2 + \ldots + \gamma^{N-1} r_{N-1}$$

特典

#rl

強化学習では、入力シーケンスの アクション: 状態（ 環境。

リッジ正則化

L₂ 正則化と同義。リッジ正則化という用語は純粋な統計のコンテキストでより頻繁に使用されますが、L₂ 正則化は ML でより頻繁に使用されます。

RNN

#seq

再帰型ニューラル ネットワークの略語。

ROC（受信者操作特性）曲線

#fundamentals

真陽性率と さまざまなタイプの 偽陽性率 バイナリ形式の分類しきい値 あります。

ROC 曲線の形状は、バイナリ分類モデルがポジティブ クラスとネガティブ クラスを分離する能力を示しています。たとえば バイナリ分類モデルでは、すべてのネガティブな すべての正のクラスからすべてのクラスから取得します。

上記のモデルの ROC 曲線は次のようになります。

対照的に、次の図は、生のロジスティック回帰をグラフ化したものです。 陰性クラスと陰性クラスを分離できない すべて肯定的なクラス:

このモデルの ROC 曲線は次のようになります。

一方、現実の世界では、ほとんどのバイナリ分類モデルが ある程度は検出できますが、通常は完璧ではありません。したがって、 典型的な ROC 曲線は、

理論的には、ROC 曲線上で（0.0、1.0）に最も近い点が理想的な分類しきい値になります。しかし現実には 理想的な分類しきい値の選択に影響を与えます。たとえば おそらく偽陰性の方が偽陽性よりもはるかに負担が大きいでしょう。

AUC と呼ばれる数値指標は、ROC 曲線を 単一の浮動小数点値を返します

ロール プロンプト

#language

#generativeAI

対象グループを識別するプロンプトのオプション部分 生成 AI モデルのレスポンスに対して使用します。ロール プロンプトがない場合、大規模言語モデルは、質問したユーザーにとって有用な回答とそうでない回答の両方を返します。ロール プロンプトを使用すると、大規模言語モデルは、特定のターゲット ユーザーにとってより適切で有用な方法で回答できます。たとえば、次のプロンプトのロール プロンプト部分は太字になっています。

• 経済学博士号取得者向けに、この記事を要約します。
• 潮汐の仕組みを10 歳の子どもに説明してください。
• 2008 年の金融危機について説明します。幼い子どもに語りかける。 ゴールデンレトリバーです

根

#df

開始ノード（最初のノードは 条件）をディシジョン ツリーに含めます。 慣例として、図ではルートをディシジョン ツリーの最上部に配置します。 例:

ルート ディレクトリ

#TensorFlow

TensorFlow のサブディレクトリをホストするために指定するディレクトリ 複数のモデルのチェックポイント ファイルとイベント ファイル。

二乗平均平方根誤差（RMSE）

#fundamentals

平均二乗誤差の平方根。

回転不変性

#image

画像分類問題では、画像の向きが変わっても画像を正しく分類できるアルゴリズムの能力。たとえば、テニスラケットが上向き、横向き、下向きの場合でも、アルゴリズムはテニスラケットを識別できます。回転不変性は必ずしも望ましいとは限りません。たとえば、上下逆さまの 9 を 9 として分類すべきではありません。

翻訳不変性と サイズの不変性。

決定係数

個々の特徴または特徴セットがラベルのばらつきにどの程度影響しているかを示す回帰指標。R 2 は 0～1 の値で、次のように解釈できます。

• R 2 が 0 の場合、ラベルの変動は特徴セットによるものではないことを意味します。
• R 2 乗が 1 なら、ラベルのバリエーションはすべて 説明します。
• 0 から 1 の間の R 2 は、特定の特徴量または特徴量セットからラベルの変化を予測できる程度を示します。たとえば、決定係数が 0.10 であれば、分散の 10% である 特徴量セットによるものである場合 決定係数が 0.20 であれば その 20% は機能セットによるものです。

R 2 乗は、モデルが予測した値と正解間のピアソン相関係数の 2 乗です。

S

サンプリング バイアス

#fairness

選択バイアスをご覧ください。

置換によるサンプリング

#df

同じ名前が使われている一連の候補項目から 複数回選択できます。「置換あり」というフレーズ意味 選択するたびに、選択されたアイテムがプールに返されます 検証します。逆の方法である置換なしのサンプリングでは、候補アイテムを選択できるのは 1 回だけです。

たとえば、次のフルーツセットについて考えてみましょう。

fruit = {kiwi, apple, pear, fig, cherry, lime, mango}

システムが fig をランダムに最初のアイテムとして選択したとします。置換によるサンプリングを使用する場合、 次のセットから 2 番目のアイテムです。

fruit = {kiwi, apple, pear, fig, cherry, lime, mango}

はい。これは以前と同じセットであるため、システムは fig を再度選択する可能性があります。

入れ替えなしのサンプリングを使用する場合、一度選択したサンプルを再度選択することはできません。たとえば、システムが fig をランダムに選択し、 最初のサンプルでは、fig を再度選択することはできません。そのため、システムは次の（削減された）セットから 2 番目のサンプルを選択します。

fruit = {kiwi, apple, pear, cherry, lime, mango}

アイコンをクリックすると、追加のメモが表示されます。

置換ありサンプリングの「置換」という単語は、多くの人を混乱させます。英語では、置換は「置換」を意味します。 ただし、置換によるサンプリングでは、実際にはフランス語の定義を使用しています 交換は「何かを返却する」ことを意味します。

英語の「replacement」はフランス語に翻訳されます。 「remplacement」という単語を使用します。

---

SavedModel

#TensorFlow

TensorFlow モデルの保存と復元に推奨される形式です。SavedModel 言語に依存しない復元可能なシリアル化形式であるため、 TensorFlow を生成、使用、変換するための高レベルのシステムとツール 構築できます

保存と復元の章をご覧ください。 をご覧ください。

割安便

#TensorFlow

モデルのチェックポイントの保存を担当する TensorFlow オブジェクト。

スカラー

ランク 0 のテンソルとして表せる単一の数値または単一の文字列。たとえば、次のコード行はそれぞれ TensorFlow で 1 つのスカラーを作成します。

breed = tf.Variable("poodle", tf.string)
temperature = tf.Variable(27, tf.int16)
precision = tf.Variable(0.982375101275, tf.float64)

スケーリング

ラベルの範囲をシフトする任意の数学的変換または手法 特徴値などです一部のスケーリングは、正規化などの変換に非常に役立ちます。

ML で役立つスケーリングの一般的な形式は次のとおりです。

• 線形スケーリングでは、一般的に、減算と 除算を使用して、元の値を -1 ～+1 の範囲の数値に置き換えるか、 0 ～ 1 の範囲で設定できます
• 対数スケーリング: 元の値が 対数。
• Z スコア正規化は、 元の値に、元の値と元の値に その特徴量の平均からの標準偏差です

scikit-learn

人気のあるオープンソースの ML プラットフォーム。scikit-learn.org をご覧ください。

得点

#recsystems

レコメンデーション システムの一部は、 によって生成される各アイテムの値またはランキングが 候補生成フェーズでは、

選択バイアス

#fairness

データで観測されたサンプルと観測されなかったサンプルの間に系統的な差異を生む選択プロセスが原因で、サンプリングされたデータから得られた結論に誤りがある。選択バイアスには、次の形式があります。

• カバレッジ バイアス: データセットに表される母集団が、機械学習モデルが予測を行う母集団と一致していません。
• サンプリング バイアス: データは、ターゲット グループからランダムに収集されません。
• 非回答バイアス（参加バイアスとも呼ばれる）: オプトアウト率が異なる一部のグループは、 できます。

たとえば、予測を行う ML モデルを構築するとします。 達成するためですトレーニングデータを収集するには 映画館の最前列にいる全員にアンケートを配る 表示されます。一見、これはデータセットを収集する合理的な方法のように思えますが、この形式のデータ収集では、次のような選択バイアスが生じる可能性があります。

• カバレッジ バイアス: モデルの予測が一般化しない可能性があります 関心を示していませんでした
• サンプリング バイアス: サンプルからランダムに 対象人口（映画に登場するすべての人）、サンプリングした 最前列の人々にリーチできます最前列に座っている人は、他の列の人に比べて映画に興味を持っている可能性があります。
• 非回答バイアス: 一般に、強い意見を持つ人は、 任意のアンケートに、軽度の回答者よりも頻繁に回答する割合 意見を求めます。映画に関するアンケートは任意であるため、回答は正規分布（ベル曲線）よりも二峰分布になる傾向があります。

セルフ アテンション（セルフ アテンション レイヤ）

#language

一連のニューラル ネットワークを エンベディング（token エンベディングなど） 別のエンベディング シーケンスに変換できます。出力シーケンスの各エンベディングは、 入力シーケンスの要素からの情報を統合して構築 アテンション機構によって実現されます。

セルフ アテンションの自己部分は、 他のコンテキストに与えません。自己注意は Transformer の主要な構成要素の一つであり、「クエリ」、「キー」、「値」などの辞書ルックアップ用語を使用します。

自己注意レイヤは、入力表現のシーケンスから始まります。 表示されます。単語の入力表現は単純なもので、 説明します。入力シーケンス内の各単語について、ネットワークは単語のシーケンス全体のすべての要素に対する単語の関連性をスコアリングします。関連性スコアによって、その単語の最終的な表現がどの程度 他の単語の表現が組み込まれています。

たとえば、次の文について考えてみましょう。

動物は疲れていたため、道路を渡らなかった。

次の図（ Transformer: 言語のための新しいニューラル ネットワーク アーキテクチャ 理解） 代名詞 it に対する自己注意レイヤのアテンション パターンを示します。 各単語がパフォーマンスに及ぼす影響の度合いを 表現:

セルフ アテンション レイヤは、「it」に関連する単語をハイライト表示します。この アテンション レイヤは、 animal に最大の重みを割り当てます。

n 個のトークンのシーケンスに対して、セルフ アテンションはシーケンスを変換します。 n 回（シーケンス内の各位置で 1 回ずつ）のエンベディングを作成します。

アテンションとマルチヘッドセルフアテンションも参照してください。

自己教師あり学習

エンティティを変換するための一連の手法は、 教師なし ML の問題 教師あり ML 問題に サロゲート ラベルを作成して、 ラベルなしのサンプル。

BERT などの一部の Transformer ベースのモデルは、自己教師あり学習を使用します。

自己教師ありトレーニングは、 半教師あり学習のアプローチです。

自己トレーニング

セルフ トレーニング学習のバリエーションで、次のすべての条件が満たされている場合に特に便利です。

• ラベルなしのサンプルと データセット内のラベル付きサンプルが多い。
• これは分類問題です。

自己トレーニングは、モデルが完成するまで次の 2 つのステップを反復して行います。 改善しなくなる:

1. 教師あり ML を使用して以下を行います。 ラベル付きサンプルでモデルをトレーニングします
2. ステップ 1 で作成したモデルを使用して、予測（ラベル）を ラベルなしのサンプルを移行し、信頼度の高いサンプルを ラベルが付けられた例を予測ラベルで返します。

ステップ 2 の反復処理ごとに、ステップ 1 でトレーニングするラベル付きの例が追加されます。

半教師あり学習

一部のトレーニング例にラベルが付いていて、他の例にラベルが付いていないデータでモデルをトレーニングする。半教師あり学習の 1 つの手法は、ラベルのないサンプルのラベルを推定し、推定されたラベルでトレーニングして新しいモデルを作成することです。半教師あり学習はラベルの取得に費用がかかる場合に便利です。 ラベルなしのサンプルはたくさんあります。

自己トレーニングは、半教師あり学習の 学びます。

センシティブ属性

#fairness

法律、法律、規制、 さまざまな理由が考えられます。

感情分析

#language

統計的アルゴリズムまたは機械学習アルゴリズムを使用して、 サービス、プロダクト、サービスに対する全体的な態度（肯定的か否定的か） できます。たとえば、 自然言語理解、 アルゴリズムでテキスト フィードバックの感情分析を実行できる 大学の講義から得た知識に基づいて、 評価します。

シーケンス モデル

#seq

入力に順序依存関係があるモデル。たとえば 以前に視聴した一連の動画のうち、次に視聴した動画。

シーケンス ツー シーケンス タスク

#language

トークンの入力シーケンスを出力に変換するタスク トークンのシーケンスです。たとえば、シーケンスからシーケンスへの変換には、 次のとおりです。

• 翻訳者:
  • 入力シーケンスの例: 「愛してる」
  • 出力シーケンスの例: 「Je t'aime.」
• 質問応答:
  • サンプル入力シーケンス: 「ニューヨーク市で車は必要ですか？」
  • 出力シーケンス例: 「いいえ。車は自宅に置いてください。」

サービングです

トレーニング済みモデルを使用して予測を提供できるようにするプロセス オンライン推論 オフライン推論。

形状（テンソル）

各ディメンションに含まれる要素の数。 テンソルです。シェイプは整数のリストとして表されます。たとえば、次の 2 次元テンソルの形状は [3,4] です。

[[5, 7, 6, 4],
 [2, 9, 4, 8],
 [3, 6, 5, 1]]

TensorFlow では行優先（C スタイル）形式を使用してディメンションの順序を表します。そのため、TensorFlow のシェイプは [4,3] ではなく [3,4] です。つまり、2 次元の TensorFlow テンソルでは、形状は [行数、列数] です。

静的シェイプは、コンパイル時に既知であるテンソル形状です。

動的シェイプはコンパイル時に不明であるため、ランタイム データに依存します。このテンソルは TensorFlow のプレースホルダ ディメンション（[3, ?] など）。

シャード

#TensorFlow

#GoogleCloud

トレーニング セットまたは model。通常、一部のプロセスでは、分割によってシャードを 例またはパラメータ（通常） チャンクに分割されます。各シャードは異なるマシンに割り当てられます。

モデルのシャーディングはモデル並列処理と呼ばれます。 データのシャーディングはデータ並列処理と呼ばれます。

縮み

#df

ハイパーパラメータ: 勾配ブースティング 過学習。勾配ブースティングの縮小 これは Google の学習率に相当します。 勾配降下法。収縮は 0.0～1.0 の小数値です。収縮値が小さいほど、収縮値が大きい場合よりも過剰適合が軽減されます。

シグモイド関数

#fundamentals

「押しつぶす」数学関数入力値を制約された範囲に入れる 通常は 0 ～ 1 または -1 ～+1 です。つまり、任意の数（2、100 万、 シグモイドに変換されても、出力は 範囲が制限されています。 シグモイド活性化関数のグラフは次のようになります。

シグモイド関数は、ML で次のようないくつかの用途があります。

• 元の画像の未加工の出力を ロジスティック回帰 多項回帰モデルを使用して、 です。
• 一部のニューラル ネットワークでは活性化関数として機能します。

アイコンをクリックすると、計算式が表示されます。

入力数 x に対するシグモイド関数の式は次のとおりです。

$$ sigmoid(x) = \frac{1}{1 + e^{-\text{x}}} $$

ML では、x は通常、重み付き和です。

---

類似性測定

#clustering

クラスタリング アルゴリズムでは、指標の判断に使用される 2 つの例の類似度（類似度）を確認します。

単一プログラム / 複数データ（SPMD）

同じ計算を異なるデバイス上の異なる入力データで並列に実行する並列化手法。SPMD の目標は、結果をより迅速に得ることです。これは、最も一般的な並列プログラミングのスタイルです。

サイズの不変性

#image

画像分類問題では、画像のサイズが変化しても画像を正しく分類できるアルゴリズムの能力。たとえば、200 万ピクセルでも 20 万ピクセルでも、アルゴリズムは猫を識別できます。なお、 画像分類アルゴリズムにも、サイズの不変性に現実的な制限があります。 たとえば、アルゴリズム（または人間）が 20 ピクセルの猫の画像を正しく分類することはほとんどありません。

移動不変性と回転不変性もご覧ください。

スケッチ

#clustering

教師なし ML では、 予備的な類似度分析を行うアルゴリズムのカテゴリ 例で説明します。スケッチ アルゴリズムでは、 <ph type="x-smartling-placeholder"></ph> 局所性のあるハッシュ関数 特徴が似ている点を特定し、その点を バケットに分割できます。

スケッチにより、類似度の計算に必要な計算量を減らす 学習しますデータセット内のすべてのサンプルペアの類似性を計算するのではなく、各バケット内の各ポイントペアの類似性のみ計算します。

skip-gram

#language

元の単語から単語を省略（または「スキップ」）できる n-gram つまり、N 個の単語は元々隣接していない可能性があります。より正確には、「k スキップ n グラム」は、最大 k 個の単語がスキップされている n グラムです。

たとえば、「the quick brown fox」には次の 2 グラムが考えられます。

• 「すばやく」
• 「早い茶色」
• "茶色のフォックス"

「1 スキップ 2 グラム」単語と単語の間の最大 1 つの単語からなる単語のペアです。 したがって、「the short brown fox」は次の 1 スキップ 2 グラムがあります:

• "the brown"
• "quick fox"

また、2 つの単語がスキップされる可能性があるため、すべての 2 グラムは 1 スキップ 2 グラムでもあります。

スキップグラムは、単語の周囲のコンテキストをより深く理解するのに役立ちます。 この例では、「fox」は 1 スキップ 2 グラムのセットで「quick」に直接関連付けられていますが、2 グラムのセットで直接関連付けられていません。

スキップグラムは、単語エンベディングモデルのトレーニングに役立ちます。

Softmax

#fundamentals

特定のクラスの確率を マルチクラス分類モデル。各単語の確率は 正確に 1.0 に変更します。たとえば、次の表は、ソフトマックスがさまざまな確率をどのように分散させるかを示しています。

画像は...	確率
犬	0.85
猫	0.13
馬	0.02

ソフトマックスは、フル ソフトマックスとも呼ばれます。

一方、候補サンプリングでは、

アイコンをクリックすると、計算結果が表示されます。

ソフトマックスの式は次のとおりです。

$$\sigma_i = \frac{e^{\text{z}_i}} {\sum_{j=1}^{j=K} {e^{\text{z}_j}}} $$

ここで、

• $\sigma_i$ は出力ベクトルです。出力ベクトルの各要素 この要素の確率を指定します。すべての要素の合計 出力ベクトルの 1.0 です。出力ベクトルには、入力ベクトル $z$ と同じ数の要素が含まれます。
• $z$ は入力ベクトルです。入力ベクトルの各要素には浮動小数点値が含まれています。
• $K$ は入力ベクトル（および出力ベクトルの ベクトル）が含まれます。

たとえば、入力ベクトルが次のようになっているとします。

[1.2, 2.5, 1.8]

したがって、softmax は分母を次のように計算します。

$$\text{denominator} = e^{1.2} + e^{2.5} + e^{1.8} = 21.552$$

したがって、各要素のソフトマックス確率は次のようになります。

$$\sigma_1 = \frac{e^{1.2}}{21.552} = 0.154 $$ $$\sigma_2 = \frac{e^{2.5}}{21.552} = 0.565 $$ $$\sigma_1 = \frac{e^{1.8}}{21.552} = 0.281 $$

したがって、出力ベクトルは次のようになります。

$$\sigma = [0.154, 0.565, 0.281]$$

$\sigma$ の 3 つの要素の合計は 1.0 です。さて、

---

ソフト プロンプトのチューニング

#language

#generativeAI

大規模言語モデルのチューニング手法 リソースを大量に消費することなく、特定のタスクに ファインチューニング。すべての特徴量を再トレーニングする代わりに モデル内の重み、ソフト プロンプト調整 同じ目標を達成するためにプロンプトを自動的に調整する。

与えられたテキスト プロンプトで、ソフト プロンプト調整 通常はプロンプトに追加のトークン エンベディングを付加し、 入力を最適化します。

「ハード」なプロンプトには、トークン エンベディングではなく実際のトークンが含まれます。

スパースな特徴

#language

#fundamentals

値の大部分がゼロまたは空の特徴量。たとえば、1 つの値が 1 で、100 万個の値が 0 である特徴はスパースです。一方、密な特徴には、 大部分はゼロや空ではありません

機械学習では、驚くほど多くの特徴量がスパースな特徴量です。カテゴリ特徴は通常、スパースな特徴です。たとえば、森林に生息する 300 種類の樹木のうち、1 つのサンプルでカエデのみを特定できる場合があります。何百万もの 動画ライブラリに含まれる可能性のある動画の数によって、1 つの例で “カサブランカ”と言います

モデルでは、通常、スパース特徴をワンホット エンコーディングで表します。ワンホット エンコーディングが大きい場合、 エンベディング レイヤをそのレイヤの上に配置できます。 ワンホット エンコーディングを使用します。

スパース表現

#language

#fundamentals

スパースな特徴にゼロ以外の要素の位置のみを保存する。

たとえば、species という名前のカテゴリ特徴が、特定の森林内の 36 種類の樹木を識別するとします。さらに、各例が 1 つの種のみを識別すると仮定します。

1 ホット ベクトルを使用して、各例の樹木の種類を表すことができます。ワンホット ベクトルには、単一の 1 が含まれます（ と 35 個の 0（ 35 種類の樹木。この例では該当なし）。したがって、maple の 1 ホット表現は次のようになります。

あるいは、スパース表現では単純に画像の位置を特定するだけで 判断できますmaple が 24 番目の位置にある場合、maple のスパース表現は次のようになります。

24

スパース表現は、1 ホット表現よりもはるかにコンパクトです。

注: スパース表現をモデルに直接特徴入力として渡すことはできません。代わりに、トレーニングする前に、スパース表現を 1 ホット表現に変換する必要があります。

少し複雑な例を見るには、アイコンをクリックします。

モデル内の各例で、英語の文の単語（単語の順序は含まない）を表す必要があるとします。英語は約 17 万語で構成されているため、英語は約 17 万個の要素を持つカテゴリ型特徴量です。ほとんどの英語の文では、17 万語のうちごく一部の単語しか使用されないため、1 つの例の単語セットは、ほぼ確実にスパース データになります。

次の文について考えてみましょう。

My dog is a great dog

この文の単語を表すには、ワンホット ベクトルのバリエーションを使用できます。このバリアントでは、ベクトルの複数のセルに 指定することもできます。さらに、このバリアントでは、セルに整数値を含めることができます。 あります。「my」、「is」、「a」、「great」という言葉は表示のみ 単語「犬」は、表示されます。このバリアントを使用すると、 この文内の単語を表すワンホット ベクトルを作成すると、 170,000 要素ベクトル:

同じ文のスパース表現は次のようになります。

0: 1
26100: 2
45770: 1
58906: 1
91520: 1

---

不明な場合はアイコンをクリックします。

スパース表現自体はスパース ベクトルではないため、「スパース表現」という用語は多くの人を混乱させます。むしろ、スパース表現は実際にはスパース ベクトルの高密度表現です。同義語の「インデックス表現」は、「スパース表現」よりも少し明確です。

---

スパース ベクトル

#fundamentals

値のほとんどがゼロのベクトル。スパース特徴量とスパース性もご覧ください。

スパース性

ベクトルまたは行列の除算でゼロ（または null）に設定された要素の数 そのベクトルまたは行列のエントリの総数で割ることです。たとえば 98 個のセルにゼロが含まれる 100 要素からなる行列について考えてみましょう。スパース性の計算は次のとおりです。

$$ {\text{sparsity}} = \frac{\text{98}} {\text{100}} = {\text{0.98}} $$

特徴量のスパース性とは、特徴ベクトルのスパース性のことです。 モデルのスパース性とは、モデルの重みのスパース性を指します。

空間プーリング

#image

プーリングをご覧ください。

分割

#df

分岐図では、条件の別名。

分割バー

#df

デシジョン ツリーのトレーニング中に、各ノードで最適な条件を見つけるルーティン（およびアルゴリズム）。

SPMD

単一プログラム / 複数のデータの略語。

ヒンジ損失の 2 乗

ヒンジ損失の 2 乗。二乗ヒンジ損失は、通常のヒンジ損失よりも外れ値を厳しくペナルティにします。

二乗損失

#fundamentals

L₂ 損失と同義。

段階的なトレーニング

#language

一連の個別のステージでモデルをトレーニングする手法。目標は トレーニング プロセスをスピードアップするか、モデルの品質を向上させるかのいずれかです。

以下に、段階的なスタッキング アプローチの図を示します。

• ステージ 1 には 3 つの隠れ層、ステージ 2 には 6 つの隠れ層、ステージ 3 には 12 個の隠れ層があります。
• ステージ 2 は、ステージ 1 の 3 つの隠れ層で学習された重みを使用してトレーニングを開始します。ステージ 3 では、ステージ 2 の 6 つの隠れ層で学習された重みを使用してトレーニングを開始します。

パイプライン処理もご覧ください。

state

#rl

強化学習では、現在のモデルを表す 環境の構成。エージェントはこれを使用して アクションを選択します。

状態アクション価値関数

#rl

Q 関数と同義。

static

#fundamentals

継続的ではなく、1 回だけ行う作業。静的とオフラインという用語は同義語です。 マシンでの静的とオフラインの一般的な用途は次のとおりです。 学習:

• 静的モデル（またはオフライン モデル）は、一度トレーニングされたモデルです。 使用しました。
• 静的トレーニング（またはオフライン トレーニング）は、 静的モデルです。
• 静的推論（オフライン推論）は、 予測のバッチをモデルが一度に生成するプロセスです。

動的とは対照的です。

静的推論

#fundamentals

オフライン推論と同義。

静止

#fundamentals

1 つ以上のディメンション（通常は時間）で値が変化しない特徴。 たとえば、2021 年とほぼ同じ値に見える特徴が、 2023 年は静止しています。

実際には、静止している特徴はほとんどありません。均等な特徴 安定性（海面など）の経時的な変化と同義です。

対照的に、非定常性です。

ステップ

1 つのバッチのフォワード パスとバックワード パス。

詳細については、誤差逆伝播をご覧ください。 パフォーマンスの傾向を評価できます

ステップサイズ

学習率と同義。

確率的勾配降下法（SGD）

#fundamentals

勾配降下法アルゴリズムでは、 バッチサイズは 1 です。つまり、Stochastic Gradient Descent は、トレーニング セットから均一にランダムに選択された単一のサンプルでトレーニングします。

ストライド

#image

畳み込み演算またはプーリングでは、入力シーケンスの 入力スライスが作成されます。たとえば、次のアニメーションは、畳み込み演算中のストライド（1,1）を示しています。したがって、 次の入力スライスは、前の入力の 1 位置右から開始 スライス。操作が右端に達すると、次のスライスがすべて 1 つ下の位置になります

上記の例は、2 次元のストライドを示しています。入力が 行列が 3 次元の場合、ストライドも 3 次元になります。

構造的リスクの最小化（SRM）

2 つの目標のバランスを取るアルゴリズム:

• 最も予測力の高いモデル（損失が最も低いモデルなど）を構築する必要がある。
• モデルをできるだけシンプルに保つ必要がある（強力な正規化など）。

たとえば、トレーニング セットで損失と正則化を最小化する関数は、構造リスク最小化アルゴリズムです。

経験損失最小化とは対照的です。

サブサンプリング

#image

プーリングをご覧ください。

サブワード トークン

#language

言語モデルでは、単語の部分文字列（単語全体の場合もあります）であるトークン。

たとえば「itemize」などの単語は「アイテム」という断片に分割されることもあります。 （根語）と「ize」を（サフィックス）。各 ID は、それぞれ固有の名前で表され、 あります。一般的でない単語をサブワードと呼ばれる部分に分割することで、 単語のより一般的な構成部分で動作させることができます。 使用できます

逆に「行く」などの一般的な言葉は分割されていない可能性があり、 単一のトークンで表されます。

概要

#TensorFlow

TensorFlow では、特定のステップで計算された値または値のセット。通常、トレーニング中のモデル指標の追跡に使用されます。

教師あり ML

#fundamentals

特徴とその特徴からモデルをトレーニングする 対応するラベル。教師あり機械学習は、一連の質問とそれに対応する回答を学習して、ある分野を学習することに似ています。質問と回答のマッピングを習得した生徒は、同じトピックに関する新しい（これまでにない）質問に回答できるようになります。

比較対象 教師なし ML。

合成特徴

#fundamentals

入力特徴には存在しないが、1 つ以上の入力特徴から組み立てられた特徴。合成特徴の作成方法 次の内容が含まれます。

• 連続特徴を範囲ビンにバケット化します。
• 特徴クロスを作成する。
• 1 つの特徴値を他の特徴値で乗算（または除算）する こともできます。たとえば、a と b が入力特徴の場合、 合成特徴の例を次に示します。
  • ab
  • a²
• 超越関数を特徴値に適用する。たとえば、c が入力特徴の場合、合成特徴の例を次に示します。
  • sin(c)
  • ln(c)

正規化またはスケーリングのみによって作成された特徴量は、合成特徴量と見なされません。

T

T5

#language

2020 年に Google AI によって導入されたテキストツーテキストの転移学習モデル。T5 は、エンコーダ - デコーダ モデルで、 非常に大規模な環境でトレーニングされた Transformer アーキテクチャ 説明します。テキストの生成、言語の翻訳、会話形式での質問への回答など、さまざまな自然言語処理タスクに効果的です。

T5 の名前は、「Text-to-Text Transfer Transformer」にある 5 つの T に由来します。

T5X

#language

設計されたオープンソースの機械学習フレームワーク。 大規模な自然言語処理を構築してトレーニング モデルです。T5 は、T5X コードベース（JAX と Flax で構築）で実装されています。

表形式の Q 学習

#rl

強化学習では、テーブルを使用して状態とアクションの組み合わせごとにQ 関数を保存することで、Q 学習を実装します。

ターゲット

ラベルと同義。

ターゲット ネットワーク

#rl

Deep Q-learning では、メインのニューラル ネットワークの安定した近似であるニューラル ネットワーク。メインのニューラル ネットワークは、Q 関数またはポリシーを実装します。次に、ターゲット ネットワークによって予測された Q 値でメイン ネットワークをトレーニングできます。したがって、メイン ネットワークが自身で予測した Q 値でトレーニングするときに発生するフィードバック ループを防ぐことができます。このフィードバックを回避することで、トレーニングの安定性が向上します。

タスク

次のような、機械学習の手法で解決できる問題。

• 分類
• 回帰
• クラスタリング
• 異常検出

温度

#language

#image

#generativeAI

ランダム性の度合いを制御するハイパーパラメータ 必要があります。温度が高いほど、出力のランダム性が高まり、温度が低いほど、出力のランダム性が低くなります。

最適な温度の選択は、特定のアプリケーションとモデルの出力の優先プロパティによって異なります。たとえば、クリエイティブな出力を生成するアプリを作成する場合は、温度を上げます。逆に、画像やテキストを分類するモデルを作成する場合は、モデルの精度と一貫性を高めるために温度を下げる必要があります。

Temperature は、softmax と併用されることがよくあります。

時系列データ

異なる時点で記録されたデータです。例: 冬用コート セール 時間データになります。

Tensor

#TensorFlow

TensorFlow プログラムの主なデータ構造。テンソルは N 次元である （N が非常に大きい場合もあります）データ構造、最も一般的なスカラー、ベクトル、 行列ですテンソルの要素は整数、浮動小数点数、 指定します。

TensorBoard

#TensorFlow

1 つ以上の TensorFlow プログラムの実行中に保存されたサマリーを表示するダッシュボード。

TensorFlow

#TensorFlow

大規模な分散機械学習プラットフォーム。また、 一般的な計算をサポートする TensorFlow スタックのベース API レイヤ 詳しく見ていきます

TensorFlow は主に ML に使用されますが、データフロー グラフを使用した数値計算を必要とする ML 以外のタスクにも使用できます。

TensorFlow Playground

#TensorFlow

さまざまなハイパーパラメータがモデル（主にニューラル ネットワーク）のトレーニングにどのように影響するかを可視化するプログラム。次に移動: <ph type="x-smartling-placeholder"></ph> http://playground.tensorflow.org TensorFlow Playground も試してみましょう。

TensorFlow Serving

#TensorFlow

トレーニング済みモデルを本番環境にデプロイするためのプラットフォーム。

TPU（Tensor Processing Unit）

#TensorFlow

#GoogleCloud

デバイスを最適化する特定用途向け集積回路（ASIC） ML ワークロードのパフォーマンスを 向上させることができますこれらの ASIC は TPU デバイス上の複数の TPU チップ。

テンソル ランク

#TensorFlow

階数（テンソル）をご覧ください。

テンソルの形状

#TensorFlow

テンソルがさまざまなディメンションに含む要素の数。たとえば、[5, 10] テンソルの形状は 1 次元が 5、10 が 使用します。

テンソルサイズ

#TensorFlow

Tensor に含まれるスカラーの総数。たとえば、 [5, 10] Tensor のサイズは 50 です。

TensorStore

効率的に読み取り、実行するためのライブラリ 記述することに集中します

終了条件

#rl

強化学習では、トレーニングに エピソードがいつ終了するかを判断する（エージェントが到達した時間など） しきい値を超えるしきい値を超えた場合に 通知を受け取ることができます たとえば、三目並べ（または （ノートとクロス）を使用すると、プレーヤーがマークをつけるか、 連続する 3 つのスペース、またはすべてのスペースがマークされている場合です。

test

#df

ディシジョン ツリーでは、 condition。

テスト損失

#fundamentals

テストセットに対するモデルの損失を表す指標。モデルの構築時は、 通常はテストの損失を最小化しようとします。これは、低いテスト損失は、低いトレーニング損失や低い検証損失よりも強い品質シグナルであるためです。

テスト損失とトレーニング損失または検証損失の差が大きい場合、正則化率を増やす必要があることを示唆していることがあります。

テストセット

テスト用に予約されたdatasetのサブセット トレーニング済みモデル。

従来、データセット内の例は次の 3 つの異なるサブセットに分割されます。

• トレーニング セット
• 検証セット
• テストセット

データセット内の各例は、上記のサブセットの 1 つにのみ属している必要があります。たとえば、1 つのサンプルがトレーニング セットとテストセットの両方に属している場合、

トレーニング セットと検証セットはどちらもモデルのトレーニングに密接に関連しています。 テストセットはトレーニングに間接的に関連付けられるだけなので、 テスト損失は、 トレーニングの損失または検証の損失。

テキスト範囲

#language

テキスト文字列の特定のサブセクションに関連付けられた配列インデックス スパン。 たとえば、Python 文字列 s="Be good now" の単語 good は、テキスト範囲 3～6 を占有します。

tf.Example

#TensorFlow

標準 <ph type="x-smartling-placeholder"></ph> プロトコル バッファ ML モデルのトレーニングや推論のための入力データを記述します。

tf.keras

#TensorFlow

TensorFlow に統合された Keras の実装。

しきい値（ディシジョン ツリーの場合）

#df

軸に沿った条件では、特徴量が比較される値。たとえば、次の条件では 75 がしきい値です。

grade >= 75

この形式の「しきい値」は、分類しきい値とは異なります。

時系列分析

#clustering

ML および統計のサブフィールドで 時間データ。多くの種類の ML 問題では、分類、クラスタリング、予測、異常検出などの時系列分析が必要です。たとえば、 月ごとの冬用コートの将来の売上を予測する時系列分析 基づいています。

タイムステップ

#seq

リカレント ニューラル ネットワーク内の 1 つの「展開済み」セル。たとえば、次の図では 3 つのタイムステップ（ラベルが 下付き文字 t-1、t、t+1）:

token

#language

言語モデルにおいて、モデルを構成する原子単位。 基づいて予測を行いますトークンは通常、 次のとおりです。

• 単語 - たとえば、「犬は猫が好き」というフレーズは、「犬」、「は」、「猫」の 3 つの単語トークンで構成されています。
• 文字（「bike fish」など）9 つの Pod で 使用できます。（空白はトークンの 1 つとしてカウントされます）。
• サブワードを使用します。このサブワードでは、1 つの単語が 1 つのトークンまたは複数のトークンになります。 サブワードは、ルートワード、接頭辞、接尾辞で構成されます。たとえば、サブワードをトークンとして使用する言語モデルでは、「dogs」という単語を 2 つのトークン（ルート単語「dog」と複数形接尾辞「s」）と見なします。同じ言語モデルは、単一の単語「taller」を 2 つのサブワード（ルート単語「tall」と接尾辞「er」）と見なす場合があります。

言語モデル以外のドメインでは、トークンは他の種類の です。たとえば、コンピュータ ビジョンでは、トークンは画像のサブセットとなる場合があります。

Tower

ディープ ニューラル ネットワークのコンポーネントであり、それ自体がディープ ニューラル ネットワークです。場合によっては、各タワーが タワーは独立して維持され、最終的に 出力は最終的なレイヤに結合されます。他のケース（多くの Transformers の エンコーダとデコーダのタワーなど）では、タワーは相互にクロス接続されています。

TPU

#TensorFlow

#GoogleCloud

Tensor Processing Unit の略称。

TPU チップ

#TensorFlow

#GoogleCloud

オンチップの高帯域幅メモリを備えたプログラマブル線形代数アクセラレータ ML ワークロードに最適化されています 複数の TPU チップが TPU デバイスにデプロイされます。

TPU デバイス

#TensorFlow

#GoogleCloud

複数の TPU チップを搭載したプリント回路基板（PCB） 高帯域幅ネットワークインターフェース システム冷却ハードウェアが含まれます

TPU マスター

#TensorFlow

#GoogleCloud

ホストマシンで実行される中央調整プロセス。データ、結果、プログラム、パフォーマンス、システムの健全性に関する情報を TPU ワーカーに送受信します。TPU マスターは設定も管理します。 TPU デバイスのシャットダウン。

TPU ノード

#TensorFlow

#GoogleCloud

特定のイメージを持つ Google Cloud 上の TPU リソース TPU タイプ。TPU ノードは、ピア VPC ネットワークから VPC ネットワークに接続します。TPU ノードは、GKE クラスタで定義される Cloud TPU API。

TPU Pod

#TensorFlow

#GoogleCloud

Google Cloud 内での TPU デバイスの特定の構成 あります。TPU Pod 内のすべてのデバイスが相互に接続されている 専用の高速ネットワークを介して通信します。TPU Pod は Google Cloud の 特定の TPU バージョンで利用可能な TPU デバイス。

TPU リソース

#TensorFlow

#GoogleCloud

お客様が作成、管理、または使用する Google Cloud 上の TPU エンティティ。対象 TPU ノードと TPU タイプは TPU リソース。

TPU スライス

#TensorFlow

#GoogleCloud

TPU スライスは、TPU Pod 内の TPU デバイスの部分的な部分です。TPU スライス内のすべてのデバイスは、専用の高速ネットワークを介して相互に接続されています。

TPU タイプ

#TensorFlow

#GoogleCloud

特定の構成を持つ 1 つ以上の TPU デバイスの構成 TPU ハードウェア バージョン。TPU タイプは、Google Cloud で TPU ノードを作成するときに選択します。たとえば、v2-8 TPU タイプは、8 コアの単一の TPU v2 デバイスです。v3-2048 TPU タイプには、256 個のネットワーク化された TPU v3 デバイスと合計 2,048 個のコアがあります。TPU タイプはリソースであり、 で定義され、 Cloud TPU API。

TPU ワーカー

#TensorFlow

#GoogleCloud

ホストマシンで実行され、TPU デバイスで ML プログラムを実行するプロセス。

トレーニング

#fundamentals

理想的なパラメータ（重みと バイアスなど）をモデル化します。トレーニング中、システムは 例を使用して、パラメータを段階的に調整します。トレーニングでは 数千回から数十億回にのぼります

トレーニングの損失

#fundamentals

特定のトレーニング イテレーション中のモデルの損失を表す指標。たとえば、損失関数が平均二乗誤差であるとします。おそらく、トレーニングの損失（平均 二乗誤差）は 2.2 で、トレーニングの損失は 100 回目の反復処理は 1.9 です。

損失曲線は、トレーニングの損失とエラーの数を 必要があります。損失曲線は、トレーニングに関する次のヒントを提供します。

• 下り坂は、モデルが改善されていることを示します。
• 上向きの傾斜は、モデルの性能が低下していることを意味します。
• 傾斜が緩い場合、モデルは収束に達しています。

たとえば、次のやや理想化された損失曲線は、次のことを示しています。

• 初期の反復処理で急な下降傾向があったため、 モデルを迅速に改善できます
• 終盤に近づくまで徐々に平坦になっていく（引き続き下向き）傾斜 モデルの改善を続けていくことになりますが、 初期の反復処理よりも遅いペースです。
• トレーニングの終わりに向かって勾配が緩やかになり、収束を示しています。

トレーニングの損失は重要ですが、 一般化。

トレーニング サービング スキュー

#fundamentals

トレーニング期間中のモデルのパフォーマンスの トレーニングと、同じモデルのパフォーマンスを 配信。

トレーニング セット

#fundamentals

モデルのトレーニングに使用されるデータセットのサブセット。

従来、データセット内の例は次の 3 つの異なるサブセットに分割されています。

• トレーニング セット
• 検証セット
• テストセット

理想的には、データセット内の各例は、上記のサブセットの 1 つにのみ属している必要があります。たとえば、1 つの例が 2 つのドメインに属する 検証セットの両方が含まれます。

軌道

#rl

強化学習では、次の一連の データを表すタプル エージェントの一連の状態遷移 ここで、各タプルは状態、アクション、 報酬、特定の状態遷移に対する次の状態。

転移学習

ある ML タスクから別の ML タスクに情報を転送する。たとえばマルチタスク学習では、1 つのモデルで複数のタスクを解き、 異なる出力ノードを持つディープモデルなど、さまざまな出力 できます。転移学習には知識の習得を伴う場合がある より複雑なタスクの解決策に変えるか、 データが多いタスクから データが少ないことを示します

ほとんどの ML システムは単一のタスクを解決します。転移学習は 1 つのプログラムで解決できる AI への大きな一歩 複数のタスクを実行できます。

Transformer

#language

Google が開発したニューラル ネットワーク アーキテクチャは、 セルフ アテンションのメカニズムによって、 入力エンべディングのシーケンスを、出力シーケンスの 畳み込みや、ML アルゴリズムに依存しない 再帰型ニューラル ネットワーク。Transformer は、自己注意レイヤのスタックと見なすことができます。

Transformer には次のいずれかを含めることができます。

• エンコーダ
• デコーダ
• エンコーダとデコーダの両方の

エンコーダは、エンベディングのシーケンスを同じ長さの新しいシーケンスに変換します。エンコーダには N 個の同一レイヤが含まれ、それぞれに 2 つのサブレイヤが含まれています。これら 2 つのサブレイヤは、入力レイヤの各位置に適用されます。 エンベディング シーケンスを作成し、シーケンスの各要素を新しい 説明します。1 つ目のエンコーダ サブレイヤは、エンコーダから出力された 生成します。2 番目のエンコーダ サブレイヤは、集約された情報を出力エンベディングに変換します。

デコーダは、入力エンベディングのシーケンスを出力エンベディングのシーケンスに変換します。長さが異なる場合があります。デコーダには、3 つのサブレイヤを持つ N 個の同一レイヤも含まれます。このうち 2 つはエンコーダのサブレイヤに似ています。3 つ目のデコーダ サブレイヤは、エンコーダの出力を受け取り、セルフアテンション メカニズムを適用してエンコーダから情報を収集します。

ブログ投稿 Transformer: A New Neural Network Architecture for Language 理解 Transformers の概要を示しています。

翻訳不変性

#image

画像分類問題では、画像内のオブジェクトの位置が変化しても画像を正しく分類できるアルゴリズムの能力。たとえば、犬がフレームの中央にいても、フレームの左端にいても、アルゴリズムは犬を識別できます。

サイズ不変性と回転不変性もご覧ください。

トライグラム

#seq

#language

N = 3 の N グラム。

真陰性（TN）

#fundamentals

モデルが正しい予測を ネガティブ クラス。たとえば、モデルは次の単語を 特定のメール メッセージが迷惑メールではない場合、そのメール メッセージが実際に 迷惑メールではない。

真陽性（TP）

#fundamentals

モデルが陽性クラスを正しく予測している例。たとえば、モデルは特定のメール メッセージがスパムであると推測し、そのメール メッセージが実際にスパムである場合です。

真陽性率（TPR）

#fundamentals

再現率と同義。具体的には、次のことが求められます。

$$\text{true positive rate} = \frac{\text{true positives}} {\text{true positives} + \text{false negatives}}$$

真陽性率は、ROC 曲線の Y 軸です。

U

（機密属性に）気づかない

#fairness

機密性の高い属性が トレーニング データに含まれません。機密属性はデータの他の属性と相関していることが多いため、機密属性を認識せずにトレーニングされたモデルでも、その属性に関して差別的な影響が生じたり、他の公平性制約に違反したりする可能性があります。

学習不足

#fundamentals

モデルがトレーニング データの複雑さを完全に把握していないため、予測能力が低いモデルを生成します。多くの問題 学習不足を引き起こす可能性があります。

• 間違った特徴のセットでトレーニングする。
• エポック数が少すぎたり、学習率が低すぎたりする。
• 正則化率が高すぎるトレーニング。
• ディープ ニューラル ネットワークで隠れ層が少なすぎる。

アンダーサンプリング

例を 同じクラスの過半数のクラス クラス不均衡なデータセット: よりバランスの取れたトレーニング セットを作成する。

たとえば、多数クラスと少数クラスの比率が 20:1 のデータセットについて考えてみましょう。このクラスを克服するため 不均衡がある場合は、少数派のすべてで構成されたトレーニング セットを 多数派のクラスのサンプルの 10 分の 1 にすぎません。 トレーニング セットのクラス比を 2:1 にします。アンダーサンプリングのおかげで トレーニング セットのバランスがとれた方がモデルの質が向上する可能性があります。または、このバランスの取れたトレーニング セットに、効果的なモデルをトレーニングするのに十分なサンプルが含まれていない場合があります。

一方、オーバーサンプリングは有効です。

単一方向

#language

対象のテキスト セクションの前にあるテキストのみを評価するシステム。一方、双方向システムは、対象のテキスト セクションの前と後のテキストの両方を評価します。詳しくは、双方向をご覧ください。

単方向言語モデル

#language

ターゲット トークンの後ではなく前に出現するトークンのみに基づいて確率を計算する言語モデル。双方向言語モデルとは対照的です。

ラベルなしの例

#fundamentals

特徴は含まれるが、ラベルは含まれない例。たとえば、次の表は、住宅査定モデルの 3 つのラベルなしの例を示しています。それぞれに 3 つの特徴がありますが、住宅価格はありません。

寝室の数	浴室数	家の築年数
3	2	15
2	1	72
4	2	34

教師あり ML では、 ラベル付きサンプルでトレーニングされ、 ラベルなしのサンプル。

半教師ありと 教師なし学習 トレーニング中にラベルなしのサンプルが使用されます。

ラベルなしのサンプルとラベル付きサンプルを対比します。

教師なし ML

#clustering

#fundamentals

データセット（通常はラベルなしのデータセット）内のパターンを見つけるようにモデルをトレーニングします。

教師なし ML の最も一般的な用途は、 クラスタデータ グループ化しますたとえば、教師なし ML アルゴリズムでは、音楽のさまざまなプロパティに基づいて曲をクラスタリングできます。生成されたクラスタは、他の ML アルゴリズム（音楽レコメンデーション サービスなど）への入力として使用できます。有用なラベルが不足している場合や存在しない場合は、クラスタリングが役立ちます。 たとえば、不正行為や不正行為防止などのドメインでは、クラスタを使用して人間がデータをより深く理解できます。

教師あり ML とは対照的です。

アイコンをクリックすると、追加のメモが表示されます。

教師なし機械学習のもう 1 つの例は、主成分分析（PCA）です。たとえば、数百万のショッピング カートの内容を含むデータセットに PCA を適用すると、レモンを含むショッピング カートには、胃薬も頻繁に含まれていることがわかります。

---

アップリフトモデリング

マーケティングで一般的に使用されるモデリング手法の 1 つで、 「因果効果」（いわゆる「増分効果」とも呼ばれる） 「処理」「個人」として識別されます次に 2 つの例を示します。

• 医師は、アップライト モデリングを使用して、患者（個人）の年齢と病歴に応じて、医療処置（治療）による死亡率の低下（因果効果）を予測できます。
• マーケティング担当者は増加率モデリングを使用して、 広告によって購入される確率（因果効果） 人（個人）に対する措置）を表します。

アップリフト モデリングは、分類や回帰とは異なり、一部のラベル（バイナリ トリートメントのラベルの半分など）が常に欠落しています。たとえば、患者は治療を受けることも受けないこともできます。 したがって、観察できるのは患者が治癒するか、 この 2 つのいずれか一方だけが回復することはありません 増加率モデルの主な利点は、予測を生成できること 式（これは反事実的条件）に当てはめて、それを使用して 見ていきましょう。

優先度を上げる

ダウンサンプリングした係数に等しい重みをダウンサンプリングクラスに適用します。

ユーザー マトリックス

#recsystems

レコメンデーション システムでは、行列分解によって生成されたエンベディング ベクトルで、ユーザーの好みに関する潜在的なシグナルを保持します。ユーザー マトリックスの各行には、関連する属性に関する情報が 一人のユーザーのさまざまな潜在シグナルの強さ たとえば、映画のレコメンデーション システムについて考えてみましょう。このシステムでは ユーザー マトリックスの潜在シグナルが各ユーザーの興味 / 関心を表している 特定のジャンルの特定のオーディエンスにリーチしたり、 複数の要素にまたがる複雑なやり取りを 効率的に行えます

ユーザー マトリックスには、潜在する特徴の列とユーザーごとの行があります。 つまり、ユーザー マトリックスの行数は、分解されるターゲット マトリックスの行数と同じです。たとえば、ある映画が 1,000,000 ユーザーを対象とするレコメンデーション システム、 1,000,000 行になります

V

検証

#fundamentals

モデルの品質の初期評価。検証では、検証セットと比較してモデルの予測の品質を確認します。

検証セットはトレーニング セットとは異なるため、検証は過学習を防ぐのに役立ちます。

検証セットに照らしてモデルを評価することは、 モデルに照らしてテストと評価を行います テストセットを 2 回目のテストとして設定します。

検証損失

#fundamentals

モデルの損失を表す指標 特定の期間における検証セット トレーニングの反復。

一般化曲線もご覧ください。

検証セット

#fundamentals

トレーニング済みのモデルに対して初期評価を行うデータセットのサブセット。通常 トレーニング済みモデルを検証セットと照らし合わせて、 評価してから、テストセットでモデルを評価します。

従来、データセット内の例は次の 3 つの異なるサブセットに分割されます。

• トレーニング セット
• 検証セット
• テストセット

理想的には、データセット内の各例は、上記のサブセットの 1 つにのみ属している必要があります。たとえば、1 つのサンプルがトレーニング セットと検証セットの両方に属している場合、

値の補完

欠損値を許容される代替値に置き換えるプロセス。 値が欠落している場合は、例全体を破棄するか、値の補完を使用して例を復元できます。

たとえば、1 時間ごとに記録される temperature 特徴を含むデータセットについて考えてみましょう。ただし、特定の時間帯の温度測定値は取得できませんでした。データセットの一部を次に示します。

タイムスタンプ	温度
1680561000	10
1680564600	12
1680568200	missing
1680571800	20
1680575400	21
1680579000	21

システムは、欠落している例を削除するか、欠落している温度を 12、16、18、20 のいずれかに補完します（補完アルゴリズムによって異なります）。

勾配消失問題

#seq

初期の隠れ層の勾配の傾向 いくつかのディープ ニューラル ネットワークを 驚くほど平坦（低）です。勾配が徐々に小さくなるほど ディープ ニューラル ネットワークにおいて、ノードの重みに小さな変化をつけることにより、 ほとんど、またはまったく学習していないからです。勾配消失の問題が発生したモデルは、トレーニングが困難または不可能になります。長短期記憶セルがこの問題に対処します。

勾配爆発問題と比較してください。

変数の重要度

#df

モデルに対する各特徴量の相対的な重要度を示すスコアセット。

たとえば、ディシジョン ツリーを考えてみます。 住宅の価格の見積もり。このディシジョン ツリーには 3 つの 特徴：サイズ、経年、スタイルです。ある一連の変数の重要度が 3 つの特徴量は {size=5.8, age=2.5, style=4.7} の場合、 ディシジョン ツリーと考えてください

重要度が変動するさまざまな指標から情報を得る モデルのさまざまな側面に関する ML エキスパート。

変分オートエンコーダ（VAE）

#language

差異を利用するオートエンコーダの一種 入力と出力の間の変換を行って、入力の変更されたバージョンを生成します。 変分オートエンコーダは、生成 AI に有用です。

VAE は、確率モデルのパラメータを推定する手法である変分推論に基づいています。

ベクトル

非常にオーバーロードされた用語で、数学や科学の分野によって意味が異なります。ML において、ベクトルには次の 2 つの特性があります。

• データ型: 通常、ML のベクトルは浮動小数点数を保持します。
• 要素数: ベクトルの長さまたは寸法です。

たとえば、8 つの浮動小数点数を保持する特徴ベクトルについて考えてみましょう。この特徴ベクトルの長さまたは次元は 8 です。 機械学習ベクトルは多くの場合、膨大な次元数を持ちます。

さまざまな種類の情報をベクトルとして表現できます。例:

• 地球上の任意の位置は、2 次元ベクトルとして表すことができます。1 つのディメンションは緯度で、もう 1 つのディメンションは経度です。
• 500 銘柄の現在の価格は、500 次元のベクトルで表すことができます。
• 有限数のクラスに対する確率分布を表現できる ベクトルとして表されます。たとえば、 マルチクラス分類システムを使用して、 は、3 つの出力色（赤、緑、黄色）のうち 1 つが ベクトル (0.3, 0.2, 0.5) は P[red]=0.3, P[green]=0.2, P[yellow]=0.5 を意味します。

ベクトルは連結できるため、さまざまなメディアを 1 つのベクトルとして表すことができます。一部のモデルは、多くのワンホット エンコーディングの連結に対して直接動作します。

TPU などの専用プロセッサは、次の処理を行うように最適化されています。 ベクトルに対する算術演算です。

ベクトルは、ランク 1 のテンソルです。

W

Wasserstein 損失

生成されたデータと実際のデータの分布間のEarth Mover's Distance に基づく、生成敵対ネットワークで一般的に使用される損失関数の 1 つ。

weight

#fundamentals

モデルが別の値に掛ける値。トレーニングは、モデルの理想的な重みを決定するプロセスです。 推論とは、学習した重みを使用して、 予測を行います。

アイコンをクリックすると、線形モデルの重みの例が表示されます。

2 つの特徴を持つ線形モデルを想像してみてください。 トレーニングによって次の重み（ bias）:

• バイアス b の値は 2.2 です。
• 1 つの特徴に関連付けられた重み w₁ は 1.5 です。
• 他の特徴に関連付けられた重み w₂ は 0.4 です。

次のような特徴値を持つ例について考えてみましょう。

• 1 つの特徴量 x₁ の値は 6 です。
• 他の特徴量 x₂ の値は 10 です。

この線形モデルは、次の式を使用して予測値 y' を生成します。

$$y' = b + w_1x_1 + w_2x_2$$

したがって、予測は次のようになります。

$$y' = 2.2 + (1.5)(6) + (0.4)(10) = 15.2$$

重みが 0 の場合、対応する特徴量は重みに 行います。たとえば、w₁ が 0 の場合、x₁ の値は 関係ありません。

---

重み付き交互最小二乗（WALS）

#recsystems

レコメンデーション システムの行列分解中に目標関数を最小化するアルゴリズム。これにより、不足している例を軽視できます。WALS は、重みベクトルを 元の行列と再構成間の 2 乗誤差を 行分解と列分解を交互に分解します。 これらの最適化は、最小二乗凸最適化によって解決できます。詳しくは、 レコメンデーション システム コース。

加重合計

#fundamentals

関連するすべての入力値の合計に、対応する重みを掛けた値。たとえば、関連する入力が次のように構成されているとします。

入力値	入力重み
2	-1.3
-1	0.6
3	0.4

したがって、加重合計は次のようになります。

weighted sum = (2)(-1.3) + (-1)(0.6) + (3)(0.4) = -2.0

加重合計は、入力引数です。 活性化関数。

ワイドモデル

通常、多くのスパース入力特徴を持つ線形モデル。このようなモデルは、出力ノードに直接接続する多数の入力を持つ特別なタイプのニューラル ネットワークであるため、「ワイド」と呼ばれます。ワイドモデル 多くの場合、ディープモデルよりもデバッグや検査が簡単です。 ワイドモデルは隠れ層を介して非線形性を表現できませんが、特徴の交差やバケット化などの変換を使用して、さまざまな方法で非線形性をモデル化できます。

ディープラーニング モデルとは対照的です。

幅

特定のレイヤ内のニューロンの数 ニューラル ネットワークのものです。

観客の知恵

#df

大きなグループの意見や推定を平均化するという考え方は 驚くほど良い結果が得られることが多いです。 たとえば、大きなジャーに詰められたジェリービーンズの数を推測するゲームについて考えてみましょう。個々の推測のほとんどは不正確ですが、すべての推測の平均は、実証的に、ジャーに入っている実際のゼリービーンズの数に驚くほど近いことがわかっています。

Ensemblesは、観客の知恵をソフトウェアで表現したものです。 たとえ個々のモデルの予測が非常に不正確な場合でも 多くのモデルの予測を平均すると 学習します。たとえば、個々のディシジョン ツリーでは予測が不十分な場合でも、ディシジョン フォレストでは非常に優れた予測が得られることがあります。

ワード エンベディング

#language

エンベディング ベクトル内の単語セット内の各単語を表す。つまり、各単語を 0.0～1.0 の浮動小数点値のベクトルとして表します。意味が類似する単語は、意味が異なる単語よりも類似した表現になります。たとえば、ニンジン、セロリ、きゅうりはすべて比較的類似した表現になりますが、飛行機、サングラス、歯磨き粉の表現とは大きく異なります。

X

XLA（Accelerated Linear Algebra）

GPU、CPU、ML アクセラレータ用のオープンソースの ML コンパイラ。

XLA コンパイラは、一般的な ML フレームワークである PyTorch TensorFlow、JAX、これらを連携させて最適化 さまざまなハードウェア プラットフォーム、 GPU、CPU、ML アクセラレータ。

Z

ゼロショット学習

機械学習トレーニングの一種。モデルが、トレーニングされていないタスクの予測を推論します。つまり、モデルにはタスク固有のトレーニング 例は提供されず、そのタスクの推論を行うよう求められます。

ゼロショット プロンプト

#language

#generativeAI

希望の例を提供しないプロンプト 大規模言語モデルを使用して対応します。例:

1 つのプロンプトの各部分	メモ
指定された国の公式通貨は何ですか？	LLM に回答させたい質問。
インド:	実際のクエリ。

大規模言語モデルは、次のいずれかのレスポンスを返します。

• ルピー
• INR
• ₹
• ルピー（インド）
• ルピー
• インドルピー

上記の選択肢はすべて正しいが、特定の形式が好ましい場合もある。

ゼロショット プロンプトと次の用語を比較します。

• ワンショット プロンプト
• 少数ショット プロンプト

Z スコアの正規化

#fundamentals

元の特徴量値を、その特徴量の平均からの標準偏差の数を表す浮動小数点値に置き換えるスケーリング手法。たとえば、平均が 800 で標準の特徴が 偏差は 100 です次の表に、Z スコアの正規化の仕組みを示します。 未加工の値を Z スコアにマッピングします。

Raw 値	Z スコア
800	0
950	+1.5
575	-2.25

ML モデルは Z スコアでトレーニングする 未加工の値ではなく特徴量の重みで表します