機械学習用語集: ML の基礎

このページでは、ML の基礎の用語集について説明します。用語集のすべての用語については、こちらをクリックしてください。

A

accuracy

#fundamentals

正しい分類の予測の数を予測の総数で割った値。つまり:

$$\text{Accuracy} = \frac{\text{correct predictions}} {\text{correct predictions + incorrect predictions }}$$

たとえば、40 の正しい予測と 10 の不正確な予測を行った場合のモデルの精度は、次のようになります。

$$\text{Accuracy} = \frac{\text{40}} {\text{40 + 10}} = \text{80%}$$

バイナリ分類は、さまざまなカテゴリの正しい予測と誤った予測の名前を指定しています。したがって、バイナリ分類の精度の式は次のようになります。

$$\text{Accuracy} = \frac{\text{TP} + \text{TN}} {\text{TP} + \text{TN} + \text{FP} + \text{FN}}$$

ここで

• TP は「真陽性」（正しい予測）の数です。
• TN は、真陰性（正しい予測）の数です。
• FP は偽陽性（誤った予測）の数です。
• FN は偽陰性（誤った予測）の数です。

精度と適合率、再現率を比較する。

このアイコンをクリックすると、その他のメモが表示されます。

状況によっては、指標は重要な指標ではあるものの、それ以外のケースでは精度が非常に誤解を招く場合があります。特に、精度は通常、 クラスの不均衡なデータセットを処理する分類モデルを評価するための低い指標です。

たとえば、ある亜熱帯都市で 1 世紀につき 25 日間しか雪が降らないとします。雪のない日（ネガティブ クラス）は雪の日（ポジティブ クラス）をはるかに上回るため、この都市の雪のデータセットはクラスの不均衡です。バイナリ分類モデルは、雪か毎日雪かと予測するか、毎日「雪なし」と予測するだけです。このモデルは高精度ですが、予測能力がありません。次の表は、1 世紀にわたる予測の結果をまとめたものです。

カテゴリ	数値
TP	0
TN	36500
FP	25
FN	0

このモデルの精度は次のようになります。

accuracy = (TP + TN) / (TP + TN + FP + FN)
accuracy = (0 + 36500) / (0 + 36500 + 25 + 0) = 0.9993 = 99.93%

99.93% の精度というのは大変な点に思えますが、このモデルには実際には予測力がありません。

適合率と再現率は通常、クラス不均衡なデータセットでトレーニングされたモデルを評価するうえでの精度よりも有用な指標です。

---

活性化関数

#fundamentals

ニューラル ネットワークが特徴とラベル間の非線形（複雑な）関係を学習できるようにする関数。

よく使用されるアクティベーション関数には次のようなものがあります。

• ReLU
• Sigmoid

活性化関数のプロットは一直線になることはありません。たとえば、ReLU アクティベーション関数のプロットは、次の 2 つの直線で構成されます。

sigmoid アクティベーション関数のプロットは次のようになります。

アイコンをクリックすると例が表示されます。

ニューラル ネットワークでは、アクティベーション関数は、ニューロンに対するすべての入力の加重合計を操作します。加重合計を計算する場合、ニューロンは関連する値と重みの積を加算します。たとえば、ニューロンへの関連入力が次のように構成されているとします。

入力値	入力ウェイト
2	-1.3
-1	0.6
3	0.4

加重合計は次のようになります。

weighted sum = (2)(-1.3) + (-1)(0.6) + (3)(0.4) = -2.0

このニューラル ネットワークのデザイナーがアクティベーション関数として sigmoid 関数を選択するとします。その場合、ニューロンは -2.0 のシグモイド（約 0.12）を計算します。したがって、ニューロンはニューラル ネットワークの次のレイヤに -2.0 ではなく 0.12 を渡します。次の図は、プロセスの関連部分を示しています。

---

人工知能

#fundamentals

高度なタスクを解決できる、人間以外のプログラムまたはモデル。たとえば、テキストを翻訳するプログラムやモデル、放射線画像の病気を識別するプログラムやモデルなど、いずれも人工知能が発揮されます。

正式には、機械学習は人工知能のサブフィールドです。しかし近年、一部の組織では人工知能と機械学習という言葉が同じ意味で使用されます。

AUC（ROC 曲線の下の面積）

#fundamentals

0.0 から 1.0 までの数値。バイナリ分類モデルで、ポジティブ クラスをネガティブ クラスから分離する能力を表します。AUC が 1.0 に近ければ近いほど、モデルはクラスを互いに分離する能力が向上します。

たとえば、次の図は、ポジティブ クラス（緑色の楕円）をネガティブ クラス（紫色の長方形）から完全に分離する分類モデルを示しています。この非現実的な完璧なモデルでは、AUC が 1.0 になっています。

逆に、次の図は、ランダムな結果を生成した分類モデルの結果を示しています。このモデルの AUC は 0.5 です。

はい。前のモデルの AUC は 0.0 ではなく 0.5 です。

ほとんどのモデルは両極端の中間に位置するものです。たとえば、次のモデルはポジティブをネガから多少分離しているため、AUC は 0.5 ～ 1.0 となっています。

AUC は、分類しきい値に設定した値を無視します。AUC では、可能なすべての分類しきい値が考慮されます。

アイコンをクリックして、AUC 曲線と ROC 曲線の関係を確認します。

AUC は、ROC 曲線における領域を表します。たとえば、陽性と陰性を完全に区別するモデルの ROC 曲線は次のようになります。

AUC は、上の図のグレーの領域です。この異常なケースでは、領域はグレーの領域の長さ（1.0）にグレーの領域の幅（1.0）を掛けただけです。したがって、1.0 と 1.0 の積は、正確に 1.0 の AUC を生成します。これは、可能な限り高い AUC スコアです。

逆に、クラスをまったく分離できない分類器の ROC 曲線は次のとおりです。このグレーの領域の面積は 0.5 です。

ROC の典型的な曲線は、おおよそ次のようになります。

通常、この曲線の下の面積を手動で計算するのは手間がかかります。そのため、プログラムは通常、ほとんどの AUC 値を計算します。

---

このアイコンをクリックすると、AUC の正式な定義が表示されます。

AUC は、無作為に選択した陽性のサンプルが陽性に分類される確率が、無作為に選択した陰性のサンプルが陽性に分類される確率よりも高い可能性を表します。

---

B

逆伝播

#fundamentals

ニューラル ネットワークで勾配降下法を実装するアルゴリズム。

ニューラル ネットワークのトレーニングには、次の 2 パスサイクルのイテレーションが伴います。

1. システムは、フォワードパス中にサンプルのバッチを処理して、予測を生成します。システムは、各予測を各ラベルの値と比較します。予測とラベル値の差は、この例の損失です。すべてのサンプルの損失を集計して、現在のバッチの合計損失を計算します。
2. バックワード パス（バックプロパゲーション）中は、すべての隠れ層内のすべてのニューロンの重みを調整することで損失を低減します。

多くの場合、ニューラル ネットワークには多数の隠しレイヤにまたがる多くのニューロンが存在します。各ニューロンは、さまざまな形で全体的な損失に寄与します。逆伝播は、特定のニューロンに適用される重みを増減するかどうかを決定します。

学習率は、各バックワード パスが各重みを増減する度合いを調節する乗数です。学習率が大きいと、小さい重みよりも各重みが増減します。

微積分用語では、バックプロパゲーションは微積分&#39 を実装しています。チェーンルールつまり、逆伝播では、各パラメータに関して、誤差の部分導関数を計算します。詳細については、こちらの機械学習クラッシュ コースのチュートリアルをご覧ください。

数年前、ML の実務担当者はバックプロパゲーションを実装するためのコードを記述する必要がありました。TensorFlow のような最新の ML API が逆伝播を実装しました。さて、

batch

#fundamentals

1 回のトレーニングイテレーションで使用される一連の例。バッチサイズにより、バッチ内のサンプル数が決まります。

バッチとエポックの関連付けについては、エポックをご覧ください。

バッチサイズ

#fundamentals

バッチ内の例の数。たとえば、バッチサイズが 100 の場合、モデルは反復処理ごとに 100 の例を処理します。

一般的なバッチサイズ戦略は次のとおりです。

• 確率的勾配降下法（SGD）。バッチサイズは 1 です。
• フルバッチ。バッチサイズは、トレーニング セット全体のサンプル数です。たとえば、トレーニング セットに 100 万の例が含まれている場合、バッチサイズは 100 万の例になります。フルバッチは通常、非効率な戦略です。
• mini-batch では通常、バッチサイズが 10 ～ 1,000 です。通常、ミニバッチは最も効率的な戦略です。

バイアス（倫理/公平性）

#fairness

#fundamentals

1. 特定のもの、人々、集団に対する固定観念、偏見、好意。こうしたバイアスは、データの収集と解釈、システムの設計、ユーザーによるシステム操作に影響を及ぼす可能性があります。このタイプのバイアスには、次のようなものがあります。

• 自動化バイアス
• 確認バイアス
• テスト担当者のバイアス
• グループのアトリビューション バイアス
• 暗黙のバイアス
• グループ内バイアス
• グループ間同種バイアス

2. サンプリングまたはレポート手順に起因するシステムエラー。このタイプのバイアスには、次のようなものがあります。

• カバレッジ バイアス
• 非応答バイアス
• 参加バイアス
• レポート バイアス
• サンプリング バイアス
• 選択バイアス

機械学習モデルのバイアスバイアスや予測バイアスと混同しないようにしてください。

バイアス（数学）またはバイアス項

#fundamentals

始点からのインターセプトまたはオフセット。バイアスは機械学習モデルのパラメータで、次のいずれかで表されます。

• b
• w₀

たとえば、バイアスは次の数式の b になります。

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

単純な 2 次元の線では、バイアスというのは y 切片のことです。 たとえば、次の図の線のバイアスは 2 です。

バイアスが存在するのは、一部のモデルが原点（0,0）から始まっていないためです。たとえば、遊園地の入場料は 2 ユーロ、顧客が宿泊する 1 時間ごとに 0.5 ユーロの追加費用がかかるとします。したがって、最小コストが 2 ユーロであるため、総コストをマッピングするモデルは 2 のバイアスとなります。

バイアスを倫理と公平性のバイアスや予測バイアスと混同しないでください。

バイナリ分類

#fundamentals

相互に排他的な 2 つのクラスのいずれかを予測する分類分類タスク。

• 陽性のクラス
• ネガティブ クラス

たとえば、次の 2 つの機械学習モデルは、それぞれバイナリ分類を行います。

• メール メッセージがスパム（ポジティブ クラス）かスパムではない（ネガティブ クラス）かを特定するモデル。
• 医療上の症状を評価するモデルです。特定の疾患（陽性のクラス）を持っているか、その病気がないか（陰性のクラス）を判断します。

マルチクラス分類とは対照的です。

ロジスティック回帰と分類しきい値もご覧ください。

バケット

#fundamentals

1 つの特徴を、通常は値の範囲に基づいて、バケットまたはビンと呼ばれる複数のバイナリ特徴に変換します。通常、チョップされた対象物は連続した特徴です。

たとえば、温度を単一の連続した浮動小数点の特徴として表す代わりに、次のように、温度の範囲を個別のバケットに分割できます。

• <= 10 °C は「コールド」バケットです。
• 摂氏 11 ～ 24 度は「温度」バケットです。
• >= 25 度（摂氏）が「ウォーム」バケットになります。

モデルは同じバケット内のすべての値を同じように扱います。たとえば、値 13 と 22 はどちらも温度バケットにあるため、モデルはこの 2 つの値を同じように扱います。

このアイコンをクリックすると、その他のメモが表示されます。

温度を連続した特徴として表す場合、モデルは温度を単一の特徴として扱います。温度を 3 つのバケットで表す場合、モデルは各バケットを個別の特徴として扱います。つまり、モデルは各バケットとラベルとの個別の関係を学習できます。たとえば、線形回帰モデルでは、バケットごとに別の重みを学習できます。

バケット数を増やすと、モデルが学習する必要があるリレーションシップが増加し、モデルがより複雑になります。たとえば、コールド バケット、温度バケット、ウォーム バケットは、本質的にはモデルをトレーニングするための 3 つの別個の特徴です。さらに 2 つのバケット（フリーズとホットなど）を追加する場合、モデルは 5 つの別個の特徴でトレーニングする必要があります。

作成するバケットの数や各バケットの範囲を確認するにはどうすればよいでしょうか。通常、回答を得るには、かなりの量のテストを実施する必要があります。

---

C

カテゴリデータ

#fundamentals

有効な値のセットを持つ特徴。たとえば、traffic-light-state という名前のカテゴリ特徴について考えてみましょう。特徴は次の 3 つの値のいずれかになります。

• red
• yellow
• green

traffic-light-state をカテゴリ特徴として表現することで、モデルはドライバの動作に対する red、green、yellow の異なる影響を学習できます。

カテゴリ特徴は、別々の特徴と呼ばれることもあります。

対照的な数値データ。

クラス

#fundamentals

ラベルが属するカテゴリ。 例:

• スパムを検出するバイナリ分類モデルでは、2 つのクラスがスパムではなく、スパムである可能性があります。
• 犬種を識別するマルチクラス分類モデルでは、クラスは poodle、beagle、pug などになります。

分類モデルはクラスを予測します。一方、回帰モデルは、クラスではなく数値を予測します。

分類モデル

#fundamentals

予測がクラスのモデル。たとえば、次のような分類モデルがあります。

• 入力文の言語を予測するモデル（フランス語、スペイン語 イタリア語？
• 樹木の種類を予測するモデル（Maple?オーク？バオバブ）
• 特定の病状のポジティブ クラスとネガティブ クラスを予測するモデル。

一方、回帰モデルでは、クラスではなく数値が予測されます。

一般的な分類モデルには次の 2 種類があります。

• バイナリ分類
• マルチクラス分類

分類しきい値

#fundamentals

2 項分類では、ロジスティック回帰モデルの未加工の出力を陽性のクラスまたは陰性のクラスの予測に変換する 0 ～ 1 の数値。分類しきい値は、モデルのトレーニングで選択された値ではなく、人間が選択した値です。

ロジスティック回帰モデルは 0 ～ 1 の生の値を出力します。次に、以下の手順を行います。

• この未加工値が分類しきい値よりも大きい場合、陽性のクラスが予測されます。
• この未加工値が分類しきい値を下回る場合、ネガティブ クラスと予測されます。

たとえば、分類しきい値が 0.8 であるとします。未加工の値が 0.9 の場合、モデルは陽性のクラスを予測します。未加工の値が 0.7 の場合、モデルはネガティブ クラスを予測します。

分類しきい値の選択は、偽陽性と偽陰性の数に大きく影響します。

このアイコンをクリックすると、その他のメモが表示されます。

モデルやデータセットが発展するにつれ、エンジニアは分類しきい値を変更することもあります。分類しきい値が変更されると、陽性のクラス予測がネガティブ クラスに変わる可能性があります（逆も同様）。

たとえば、バイナリ分類の疾病予測モデルについて考えてみましょう。システムが最初の 1 年間に実行されたとします。

• 特定の患者の RAW 値は 0.95 です。
• 分類のしきい値は 0.94 です。

したがって、システムは陽性のクラスを診断します。（患者の息切れ、 「おっと！体調が悪い)

1 年後、値は次のようになります。

• 同じ患者の生の値は 0.95 のままです。
• 分類のしきい値は 0.97 に変更されます。

そのため、患者は除外されたクラスとして再分類されます。 （&があります）体調が悪い。)同じ患者。多様な診断。

---

クラス不均衡なデータセット

#fundamentals

各クラスのラベルの総数が大きく異なる分類問題のデータセット。たとえば、次のように 2 つのラベルが分割されているバイナリ分類データセットを考えてみましょう。

• 1,000,000 個の除外ラベル
• ポジティブ ラベル 10 個

負ラベルと正ラベルの比率は 100,000 対 1 であるため、これはクラスの不均衡なデータセットです。

一方、次のデータセットはクラス不均衡ではありません。これは、ネガティブ ラベルとポジティブ ラベルの比が 1 に比較的近いためです。

• 517 個の除外ラベル
• 483 件の肯定的なラベル

マルチクラス データセットもクラスの不均衡になる可能性があります。たとえば、次のマルチクラス分類データセットは、1 つのラベルに他の 2 つよりもはるかに多くのサンプルがあるため、クラスの不均衡があります。

• クラス「green」のラベル 1,000,000 個
• 200 個のラベル（クラス「紫」）を含む
• クラス「orange」の 350 個のラベル

エントロピー、メジャー クラス、マイノリティ クラスもご覧ください。

クリッピング

#fundamentals

以下のいずれかまたは両方を行うことで外れ値を処理する手法。

• 最大しきい値より大きい特徴値を、そのしきい値まで減少させます。
• 最小しきい値を下回る特徴値をその最小しきい値まで増加させる。

たとえば、特定の特徴量の <0.5% が 40 ～ 60 の範囲外であるとします。この場合は、次のようにします。

• 60（最大しきい値）を超えるすべての値を正確に 60 にクリップします。
• 40（最小値）のすべての値を 40 未満に切り詰めます。

外れ値によりモデルが損傷し、トレーニング中に重みがオーバーフローすることがあります。一部の外れ値は、精度などの指標を劇的に台無しにする可能性があります。クリッピングは、損傷を制限する一般的な方法です。

グラデーション クリッピング: トレーニング中に指定された範囲内の勾配値を強制します。

混同行列

#fundamentals

分類モデルで行われた正しい予測と誤った予測の数を要約する NxN テーブル。たとえば、バイナリ分類モデルで次の混同行列について考えてみます。

	腫瘍（予測）	非チューナー（予測済み）
トゥマー（グラウンド トゥルース）	18（TP）	1（FP）
非チューナー（グラウンド トゥルース）	6（FN）	452（TN）

上記の混同行列には、次のものがあります。

• グラウンド トゥルースが Tumor であった 19 件の予測のうち、モデルは 18 を正しく分類し、誤って 1 に分類しました。
• 正解が非チューナーである 458 件の予測のうち、モデルは 452 を正しく分類し、誤って 6 に分類しました。

マルチクラス分類問題の混同行列は、誤りのパターンを特定するのに役立ちます。たとえば、3 つの異なるクラスの虹彩タイプ（Virginica、Versicolor、Setosa）を分類する 3 クラスのマルチクラス分類モデルで、次の混同行列について考えてみます。正解がバージニカであった場合、混同行列は、モデルが Setosa より Versicolor を誤って予測する可能性がはるかに高いことを示しています。

	瀬戸（予測）	Versicolor（予測）	バージニア州（予測）
瀬戸（グラウンド トゥルース）	88	12	0
Versicolor（グラウンド トゥルース）	6	141	7
バージニア（グラウンド トゥルース）	2	27	109

別の例として、混同行列からは、手書きの数字を認識するようにトレーニングされたモデルが、4 ではなく 9 を誤って予測する、または 7 ではなく 1 を誤って予測する傾向があることがわかります。

混同行列には、適合率や再現率など、さまざまなパフォーマンス指標を計算するのに十分な情報が含まれます。

継続的な機能

#fundamentals

温度や重みなど、無限値の範囲を持つ浮動小数点特徴。

個別の機能と対照的です。

収束

#fundamentals

損失値が反復処理のたびに変化しない状態か、まったく変化しなかったときに到達した状態。たとえば、次の損失曲線は、約 700 回のイテレーションでの収束を示しています。

追加のトレーニングでモデルが改善されない場合、モデルは収束します。

ディープ ラーニングでは、多くのイテレーションで損失値が一定またはほぼ維持されることがあるため、最終的には降順になります。長い一定の損失値があると、一時的に収束が誤ったものになることがあります。

早期停止もご覧ください。

D

DataFrame

#fundamentals

メモリ内でデータセットを表すための一般的な pandas データ型。

DataFrame は表やスプレッドシートのようなものです。DataFrame の各列には名前（ヘッダー）があり、各行は一意の番号で識別されます。

DataFrame の各列は 2D 配列のように構成されていますが、各列に独自のデータ型を割り当てることができます。

公式の pandas.DataFrame リファレンス ページもご覧ください。

データセットまたはデータセット

#fundamentals

元データのコレクション。通常は（ただしそれだけではありません）次のいずれかの形式に編成されています。

• スプレッドシート
• CSV（カンマ区切り）形式のファイル

ディープモデル

#fundamentals

複数の隠れ層を含むニューラル ネットワーク。

ディープモデルは、ディープ ニューラル ネットワークとも呼ばれます。

これをワイドモデルと対照します。

高密度の機能

#fundamentals

ほとんどの値またはすべての値がゼロではない特徴。通常は、浮動小数点値の Tensor です。たとえば、次の 10 要素のテンソルは密集しています。これは、9 個の値がゼロでないためです。

8

3

7

5

2

4

0

4

9

6

対して、スパースな特徴です。

depth

#fundamentals

ニューラル ネットワークにおける以下の要素の合計です。

• 非表示レイヤの数
• 出力レイヤの数（通常は 1）
• 埋め込み層の数

たとえば、5 つの隠れ層と 1 つの出力層を持つニューラル ネットワークの深度は 6 です。

入力レイヤは深度に影響しないことに注意してください。

個別の機能

#fundamentals

有限の値のセットを持つ特徴。たとえば、値が動物、野菜、ミネラルのいずれかである特徴は、個別の（またはカテゴリ的な）特徴です。

継続的な機能との比較。

動的

#fundamentals

頻繁に、または継続的に行われる処理。 「動的」と「オンライン」という用語は、機械学習における類義語です。機械学習における動的とオンラインの一般的な用途は次のとおりです。

• 動的モデル（またはオンライン モデル）は、頻繁にまたは継続的に再トレーニングされるモデルです。
• 動的トレーニング（またはオンライン トレーニング）は、頻繁にまたは継続的にトレーニングするプロセスです。
• 動的推論（またはオンライン推論）は、オンデマンドで予測を生成するプロセスです。

動的モデル

#fundamentals

頻繁に（場合によっては継続的に）再トレーニングされるモデル。動的モデルは、「生涯学習者」であり、進化するデータに常に適応します。動的モデルは、オンライン モデルとも呼ばれます。

対照的に、静的モデルを使用します。

E

早期停止

#fundamentals

トレーニングの減少が減少する前にトレーニングを終了させる正則化方法。早期停止では、検証データセットの損失が増加し始めると、つまり一般化パフォーマンスが低下した場合、意図的にモデルのトレーニングを停止します。

このアイコンをクリックすると、その他のメモが表示されます。

早期停止は直感的でないように思えるかもしれません。結局のところ、損失が減少している間にトレーニングを停止するようにモデルに指示することは、デザートが完全に焼き上がる前にシェフに調理を止めるように思えるかもしれません。ただし、長時間にわたってモデルをトレーニングすると、過学習につながる可能性があります。つまり、モデルのトレーニング期間が長すぎると、モデルがトレーニング データに近似してしまい、新しいサンプルに対して適切な予測ができなくなる可能性があります。

---

埋め込みレイヤ

#language

#fundamentals

特別な隠れ層。低次元のエンベディング ベクトルを徐々に学習するために高次元のカテゴリ特徴のトレーニングを行う。埋め込み層を使用すると、ニューラル ネットワークを高次元のカテゴリ特徴のみで実行するよりもはるかに効率的にトレーニングできます。

たとえば、Earth は現在 73,000 種の樹木をサポートしています。ツリー型がモデルの特徴であると仮定すると、モデルの入力レイヤには 73,000 のワンホット ベクトル要素が含まれます。たとえば、baobab は次のようになります。

73,000 要素の配列は非常に長いです。エンベディング レイヤをモデルに追加しない場合、72,999 のゼロを乗算するため、トレーニングにはかなりの時間がかかります。たとえば、エンベディング レイヤが 12 のディメンションで構成される場合があります。その結果、エンベディング レイヤは、ツリー種ごとに新しいエンベディング ベクトルを徐々に学習します。

状況によっては、埋め込みレイヤの代わりに、ハッシュを行うのが合理的です。

エポック

#fundamentals

各サンプルが 1 回処理されるように、トレーニング セット全体を完全にトレーニングする。

エポックは、N/バッチサイズのトレーニング 反復処理を表します。ここで、N はサンプルの総数です。

たとえば、次のような場合を考えてみましょう。

• このデータセットは 1,000 件のサンプルで構成されています。
• バッチサイズは 50 のサンプルです。

そのため、1 回のエポックには 20 回のイテレーションが必要です。

1 epoch = (N/batch size) = (1,000 / 50) = 20 iterations

例

#fundamentals

機能の 1 行の値と、場合によってはラベル。教師あり学習の例は、次の 2 つの一般的なカテゴリに分類されます。

• ラベル付けされた例は、1 つ以上の特徴とラベルで構成されます。ラベル付きサンプルはトレーニング中に使用されます。
• ラベルのない例は、1 つ以上の特徴で構成されますが、ラベルはありません。ラベルなしの例は、推論中に使用されます。

たとえば、学生のテストスコアに対する天候の影響を判断するためのモデルをトレーニングしているとします。ラベル付けされた例を 3 つ挙げます。

機能			ラベル
温度	湿度	圧力	テストスコア
15	47	998	良好
19	34	1020	非常に良い
18	92	1012	悪い

ラベルのない例を 3 つ挙げます。

温度	湿度	圧力
12	62	1014
21	47	1017
19	41	1021

データセットの行は通常、例の未加工のソースです。つまり、例は通常、データセット内の列のサブセットで構成されます。さらに、例の特徴には、特徴クロスなどの合成特徴も含めることができます。

F

偽陰性（FN）

#fundamentals

モデルがネガティブ クラスを誤って予測した例。たとえば、モデルは特定のメール メッセージが迷惑メール（ネガティブ クラス）でないと予測しますが、そのメール メッセージは実際にはスパムです。

偽陽性（FP）

#fundamentals

モデルが陽性のクラスを誤って予測した例。たとえば、モデルは特定のメール メッセージが迷惑メール（ポジティブ クラス）であると予測しますが、そのメールは実際には迷惑メールではありません。

偽陽性率（FPR）

#fundamentals

モデルで陽性クラスが誤って予測した実際の陰性サンプルの割合。次の数式では、偽陽性率を計算します。

$$\text{false positive rate} = \frac{\text{false positives}}{\text{false positives} + \text{true negatives}}$$

偽陽性率は ROC 曲線の X 軸です。

特徴；特徴表現

#fundamentals

機械学習モデルへの入力変数。例は、1 つ以上の特徴で構成されています。たとえば、学生のテストスコアに対する天候の影響を判断するためのモデルをトレーニングしているとします。次の表に 3 つの例を示します。各例には 3 つの特徴と 1 つのラベルが含まれています。

機能			ラベル
温度	湿度	圧力	テストスコア
15	47	998	92
19	34	1020	84
18	92	1012	87

対してラベルです。

特徴クロス

#fundamentals

「横断的」特徴によって形成される合成特徴。カテゴリまたはバケットの特徴。

たとえば、次の 4 つのバケットの 1 つの温度を表す「気分予測」モデルについて考えてみましょう。

• freezing
• chilly
• temperate
• warm

風速は、次の 3 つのバケットのいずれかを表します。

• still
• light
• windy

特徴クロスなしでは、線形モデルは前述の 7 つの異なるバケットのそれぞれについて独立してトレーニングされます。したがって、このモデルは、たとえば、windy でのトレーニングとは独立して、freezing でトレーニングを行います。

あるいは、温度と風速の特徴クロスを作成してもかまいません。この合成特徴には、次の 12 個の値が考えられます。

• freezing-still
• freezing-light
• freezing-windy
• chilly-still
• chilly-light
• chilly-windy
• temperate-still
• temperate-light
• temperate-windy
• warm-still
• warm-light
• warm-windy

特徴クロスにより、モデルは freezing-windy 日から freezing-still 日までの気分の違いを学習できます。

2 つの異なる特徴から合成された特徴を作成し、それぞれに多数の異なるバケットがある場合、生成される特徴クロスには膨大な数の組み合わせが考えられます。たとえば、1 つの特徴に 1,000 個のバケットが含まれ、もう 1 つの特徴には 2,000 個のバケットがある場合、結果として得られる特徴クロスには 2,000,000 個のバケットが含まれます。

正式には、クロスはデカルト積です。

特徴クロスは主に線形モデルで使用されますが、ニューラル ネットワークではほとんど使用されません。

特徴エンジニアリング

#fundamentals

TensorFlow

次の手順で行うプロセス:

1. モデルのトレーニングにどの特徴が役立つかを判断する。
2. データセットから元データを特徴の効率的なバージョンに変換する。

たとえば、temperature が有用であると判断したとします。次に、バケット化を試して、さまざまな temperature 範囲からモデルが学習する内容を最適化できます。

特徴量エンジニアリングは、特徴抽出とも呼ばれます。

このアイコンをクリックすると、TensorFlow に関するその他の注意事項が表示されます。

TensorFlow では、生のログファイル エントリを tf.Example プロトコル バッファに変換することがよくあります。tf.Transform もご覧ください。

---

機能セット

#fundamentals

機械学習モデルがトレーニングする特徴のグループ。たとえば、郵便番号、プロパティ サイズ、プロパティ条件で、住宅価格を予測するモデル用のシンプルな特徴セットを構成することがあります。

特徴ベクトル

#fundamentals

例を構成する feature 値の配列。特徴ベクトルは、トレーニング中および推論中にで入力します。たとえば、2 つの別個の特徴を持つモデルの特徴ベクトルは次のようになります。

[0.92, 0.56]

それぞれの例で、特徴ベクトルに対して異なる値が提供されるため、次の例の特徴ベクトルは次のようになります。

[0.73, 0.49]

特徴量エンジニアリングでは、特徴ベクトル内の特徴をどのように表現するかが決まります。たとえば、5 つの値を持つバイナリのカテゴリ特徴は、ワンホット エンコードで表すことができます。この場合、特定の例の特徴ベクトルの部分は、次のように 3 番目の位置に 4 つのゼロと 1 つの 1.0 で構成されます。

[0.0, 0.0, 1.0, 0.0, 0.0]

別の例として、モデルが 3 つの特徴で構成されているとします。

• ワンホット エンコードで表される 5 つの有効な値を持つバイナリのカテゴリ特徴。例: [0.0, 1.0, 0.0, 0.0, 0.0]
• ワンホット エンコーディングで表される 3 つの可能な値を持つ、別のバイナリのカテゴリ特徴。例: [0.0, 0.0, 1.0]
• 浮動小数点特徴（8.3 など）。

この場合、各例の特徴ベクトルは 9 個の値で表されます。上記のリストの値の例を考えると、特徴ベクトルは次のようになります。

0.0
1.0
0.0
0.0
0.0
0.0
0.0
1.0
8.3

フィードバック ループ

#fundamentals

機械学習で、あるモデルの予測が同じモデルまたは別のモデルのトレーニング データに影響を与える状況。たとえば、映画をおすすめするモデルは、ユーザーに表示される映画に影響を与え、その後の映画推奨モデルに影響を与えます。

G

一般化

#fundamentals

モデル: 以前は見えなかった新しいデータに対して正しい予測を行うことができます。一般化できるモデルは、過学習モデルとは逆です。

このアイコンをクリックすると、その他のメモが表示されます。

トレーニング セットの例でモデルをトレーニングします。その結果、モデルはトレーニング セットのデータの特徴を学習します。一般化では、モデルが、トレーニング セットに含まれないサンプルに対して良い予測を行うことができるかどうかを基本的に確認します。

一般化を促進するために、正則化により、モデルはトレーニング セットのデータの特性まで正確にトレーニングできません。

---

一般化曲線

#fundamentals

トレーニングの損失と検証の損失の両方のプロットがイテレーションの回数に基づくプロット。

一般化曲線は、過学習の可能性を検出するのに役立ちます。たとえば、次の一般化曲線は、最終的に検証損失がトレーニングの損失よりも大幅に高くなるため、過学習を示唆しています。

勾配降下法

#fundamentals

損失を最小限に抑える数学的な手法。勾配降下法では、重みとバイアスを繰り返し調整して、損失を最小限に抑える最適な組み合わせを徐々に探し出します。

勾配降下法は、機械学習よりも古く、はるかに古くなっています。

グラウンド トゥルース

#fundamentals

真実。

実際の処理

たとえば、バイナリ分類モデルで、大学の 1 年目の学生が 6 年以内に卒業するかどうかを予測するモデルについて考えてみます。このモデルのグラウンド トゥルースは、当該学生が実際に 6 年以内に卒業したかどうかです。

このアイコンをクリックすると、その他のメモが表示されます。

正解に対してモデルの品質を評価します。ただし、グラウンド トゥルースは必ずしも完全に正確とは限りません。たとえば、グラウンド トゥルースの潜在的な欠陥の例を以下に示します。

• 修了試験の例では、各学生の卒業記録が常に正しいことを確認するのでしょうか。大学の運営に不備はないでしょうか。
• ラベルが計測器（気圧計など）で測定される浮動小数点値であるとします。各機器が同一のキャリブレーションであるか、同じ測定値が必ず測定されたことを確認するには、どうすればよいでしょうか。
• ラベルが人間の意見に関する問題である場合、人間の評価者がそれぞれ同じようにイベントを評価するにはどうすればよいでしょうか。専門家による審査担当者は、整合性を高めるために介入することがあります。

---

H

隠しレイヤ

#fundamentals

入力レイヤ（特徴）と出力レイヤ（予測）との間のニューラル ネットワーク内のレイヤ。隠れ層はそれぞれ、1 つ以上のニューロンで構成されます。たとえば、次のニューラル ネットワークには 2 つの隠しレイヤがあり、1 つ目は 3 つのニューロンがあり、2 つ目は 2 つのニューロンで構成されています。

ディープ ニューラル ネットワークには、複数の隠れ層が含まれます。たとえば、前の図はディープ ニューラル ネットワークであり、モデルには 2 つの隠れ層が含まれているためです。

ハイパーパラメータ

#fundamentals

モデルの継続的なトレーニング中に、ユーザーまたはハイパーパラメータ調整サービスが調整する変数。たとえば、学習率はハイパーパラメータです。1 つのトレーニング セッションの前に、学習率を 0.01 に設定できます。0.01 が高すぎると判断した場合は、次のトレーニング セッションで学習率を 0.003 に設定できます。

一方、パラメータは、モデルがトレーニング中に学習するさまざまな重みとバイアスです。

I

独立して同一に分配（i.d.）

#fundamentals

変化しない分布から抽出されたデータ。描画される各値は、以前に描画された値に依存しません。i.i.d. は、機械学習の理想的なガスです。数学的には便利な構造ですが、現実にはほとんど見られません。たとえば、あるウェブページを訪れるユーザーの分布は、一定の期間にわたって同様に同様です。つまり、その短時間に配布が変化することはありません。また、ある訪問者が他の訪問とは無関係に訪れるのが一般的です。ただし、この期間を長くすると、ウェブページの訪問者に季節的な差異が見られることがあります。

非ステーション性もご覧ください。

推論

#fundamentals

機械学習で、トレーニング済みモデルをラベルのないサンプルに適用して予測を行うプロセス。

統計的な意味合いは多少異なります。詳細については、統計的推論に関する Wikipedia の記事をご覧ください。

入力レイヤ

#fundamentals

特徴ベクトルを保持するニューラル ネットワークのレイヤ。つまり、入力レイヤでは、トレーニングや推論の例を確認できます。たとえば、次のニューラル ネットワークの入力レイヤは 2 つの特徴で構成されています。

解釈可能性

#fundamentals

ML モデルについて、理解しやすい言葉で説明または説明する能力。

たとえば、ほとんどの線形回帰モデルは非常に解釈可能です。（単純に、各特徴のトレーニング済みの重みを調べる必要があります）。デシジョン フォレストは解釈力も高いです。ただし、モデルによっては、解釈のために高度な可視化が必要になります。

反復処理

#fundamentals

モデル トレーニングにおける、モデルの重みとバイアスの 1 回の更新。バッチサイズにより、モデルが 1 回の反復処理で処理するサンプル数が決まります。たとえば、バッチサイズが 20 の場合、モデルはパラメータを調整する前に 20 の例を処理します。

ニューラル ネットワークをトレーニングする場合、イテレーションは次の 2 つのパスで構成されます。

1. 単一のバッチでの損失を評価するフォワード パス。
2. 損失と学習率に基づいてモデルのパラメータを調整するバックワード パス（バックプロパゲーション）

L

L₀ 正則化

#fundamentals

モデル内のゼロ以外の重みの合計数にペナルティを与える正則化のタイプ。たとえば、11 個の非ゼロの重みを持つモデルは、10 個の重みがゼロの類似モデルよりもペナルティが課されます。

L₀ 正則化が使用されることはほとんどありません。

このアイコンをクリックすると、その他のメモが表示されます。

L₁ 正則化と L₂ 正則化は、L₀ 正則化よりもはるかに頻繁に使用されます。L₁ と L₂ の正則化は凸関数ですが、L₀ の正則化は凸関数ではないためです。

---

L₁ の損失

#fundamentals

損失関数。実際のラベル値とモデルが予測した値の差の絶対値を計算します。たとえば、5 つの例のバッチの L₁ 損失の計算は次のとおりです。

サンプルの実際の値	モデルの予測値	デルタの絶対値
7	6	1
5	4	1
8	11	3
4	6	2
9	8	1
		8 = L1 の損失

L₁ 損失は L₂ 損失よりも外れ値に対する感度が低くなります。

平均絶対誤差は、サンプルあたりの L₁ の平均損失です。

このアイコンをクリックすると、正式な数学式が表示されます。

$$ L_1 loss = \sum_{i=0}^n | y_i - \hat{y}_i |$$

ここで

• $n$ はサンプルの数です。
• $y$ はラベルの実際の値です。
• $\hat{y}$ は、モデルが $y$ と予測する値です。

---

L 正則化

#fundamentals

重みの絶対値の合計に比例して重みにペナルティを課す正則化のタイプ。L₁ 正則化は、無関係または関連性があまりない特徴の重みを正確に 0 に引き上げるのに役立ちます。重み 0 の特徴は、実質的にモデルから削除されます。

L₂ 正則化とは対照的です。

L₂ の損失

#fundamentals

損失関数。実際のラベル値とモデルが予測した値の差の 2 乗を計算する。たとえば、5 つの例のバッチの L₂ 損失の計算は次のとおりです。

サンプルの実際の値	モデルの予測値	デルタ 2 乗
7	6	1
5	4	1
8	11	9
4	6	4
9	8	1
		16 = 損失 L 2

二乗により、L₂ 損失は外れ値の影響を増大させます。つまり、L₂ の損失は、L₁ の損失よりも悪い予測に強く反応します。たとえば、前のバッチの L₁ 損失は、16 ではなく 8 になります。1 つの外れ値が 16 のうちの 9 を占めることに注意してください。

回帰モデルでは通常、損失関数として L₂ の損失を使用します。

平均二乗誤差は、サンプルあたりの L₂ の平均損失です。2 乗損失は、L₂ 損失の別名です。

このアイコンをクリックすると、正式な数学式が表示されます。

$$ L_2 loss = \sum_{i=0}^n {(y_i - \hat{y}_i)}^2$$

ここで

• $n$ はサンプルの数です。
• $y$ はラベルの実際の値です。
• $\hat{y}$ は、モデルが $y$ と予測する値です。

---

L₂ 正則化

#fundamentals

重みの二乗の合計に比例して重みをペナルティ化する、正則化の一種。L₂ 正則化は、外れ値の重み（正の値が大きいまたは小さい値）を 0 に近づけても、0 に近づかないようにしてください。値が 0 に非常に近い特徴量はモデルに残りますが、モデルの予測に大きな影響を与えません。

L₂ 正則化は、線形モデルの一般化を常に改善します。

L₁ 正則化とは対照的です。

ラベル

#fundamentals

教師あり機械学習において、例の「回答」または「結果」の一部。

各ラベル付き例は、1 つ以上の特徴とラベルで構成されています。たとえば、スパム検出のデータセットの場合、ラベルは「スパム」か「スパムでない」のいずれかになります。降雨データセットでは、ラベルに特定の期間に降水した雨量が示されます。

ラベル付き例

#fundamentals

1 つ以上の特徴とラベルを含む例。たとえば、次の表には、家評価モデルの 3 つのラベル付けされた例が示されています。それぞれに 3 つの特徴と 1 つのラベルがあります。

寝室の数	浴室の数	住宅の年数	住宅価格（ラベル）
3	2	15	345,000 ドル
2	1	72	179,000 ドル
4	2	34	392,000 ドル

教師ありの機械学習では、モデルはラベル付きサンプルでトレーニングを行い、ラベルなしの例で予測を行います。

ラベルのないサンプルのコントラスト付きラベルの例。

LAMBDA 関数

#fundamentals

正則化の同義語。

ラムダは過負荷な用語です。ここでは、正則化内の用語の定義に焦点を当てます。

レイヤ

#fundamentals

ニューラル ネットワーク内のニューロンのセット。よく使用される 3 種類のレイヤは次のとおりです。

• 入力レイヤ: すべての特徴の値を提供します。
• 1 つ以上の非表示のレイヤ。特徴とラベルの間の非線形の関係を検出します。
• 予測を提供する出力レイヤ。

たとえば、次の図は、1 つの入力レイヤ、2 つの非表示レイヤ、1 つの出力レイヤを持つニューラル ネットワークを示しています。

TensorFlow では、レイヤは Python 関数でもあり、テンソルと構成オプションを入力として受け取り、他のテンソルを出力として生成します。

学習率

#fundamentals

勾配降下法アルゴリズムが各反復処理で重みとバイアスをどの程度強く調整するかを示す浮動小数点数。たとえば、学習率 0.3 は、重み率とバイアスを 0.1 の学習率の 3 倍の強度で調整します。

学習率は重要なハイパーパラメータです。学習率を低く設定しすぎると、トレーニングに時間がかかりすぎる。学習率を高く設定しすぎると、多くの場合、勾配降下法で収束に達することが難しくなります。

このアイコンをクリックすると、より詳細な数学の説明が表示されます。

それぞれのイテレーションの中で、勾配降下法アルゴリズムは、学習率に勾配を掛けます。得られた商品を勾配ステップと呼びます。

---

線形モデル

#fundamentals

モデル: 1 つの特徴量ごとに 1 つの重みを割り当てて予測を行います。（線形モデルにはバイアスも組み込まれます）。一方、ディープモデルにおける特徴と予測の関係は、通常は非線形です。

線形モデルは、一般的にトレーニングが簡単で、ディープモデルよりも解釈可能です。ただし、ディープモデルは、機能間の複雑な関係を学習します。

線形回帰とロジスティック回帰の 2 種類の線形モデルがあります。

アイコンをクリックして、数学を表示します。

線形モデルは次の数式に従います。

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

ここで

• y' は未加工の予測です。（特定の種類の線形モデルでは、この未加工の予測がさらに変更されます。例については、ロジスティック回帰をご覧ください）。
• b はバイアスです。
• w は重みです。w1 は最初の特徴の重みで、w2 は 2 番目の特徴の重みです。
• x は特徴であるため、x1 は最初の特徴の値、x2 は 2 つ目の特徴の値ということになります。

たとえば、3 つの特徴の線形モデルが、次のバイアスと重みを学習したとします。

• b = 7
• ₁ = -2.5
• ₂ = -1.2
• w₃ = 1.4

したがって、3 つの特徴（x₁、x₂、x₃）がある場合、線形モデルは以下の式を使用して各予測を生成します。

y' = 7 + (-2.5)(x1) + (-1.2)(x2) + (1.4)(x3)

特定の例に次の値が含まれているとします。

• × ₁ = 4
• 2 _{= -10}
• × ₃ = 5

これらの値を数式に挿入すると、次の例のような予測が得られます。

y' = 7 + (-2.5)(4) + (-1.2)(-10) + (1.4)(5)
y' = 16

線形モデルには、線形方程式のみを使用して予測を行うモデルだけでなく、線形方程式を予測に使用する数式の 1 つの要素として使用する広範なモデルのセットが含まれます。たとえば、ロジスティック回帰では、未加工の予測値（y'）が後処理されて、0 ～ 1 の最終予測値のみが生成されます。

---

リニア

#fundamentals

加算と乗算のみで表すことができる 2 つ以上の変数間の関係。

直線関係のプロットは線です。

対照的なノンリニア。

線形回帰

#fundamentals

次のタイプに該当する機械学習モデル:

• このモデルは線形モデルです。
• 予測は浮動小数点値です。（これは線形回帰の回帰部分です）。

対比回帰（ロジスティック回帰） また、分類によるコントラスト回帰。

ロジスティック回帰

#fundamentals

確率を予測する回帰モデルの一種。ロジスティック回帰モデルには次の特徴があります。

• ラベルはカテゴリです。ロジスティック回帰という用語は通常、2 項ロジスティック回帰を指します。つまり、2 つの取り得る値を持つラベルの確率を計算するモデルです。あまり一般的でないバリアントである多項ロジスティック回帰では、取り得る値が 3 つ以上存在するラベルの確率を計算します。
• トレーニング中の損失関数はログ損失です。（3 つ以上のログ損失単位を、2 つ以上の値が設定可能なラベルに対して並列に配置できます）。
• このモデルは線形アーキテクチャであり、ディープ ニューラル ネットワークではありません。ただし、この定義の残りの部分は、カテゴリラベルの確率を予測するディープモデルにも適用されます。

たとえば、ロジスティック回帰モデルについて考えてみましょう。このモデルは、入力メールが迷惑メールである可能性も計算する確率も計算します。推論中に、モデルが 0.72 を予測するとします。そのため、モデルは以下を見積もります。

• 72% の確率で迷惑メールに分類される。
• 28% の確率で迷惑メールではない。

ロジスティック回帰モデルでは、次の 2 段階のアーキテクチャが使用されます。

1. このモデルは、入力特徴の線形関数を適用して、未加工の予測（y'）を生成します。
2. モデルは、生の予測を sigmoid 関数への入力として使用します。この関数は、未加工の予測を 0 ～ 1 の範囲の値に変換します。

他の回帰モデルと同様、ロジスティック回帰モデルでは数値を予測します。ただし、この数値は通常、次のようにバイナリ分類モデルの一部になります。

• 予測数が分類しきい値よりも大きい場合、バイナリ分類モデルは陽性のクラスを予測します。
• 予測数が分類しきい値を下回る場合、バイナリ分類モデルは負のクラスを予測します。

ログ損失

#fundamentals

二項ロジスティック回帰で使用される損失関数。

アイコンをクリックして、数学を表示します。

次の数式はログ損失を計算します。

$$\text{Log Loss} = \sum_{(x,y)\in D} -y\log(y') - (1 - y)\log(1 - y')$$

ここで

• \((x,y)\in D\) は、ペアとなるラベル付きサンプルを多数含むデータセットです。 \((x,y)\)
• \(y\) は、ラベル付けされた例のラベルです。これはロジスティック回帰であるため、 \(y\) のすべての値は 0 または 1 である必要があります。
• \(y'\) は予測値（0 ～ 1 の範囲内、この値は除外）で、 \(x\)の特徴セットを前提としています。

---

対数オッズ

#fundamentals

任意のイベントのオッズの対数。

アイコンをクリックして、数学を表示します。

イベントが 2 値確率である場合、オッズは、成功確率（p）と失敗確率（1-p）の比率を表します。たとえば、特定のイベントの成功率が 90%、失敗の確率が 10% であるとします。この場合、オッズは次のように計算されます。

$$ {\text{odds}} = \frac{\text{p}} {\text{(1-p)}} = \frac{.9} {.1} = {\text{9}} $$

対数（オッズ）は、単にオッズの対数です。慣例では、「対数」は自然対数を指しますが、対数は実際には 1 より大きい任意の底にできます。規則に従い、この例の対数確率は次のようになります。

$$ {\text{log-odds}} = ln(9) ~= 2.2 $$

log-odds 関数は、sigmoid 関数の逆です。

---

損失

#fundamentals

教師ありモデルのトレーニングの間、モデルの予測からラベルまでの距離を測定します。

損失は損失を計算します。

損失曲線

#fundamentals

トレーニング回数の関数としての損失のプロット反復処理次のプロットは、一般的な損失曲線を示しています。

損失曲線を使用すると、モデルが収束しているかどうかや、過学習の状態にあるかどうかを判断できます。

損失曲線は、次のすべてのタイプの損失をプロットできます。

• トレーニングの損失
• 検証損失
• テスト損失

一般化曲線もご覧ください。

損失関数

#fundamentals

トレーニングまたはテスト中に、サンプルのバッチで損失を計算する数学関数。損失関数は、不適切な予測を行うモデルよりも良好な予測を行うモデルよりも低い損失を返します。

トレーニングの目的は、通常、損失関数が返す損失を最小限に抑えることです。

さまざまな種類の損失関数が存在します。構築するモデルの種類に適した損失関数を選択します。例:

• L₂ 損失（または平均二乗誤差）は線形回帰の損失関数です。
• ログ損失は、ロジスティック回帰の損失関数です。

M

機械学習

#fundamentals

入力データからモデルをトレーニングするプログラムまたはシステム。トレーニング済みモデルでは、モデルのトレーニングに使用したデータと同じ分布から抽出された新しいデータ（これまでにないデータ）から有用な予測を行うことができます。

機械学習とは、これらのプログラムやシステムに関係する研究分野です。

多数派のクラス

#fundamentals

クラス不均衡なデータセットにおける、より一般的なラベル。たとえば、99% のネガティブ ラベルと 1% のポジティブ ラベルを含むデータセットを考えると、ネガティブ ラベルは大半のクラスになります。

マイノリティ クラスとは対照的です。

ミニバッチ

#fundamentals

少数のランダムに選択された 1 つのバッチが 1 回のイテレーションで処理されました。ミニバッチのバッチサイズは通常、10 ～ 1,000 のサンプルです。

たとえば、トレーニング セット全体（フルバッチ）が 1,000 の例で構成されているとします。さらに、各ミニバッチのバッチサイズを 20 に設定したとします。したがって、各イテレーションで 1,000 のサンプルの中から無作為に 20 個の損失を計算し、それに応じて重みとバイアスを調整します。

完全なバッチのすべてのサンプルの損失よりも、ミニバッチでの損失を計算する方がはるかに効率的です。

マイノリティ クラス

#fundamentals

クラスが不均衡なデータセットにおける、あまり一般的ではないラベル。たとえば、99% のネガティブ ラベルと 1% のポジティブ ラベルを含むデータセットを考えると、ポジティブ ラベルは少数派のクラスです。

一方、大半はクラスです。

このアイコンをクリックすると、その他のメモが表示されます。

100 万件のサンプルを含むトレーニング セットは魅力的に聞こえます。ただし、少数派のクラスが十分に表現されていない場合は、非常に大きなトレーニング セットであっても十分ではない可能性があります。データセットに含まれるサンプルの総数ではなく、マイノリティ クラスのサンプル数に重点を置きます。

データセットにマイノリティ クラスの例が十分に含まれていない場合は、ダウンサンプリング（2 番目の箇条書きの定義）を使用して、マイノリティ クラスを補完することを検討してください。

---

モデル

#fundamentals

一般に、入力データを処理し出力を返す数学的な構造。言い換えれば、モデルとは、システムが予測を行うために必要な一連のパラメータと構造のことです。教師あり機械学習では、モデルは入力を入力として受け取り、予測を出力として推測します。教師ありの機械学習では、モデルに多少の違いがあります。例:

• 線形回帰モデルは、重みとバイアスのセットから構成されます。
• ニューラル ネットワーク モデルは、以下で構成されます。
  • 隠れ層のセット。各レイヤに 1 つ以上のニューロンが含まれます。
  • 各ニューロンに関連する重みとバイアス。
• ディシジョン ツリー モデルは、以下で構成されます。
  • ツリーのシェイプ、つまり条件とリーフが接続されるパターン。
  • 条件と離脱。

モデルの保存、復元、コピーの作成が可能です。

また、教師なし機械学習によってモデルが生成されます。通常は、入力サンプルを最も適切なクラスタにマッピングできる関数です。

アイコンをクリックして、代数関数とプログラミング関数を ML モデルと比較します。

次のような代数関数はモデルです。

  f(x, y) = 3x -5xy + y2 + 17

上記の関数は、入力値（x と y）を出力にマッピングします。

同様に、次のようなプログラミング関数もモデルです。

def half_of_greater(x, y):
  if (x > y):
    return(x / 2)
  else
    return(y / 2)

呼び出し元が前の Python 関数に引数を渡すと、Python 関数が return ステートメントを介して出力を生成します。

ディープ ニューラル ネットワークは、代数関数またはプログラミング関数とは大きく異なる数学的構造ですが、ディープ ニューラル ネットワークは依然として入力を受け取り（例）、出力を返します（予測）。

プログラマーは、プログラミング関数を手動でコーディングします。対照的に、機械学習モデルは自動トレーニング中に徐々に最適なパラメータを学習します。

---

マルチクラス分類

#fundamentals

教師あり学習では、データセットにラベルが 3 つ以上分類される分類に関する問題があります。たとえば、Iris データセットのラベルは、次の 3 つのクラスのいずれかである必要があります。

• ハナショウブ
• アヤメ
• 虹彩バージョン

新しいサンプルで Iris タイプを予測する、Iris データセットでトレーニングされたモデルは、マルチクラス分類を実行します。

対照的に、2 つのクラスを正確に区別する分類問題は、バイナリ分類モデルです。たとえば、迷惑メールまたは迷惑メールではないのいずれかを予測するメールモデルは、バイナリ分類モデルです。

クラスタリングの問題では、マルチクラス分類は 3 つ以上のクラスタを意味します。

N

ネガティブ クラス

#fundamentals

バイナリ分類では、一方のクラスが「正」と呼ばれ、もう一方のクラスが「負」と呼ばれます。陽性のクラスとは、モデルがテストしている対象またはイベントで、陰性のクラスはそのもう一つの可能性です。例:

• 医学的検査の陰性のクラスは「腫よう」ではないかもしれません。
• メール分類のネガティブ クラスは「迷惑メールではない」可能性がある

対照的にポジティブ クラスです。

ニューラル ネットワーク

#fundamentals

少なくとも 1 つの非表示レイヤを含むモデル。ディープ ニューラル ネットワークは、複数の隠れ層を含むニューラル ネットワークの一種です。たとえば、次の図は、2 つの隠れ層を含むディープ ニューラル ネットワークを示しています。

ニューラル ネットワーク内の各ニューロンは、次のレイヤ内のすべてのノードに接続します。たとえば、前の図では、最初の隠れ層にある 3 つのニューロンのそれぞれが、2 番目の隠しレイヤの 2 つのニューロンの両方に別々に接続していることに注意してください。

パソコンに実装されるニューラル ネットワークは、脳や他の神経系にあるニューラル ネットワークと区別するために「人工ニューラル ネットワーク」と呼ばれることもあります。

一部のニューラル ネットワークは、異なる特徴とラベル間の非常に複雑な非線形関係を模倣できます。

畳み込みニューラル ネットワークと再帰型ニューラル ネットワークもご覧ください。

ニューロン

#fundamentals

機械学習では、ニューラル ネットワークの隠れ層内の個別のユニット。各ニューロンは、次の 2 段階のアクションを実行します。

1. 入力値の加重合計に、対応する重みを掛けて計算します。
2. 重み付けされた合計をアクティベーション関数に入力として渡します。

最初の隠れ層のニューロンは、入力レイヤの特徴値からの入力を受け入れます。最初の隠れ層にあるニューロンは、前の隠れ層のニューロンからの入力を受け入れます。たとえば、2 番目の隠れ層のニューロンは、最初の隠しレイヤのニューロンからの入力を受け入れます。

次の図は、2 つのニューロンとその入力をハイライト表示しています。

ニューラル ネットワークのニューロンは、脳や他の神経系の他の部分のニューロンの動作を模倣しています。

ノード（ニューラル ネットワーク）

#fundamentals

隠れ層にあるニューロン。

ノンリニア

#fundamentals

加算と乗算だけでは表現できない 2 つ以上の変数間の関係。線形関係は線で表すことができます。非線形関係は線として表すことはできません。たとえば、2 つのモデルで、それぞれが 1 つの特徴を 1 つのラベルに関連付けるとします。左側のモデルは線形で、右側のモデルは非線形です。

非定常性

#fundamentals

1 つ以上のディメンション（通常は時間）にわたって値が変化する特徴。たとえば、次のノンステーション性の例を考えてみましょう。

• 特定の店舗で販売される水着の数は、季節によって異なります。
• 特定の地域で収穫された特定の果物の量は、大部分は 0 ですが、短期間では大きかったものです。
• 気候変動のため、年間平均気温は変化しています。

対照的に固定性。

正規化

#fundamentals

大まかに言うと、変数の実際の値の範囲を標準的な値の範囲に変換するプロセスです。例:

• -1 ～+1
• 0 to 1
• 正規分布

たとえば、特定の特徴の実際の値の範囲が 800 から 2,400 であるとします。特徴量エンジニアリングの一環として、実際の値を標準範囲（-1 ～+1 など）に正規化できます。

正規化は特徴量エンジニアリングの一般的なタスクです。特徴ベクトル内のすべての数値特徴がほぼ同じ範囲である場合、モデルは通常、より速くトレーニングされます（そして、より優れた予測を生成します）。

数値データ

#fundamentals

特徴: 整数または実数値で表します。たとえば、住宅評価モデルは、住宅の規模（平方フィートまたは平方メートル）を数値データとして表す可能性があります。特徴を数値データで表すと、その特徴の値がラベルに対して数学的関係にあることを意味します。つまり、家の中の平方メートルの数は、家の値と数学的な関係があると考えられます。

すべての整数データを数値データとして表す必要はありません。たとえば、世界の一部の地域の郵便番号は整数ですが、モデル内では整数の郵便番号を数値データとして表すべきではありません。20000 の郵便番号は、郵便番号 10000 の 2 倍（または半分）ではないからです。さらに、郵便番号によって異なる不動産の値に異なる値が関連付けられますが、郵便番号 20000 の不動産値は郵便番号 10000 の不動産価格の 2 倍の価値を持つと仮定できません。郵便番号は、代わりにカテゴリデータとして表す必要があります。

数値特徴は連続特徴と呼ばれることもあります。

O

オフライン

#fundamentals

static と同義。

オフライン推論

#fundamentals

モデルが予測のバッチを生成し、それらの予測をキャッシュに保存（保存）するプロセス。これにより、モデルを再実行するのではなく、キャッシュから目的の予測にアクセスできるようになります。

たとえば、4 時間に 1 回、地域の天気予報（予測）を生成するモデルについて考えてみましょう。各モデルが実行されると、システムはすべての地域の天気予報をキャッシュに保存します。天気アプリは、キャッシュから予測を取得します。

オフライン推論は、静的推論とも呼ばれます。

これをオンライン推論と対照します。

ワンホット エンコーディング

#fundamentals

カテゴリデータを、次のようなベクトルとして表現します。

• 1 つの要素が 1 に設定されています。
• その他の要素はすべて 0 に設定されます。

ワンホット エンコーディングは一般的に、取り得る値のセットが限られている文字列や識別子を表すために使用されます。たとえば、Scandinavia という特定のカテゴリ特徴が、次の 5 つの値を持つとします。

• "デンマーク"
• 「スウェーデン」
• "ノルウェー"
• "フィンランド"
• 「アイスランド」

ワンホット エンコードでは、次のように 5 つの値を表します。

country	ベクトル
"デンマーク"	1	0	0	0	0
「スウェーデン」	0	1	0	0	0
"ノルウェー"	0	0	1	0	0
"フィンランド"	0	0	0	1	0
「アイスランド」	0	0	0	0	1

ワンホット エンコーディングにより、モデルは 5 つの国ごとに異なる接続を学習できます。

特徴を数値データとして表現することは、ワンホット エンコーディングに代わる手段です。残念ながら、スカンジナビア諸国を数値で表すのは適切ではありません。たとえば、次の数値表現について考えてみます。

• "デンマーク" 0
• &st;スウェーデン" 1
• "ノルウェー" 2
• "フィンランド" 3
• "アイスランド" 4

数値エンコードの場合、モデルは未加工の数値を数学的に解釈し、その数値でトレーニングを試みます。しかし実際には、アイスランドはノルウェーの 2 倍（半分）しか持っていないため、予想外の結論に至ります。

1 対 すべて

#fundamentals

N 個のクラスの分類に問題がある場合、N 個の個別のバイナリ分類器（解は考えられる結果ごとに 1 つのバイナリ分類器）で構成されるソリューションになります。たとえば、サンプルを動物、野菜、鉱物として分類するモデルの場合、1 対 1 の解答では、次の 3 つのバイナリ分類器を使用できます。

• 動物と動物の違い
• 野菜と非野菜
• ミネラルとミネラルの違い

online

#fundamentals

dynamic と同義。

オンライン推論

#fundamentals

オンデマンドで予測を生成する。たとえば、アプリが入力をモデルに渡し、予測のリクエストを発行するとします。オンライン推論を使用するシステムは、モデルを実行する（そしてアプリに予測を返す）ことで、リクエストに応答します。

対照的にオフラインでの推論。

出力レイヤ

#fundamentals

ニューラル ネットワークの「最終」レイヤ。出力レイヤには予測が含まれます。

次の図は、入力レイヤ、2 つの非表示レイヤ、出力レイヤを持つ小さなディープ ニューラル ネットワークを示しています。

過剰適合

#fundamentals

トレーニング データに厳密に一致するモデルを作成して、モデルが新しいデータに対して正しい予測を行えないようにします。

正則化により、過学習を軽減できます。また、多様で大規模なトレーニング セットでトレーニングを行うことで、過学習を軽減できます。

このアイコンをクリックすると、その他のメモが表示されます。

過学習は、お気に入りの教師だけのアドバイスに厳密に従うようなものです。その教師のクラスでは成功するかもしれませんが、その教師のアイデアに「過剰に適合」し、他のクラスでは失敗する可能性があります。さまざまな教師のアドバイスを参考にして、新しい状況に適切に適用できます。

---

P

pandas

#fundamentals

numpy の上に構築された列指向のデータ分析 API。TensorFlow を含む多くの機械学習フレームワークは、入力として pandas データ構造をサポートしています。詳細については、pandas のドキュメントをご覧ください。

パラメータ

#fundamentals

モデルがトレーニング中に学習する重みとバイアス。たとえば、線形回帰モデルでは、パラメータは次の形式のバイアス（b）とすべての重み（w₁、w₂ など）で構成されます。

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

一方、ハイパーパラメータは、お客様（またはハイパーパラメータ変換サービス）がモデルに提供する値です。たとえば、学習率はハイパーパラメータです。

ポジティブ クラス

#fundamentals

テスト対象のクラス。

たとえば、がんモデルの陽性クラスは「tumor」です。メール分類が「ポジティブ クラス」の場合、迷惑メールに分類されることがあります。

対照的にネガティブ クラスです。

このアイコンをクリックすると、その他のメモが表示されます。

ポジティブ クラスという用語は、多くのテストの結果が望ましくない結果になることが多く、混乱しやすい場合があります。たとえば、多くの医学的検査の陽性のクラスは、腫瘍や病気に相当します。一般的には、医師に「ありがとう！検査結果は陰性でした。いずれにしても、陽性のクラスは、テストが検出しようとしているイベントです。

確かに、ポジティブ クラスとネガティブ クラスの両方を同時にテストします。

---

後処理

#fairness

#fundamentals

モデルの実行後にモデルの出力を調整する。後処理を使用すると、モデル自体を変更することなく、公平性の制約を適用できます。

たとえば、バイナリの分類器に後処理を適用する場合、一部の属性で真陽性率がすべての属性値で同じであることを確認して、機会の平等性が維持されるように分類しきい値を設定します。

予測

#fundamentals

モデルの出力。例:

• バイナリ分類モデルの予測は、陽性のクラスと負のクラスのどちらかです。
• マルチクラス分類モデルの予測は 1 つのクラスで行います。
• 線形回帰モデルの予測は数値です。

プロキシラベル

#fundamentals

データセットで直接利用できないラベルの近似に使用するデータ。

たとえば、従業員のストレス レベルを予測するためにモデルをトレーニングする必要があるとします。データセットには予測特徴が多数含まれていますが、ストレスレベルという名前のラベルは含まれていません。単純に、ストレスレベルの代理ラベルとして、「職場での事故」を選択します。結局のところ、ストレスの大きい従業員は、落ち着きのある従業員よりも多くの事故に巻き込まれます。それとも実施していますか？職場での事故が、さまざまな理由で急増することがあります。

2 番目の例として、データセットに雨のラベルを付け、降水量のデータをブール値ラベルとして使用したいとします。写真がある場合は、傘を持っている人物の写真を雨が降っているかどうかのプロキシラベルとして設定できます。これは適切なプロキシラベルですか？雨が降るときよりも日差しからパラソルを渡せる傾向がある文化もあります。

プロキシラベルは多くの場合、不完全です。可能であれば、プロキシラベルよりも実際のラベルを選択してください。ただし、実際のラベルが存在しない場合は、プロキシラベルを慎重に選択し、最もリスクの低いプロキシラベルの候補を選択してください。

R

品質評価者

#fundamentals

例のラベルを提供する人間。 &nott;Annotator" は評価担当者の別名です。

Rectified Linear Unit（ReLU）

#fundamentals

次の動作を持つアクティベーション関数:

• 入力が負またはゼロの場合、出力は 0 になります。
• 入力が正の場合、出力は入力と等しくなります。

例:

• 入力が -3 の場合、出力は 0 です。
• 入力が +3 の場合、出力は 3.0 です。

ReLU のプロットは次のとおりです。

ReLU はよく使用されるアクティベーション関数です。単純な動作にもかかわらず、ReLU ではニューラル ネットワークが特徴とラベルの間の非線形の関係を学習します。

回帰モデル

#fundamentals

非公式に、数値予測を生成するモデル。（対照的に、分類モデルではクラス予測が生成されます）。たとえば、以下はすべて回帰モデルです。

• 特定の住宅の価値を予測するモデル（423,000 ユーロなど）。
• 特定の木の予想寿命（23.2 年など）を予測するモデル。
• 今後 6 時間のうちのある特定の都市に降水量の予測を行うモデル（0.18 インチなど）。

回帰モデルの 2 つの一般的なタイプは次のとおりです。

• 線形回帰。ラベル値を特徴に最も適した線を見つけます。
• ロジスティック回帰。システムが通常クラス予測にマッピングする確率（0.0 ～ 1.0）を生成します。

数値の予測を出力するすべてのモデルが回帰モデルであるわけではありません。場合によっては、数値予測は、単なる数字のクラス名を持つ分類モデルにすぎません。たとえば、数値郵便番号を予測するモデルは、回帰モデルではなく分類モデルです。

正則化

#fundamentals

過学習を軽減するメカニズム。正則化には次のタイプがあります。

• L₁ 正則化
• L₂ 正則化
• ドロップアウトの正則化
• 早期停止（正式な正則化の手法ではありませんが、過学習を効果的に制限できます）

正則化は、モデルの複雑さに対するペナルティとして定義することもできます。

このアイコンをクリックすると、その他のメモが表示されます。

正則化は直感に反します。正則化を上げると、通常はトレーニングの損失が増えます。これは、トレーニングの損失を最小化することの目標ではないからです。混乱を招きます。

実際には不正解です。目標はトレーニングの損失を最小限に抑えることではありません。目標は、実際の例に対して優れた予測を行うことです。注目すべきことは、正則化を増やすとトレーニングの損失が増加するとしても、通常、モデルが実例をより的確に予測できるようにすることです。

---

正則化率

#fundamentals

トレーニング中の正則化の相対的な重要度を指定する数値。正則化の値を上げると、過学習は軽減されますが、モデルの予測能力が低下することがあります。逆に、正則化率を下げるか省略すると、過学習が増加します。

アイコンをクリックして、数学を表示します。

正則化率は通常、ギリシャ文字のラムダとして表します。次の簡略化された損失の式は、ラムダの影響を示しています。

$$\text{minimize(loss function + }\lambda\text{(regularization))}$$

ここで、Regularization は、次のような任意の正規化メカニズムです。

• L₁ 正則化
• L₂ 正則化

---

ReLU

#fundamentals

Rectified Linear Unit の略です。

ROC（受信者の操作特性）の曲線

#fundamentals

バイナリ分類でのさまざまな分類しきい値に対する真陽性率と偽陽性率のグラフ。

ROC 曲線の形状は、陽性のクラスを陰性のクラスから分離するバイナリ分類モデルの能力を示しています。たとえば、バイナリ分類モデルですべての除外クラスがすべての陽性クラスから完全に分離されたとします。

前述のモデルの ROC 曲線は次のようになります。

一方、次の図は、陰性クラスを陽性クラスからまったく分離できない、ひどいモデルの生のロジスティック回帰値をグラフ化したものです。

このモデルの ROC 曲線は次のようになります。

一方、現実の世界では、ほとんどのバイナリ分類モデルは、陽性のクラスとネガティブ クラスをある程度分けていますが、通常は完全ではありません。そのため、典型的な ROC 曲線は両極端の中間に位置するものです。

（0.0,1.0）に最も近い ROC 曲線上の点は、理論的に理想的な分類しきい値を識別します。ただし、いくつかの実際の問題は、理想的な分類しきい値の選択に影響します。たとえば、偽陰性は、偽陽性よりもはるかに多くの痛みを引き起こす可能性があります。

AUC という数値指標は、ROC 曲線を 1 つの浮動小数点値に要約したものです。

二乗平均平方根誤差（RMSE）

#fundamentals

平均二乗誤差の平方根。

S

シグモイド関数

#fundamentals

「制約」入力値の制約値（通常は 0 ～ 1 または -1 ～+1）を入力する数学関数。つまり、任意の数（2、100 万、負の 10 億など）を sigmoid に渡すことができます。ただし、出力は制約された範囲内になります。sigmoid アクティベーション関数のプロットは次のようになります。

sigmoid 関数は、機械学習で次のような用途に使用されます。

• ロジスティック回帰または多項回帰の未加工の出力を確率に変換します。
• 一部のニューラル ネットワークで活性化関数として機能する。

アイコンをクリックして、数学を表示します。

入力番号 x に対する sigmoid 関数は、次の式になります。

$$ sigmoid(x) = \frac{1}{1 + e^{-\text{x}}} $$

機械学習では、通常、x は加重和です。

---

Softmax

#fundamentals

マルチクラス分類モデルで考えられるクラスごとに確率を決定する関数。確率の合計は 1.0 になります。たとえば、次の表に、softmax がさまざまな確率を分散させる方法を示します。

画像は...	確率
犬	0.85
猫	0.13
horse	0.02

Softmax は full softmax とも呼ばれます。

これを候補サンプリングと対照します。

アイコンをクリックして、数学を表示します。

softmax 式は次のとおりです。

$$\sigma_i = \frac{e^{\text{z}_i}} {\sum_{j=1}^{j=K} {e^{\text{z}_j}}} $$

ここで

• $\sigma_i$ は出力ベクトルです。出力ベクトルの各要素は、この要素の確率を指定します。出力ベクトルのすべての要素の合計は 1.0 です。出力ベクトルには、入力ベクトル $z$ と同じ数の要素が含まれます。
• $z$ は入力ベクトルです。入力ベクトルの各要素には浮動小数点値が含まれます。
• $K$ は入力ベクトル（および出力ベクトル）内の要素の数です。

たとえば、入力ベクトルが次のようになっているとします。

[1.2, 2.5, 1.8]

したがって、softmax は次のように分母を計算します。

$$\text{denominator} = e^{1.2} + e^{2.5} + e^{1.8} = 21.552$$

したがって、各要素のソフトマックス確率は次のようになります。

$$\sigma_1 = \frac{e^{1.2}}{21.552} = 0.154 $$ $$\sigma_2 = \frac{e^{2.5}}{21.552} = 0.565 $$ $$\sigma_1 = \frac{e^{1.8}}{21.552} = 0.281 $$

したがって、出力ベクトルは次のようになります。

$$\sigma = [0.154, 0.565, 0.281]$$

$\sigma$ の 3 つの要素の合計は 1.0 です。さて、

---

スパースな特徴

#language

#fundamentals

値が主にゼロまたは空である特徴。たとえば、1 個の 1 値と 100 万個の 0 値を含む特徴はスパースです。これに対して、高密度の特徴の値は、主にゼロや空ではありません。

機械学習では、驚くほど多くの特徴がスパースな特徴となります。カテゴリ特徴は通常、スパースな特徴です。たとえば、森林に生息する 300 種類のツリーの中で、1 個のサンプルでカエデだけを識別できます。また、動画ライブラリにアップロード可能な膨大な数の動画の中から、「Casablanca.&quot」を 1 つの例だけで識別することもできます。

モデルでは、通常、スパースな特徴をワンホット エンコーディングで表します。ワンホット エンコーディングが大きい場合は、ワンホット エンコーディングの上に埋め込みレイヤを配置すると、効率が向上します。

スパース表現

#language

#fundamentals

ゼロ以外の要素の位置のみをスパースな特徴に格納する。

たとえば、species という名前のカテゴリ特徴が、特定のフォレスト内の 36 種類のツリーを識別するとします。さらに、各例が 1 つの種のみを識別すると仮定します。

各例のツリー種を表すには、ワンホット ベクトルを使用できます。ワンホット ベクトルには、1 つの 1（この例の特定のツリー種を表す）と 35 個の 0（この例にない 35 種類のツリーを表す）が含まれます。maple のワンホット表現は次のようになります。

一方、スパース表現では、単純に特定の生物の位置を特定します。maple が 24 番目にある場合、maple のスパース表現は次のようになります。

24

スパース表現は、ワンホット表現よりもはるかにコンパクトです。

注: モデルへの直接の特徴入力として、スパース表現を渡さないでください。代わりに、トレーニングを行う前に、スパース表現をワンホット表現に変換する必要があります。

クリックすると、やや複雑な例になります。

モデル内の各例が、単語で表す必要がありますが、単語の順序は英語で表すことはできません。英語は約 17 万語で構成されているため、英語は約 17 万個の要素を持つカテゴリ特徴です。ほとんどの英語の文では、これらの 170,000 単語のうちごくわずかな部分が使用されるため、1 つの例の単語セットはほぼ確実にスパースデータになります。

次の文について考えてみます。

My dog is a great dog

この文の単語を表すには、ワンホット ベクトルのバリアントを使用できます。このバリアントでは、ベクトル内の複数のセルにゼロ以外の値を含めることができます。さらに、このバリアントでは、セルに 1 以外の整数を含めることができます。「my」、「quot」、「is」、「quot」、「a」、「quot」、「great」は、文中に 1 回だけ出現しますが、「dog」は 2 回しか出現しません。このワンホット ベクトルのバリアントをこの文内の単語を表すために使用すると、次の 170,000 要素のベクトルが得られます。

同じ文のスパース表現は次のようになります。

0: 1
26100: 2
45770: 1
58906: 1
91520: 1

---

混乱している場合は、アイコンをクリックします。

「スパース表現」という用語は、スパース表現がスパース ベクトルではないため、多くの人々を混乱させます。スパース表現は、実際にはスパース ベクトルの密な表現です。同義語の インデックス表現 は、「スパース表現」より少し明確です。"

---

スパース ベクトル

#fundamentals

ほとんどがゼロのベクトル。スパースな特徴とスパース性もご覧ください。

2 乗損失

#fundamentals

L₂ の損失の類義語。

static

#fundamentals

継続的にではなく 1 回行うこと。 「静的」と「オフライン」という用語は類義語です。機械学習における静的とオフラインの一般的な用途は次のとおりです。

• 静的モデル（またはオフライン モデル）は、1 回トレーニングされた後、しばらく使用されるためのモデルです。
• 静的トレーニング（またはオフライン トレーニング）は、静的モデルをトレーニングするプロセスです。
• 静的推論（またはオフライン推論）は、モデルが一度に予測のバッチを生成するプロセスです。

ダイナミックとの比較

静的推論

#fundamentals

オフライン推論の類義語。

静止

#fundamentals

1 つ以上のディメンション（通常は時間）にわたって値が変化しない特徴。たとえば、2020 年と 2022 年の値がほぼ同じである特徴は、定常性を示します。

現実世界では、静止された状態を表示する機能はごくわずかです。安定性と同等の機能（海面など）も時間の経過とともに変化します。

対照的に非定常性がある。

確率的勾配降下法（SGD）

#fundamentals

バッチサイズが 1 である勾配降下法アルゴリズム。つまり、SGD はトレーニング セットから均一にランダムに選択された単一のサンプルでトレーニングを行います。

教師あり機械学習

#fundamentals

特徴と、対応するラベルからモデルをトレーニングする。教師あり機械学習は、一連の質問とそれに対応する答えを学習することで、科目を学習するのと似ています。生徒は、質問と回答のマッピングを理解した後で、同じトピックの新しい質問に対して回答を得ることができます。

教師なし機械学習と比較します。

合成機能

#fundamentals

特徴。入力特徴の中に存在しないものの、1 つ以上の特徴から組み立てられたものです。合成特徴の作成方法には、次のものがあります。

• 連続的な特徴を範囲ビンにバケット化する。
• 特徴クロスを作成する。
• 1 つの特徴値を他の特徴値に乗算（または除算）した値、または他の特徴値で乗算した値。たとえば、a と b が入力特徴の場合、合成特徴は次のようになります。
  • ab
  • ²
• 超越関数を特徴値に適用する。たとえば、c が入力特徴の場合、合成特徴は次のとおりです。
  • sin(c)
  • ln（c）

正規化またはスケーリングのみで作成された特徴は、合成特徴とは見なされません。

T

テスト損失

#fundamentals

テストセットに対するモデルの損失を表す指標。モデルを構築する場合、通常はテストの損失を最小限に抑えるよう努めます。低いテスト損失は、低いトレーニング損失や低い検証損失よりも強力なシグナルであるためです。

テスト損失とトレーニング損失または検証損失の間に大きなギャップがある場合は、正則化率の向上が必要になることがあります。

トレーニング

#fundamentals

モデルを構成する理想的なパラメータ（重みとバイアス）を決定するプロセス。トレーニング中、システムはサンプルを読み込み、パラメータを徐々に調整します。トレーニングでは、各サンプルを数回から数十億回まで使用します。

トレーニングの損失

#fundamentals

特定のトレーニング イテレーション中のモデルの損失を表す指標。たとえば、損失関数が平均二乗誤差であるとします。おそらく、10 回目のイテレーションのトレーニング損失（平均二乗誤差）は 2.2、100 回目のイテレーションのトレーニング損失は 1.9 になります。

損失曲線は、トレーニングの損失と反復回数をプロットしたものです。損失曲線は、トレーニングに関する次のヒントを提供します。

• 下降傾向は、モデルが改善されていることを意味します。
• 上昇傾向は、モデルが悪化していることを意味します。
• 平坦な傾斜は、モデルが収束に達したことを意味します。

たとえば、ある程度理想的な損失曲線は次のようになります。

• 最初のイテレーションで急激に下降する傾斜。これは、モデルを迅速に改善することを意味します。
• トレーニングの終わりに近づくにつれて、徐々に平坦になる（しかし依然として緩やかな）傾斜。これは、最初の反復中よりもややゆっくりとしたペースで、継続的なモデル改善を意味します。
• トレーニングの終盤に平らな勾配があること。収束を示唆しています。

トレーニングの損失は重要ですが、一般化もご覧ください。

トレーニング / サービング スキュー

#fundamentals

トレーニング中のモデルのパフォーマンスと、サービング中の同じモデルのパフォーマンスの差。

トレーニング セット

#fundamentals

モデルのトレーニングに使用されるデータセットのサブセット。

従来、データセットの例は次の 3 つのサブセットに分かれています。

• トレーニング セット
• 検証セット
• テストセット

理想的には、データセット内の各例は、前述のサブセットのうちの 1 つのみに属している必要があります。たとえば、1 つの例をトレーニング セットと検証セットの両方に含めることはできません。

真陰性（TN）

#fundamentals

モデルが陰性のクラスを正しく予測する例。たとえば、モデルは、特定のメール メッセージが迷惑メールではないと判断し、そのメールは実際には迷惑メールではないと推測します。

真陽性（TP）

#fundamentals

モデルが陽性のクラスを正しく予測する例。たとえば、モデルは、特定のメール メッセージがスパムであると推測し、そのメール メッセージは本当にスパムです。

真陽性率（TPR）

#fundamentals

再現率の類義語。つまり:

$$\text{true positive rate} = \frac{\text{true positives}} {\text{true positives} + \text{false negatives}}$$

真陽性率は、ROC 曲線の Y 軸です。

U

学習不足

#fundamentals

モデルがトレーニング データの複雑さを完全に把握していないため、予測能力の低いモデルを生成する。過学習は、次のようなさまざまな問題を引き起こす可能性があります。

• 機能の誤ったセットに対するトレーニング
• エポックが少なすぎる、または学習率が低すぎる。
• 正則化率が高すぎるトレーニング。
• ディープ ニューラル ネットワークの隠れ層が少なすぎる。

ラベルのない例

#fundamentals

機能は含まれているが、ラベルが含まれていない例。たとえば、次の表には、住宅評価モデルのラベルなしの例が 3 つあり、それぞれに 3 つの特徴がありますが、家の価値はありません。

寝室の数	浴室の数	住宅の年数
3	2	15
2	1	72
4	2	34

教師ありの機械学習では、モデルはラベル付きサンプルでトレーニングを行い、ラベルなしの例で予測を行います。

半教師ありと教師なしの学習では、トレーニング中にラベルなしの例が使用されます。

ラベルのないサンプルとラベル付けされた例の対比。

教師なし機械学習

#clustering

#fundamentals

データセット（通常はラベルなしデータセット）内のパターンを見つけるためのモデルのトレーニング。

教師なし機械学習の最も一般的な使用例は、データを類似した例のグループごとにクラスタ化することです。たとえば、教師なし機械学習アルゴリズムでは、音楽のさまざまなプロパティに基づいて曲のクラスタを作成できます。生成されるクラスタは、他の機械学習アルゴリズム（音楽レコメンデーション サービスなど）への入力になります。クラスタリングは、有用なラベルが少ない場合または存在しない場合に役立ちます。たとえば、不正防止や不正行為などの領域では、クラスタを使用して人間がデータについて理解を深めることができます。

これとは対照的に、教師あり機械学習です。

このアイコンをクリックすると、その他のメモが表示されます。

教師なし機械学習の別の例として、主成分分析（PCA）があります。たとえば、何百万ものショッピング カートのコンテンツを含むデータセットに PCA を適用すると、レモンを含むショッピング カートにはしばしば制酸剤が含まれることが多いことがわかります。

---

V

validation

#fundamentals

モデルの品質の初期評価。検証では、モデルの予測の品質を検証セットに照らして確認します。

検証セットはトレーニング セットとは異なるため、過学習を防止できます。

最初のテストで検証セットに対してモデルを評価し、2 回目のテストでテストセットに対してモデルを評価します。

検証損失

#fundamentals

トレーニングの特定のイテレーションにおける検証セットのモデルの損失を表す指標。

一般化曲線もご覧ください。

検証セット

#fundamentals

トレーニング済みのモデルに対して初期評価を行うデータセットのサブセット。通常、トレーニング済みモデルを検証セットに対して何度か評価してから、モデルをテストセットに対して評価します。

従来、データセットの例は、次の 3 つのサブセットに分割されていました。

• トレーニング セット
• 検証セット
• テストセット

理想的には、データセット内の各例は、前述のサブセットのうちの 1 つのみに属している必要があります。たとえば、1 つの例をトレーニング セットと検証セットの両方に含めることはできません。

W

weight

#fundamentals

モデルに別の値で乗算する値。トレーニングは、モデルの理想的な重みを決定するプロセスです。推論は、学習した重みを使用して予測を行うプロセスです。

このアイコンをクリックすると、線形モデルの重みの例が表示されます。

2 つの特徴を持つ線形モデルを想像してください。トレーニングで次の重み（およびバイアス）が決められたとします。

• バイアス b の値は 2.2 です。
• ある対象物に関連付けられたウェイト「₁」は 1.5 です。
• もう一方の特徴に関連付けられたウェイト ₂ は、0.4 です。

次の特徴値を持つ例を考えてみましょう。

• 1 つの特徴 x₁ の値は 6 です。
• もう一方の特徴 x₂ の値は 10 です。

この線形モデルは、次の数式を使用して予測を生成します。y'

$$y' = b + w_1x_1 + w_2x_2$$

そのため、予測は次のようになります。

$$y' = 2.2 + (1.5)(6) + (0.4)(10) = 15.2$$

重みが 0 の場合、対応する特徴はモデルには寄与しません。たとえば、w₁ が 0 の場合、x₁ の値は関係ありません。

---

加重合計

#fundamentals

関連するすべての入力値の合計に、対応する重みを掛けた値。たとえば、関連する入力が次のように構成されているとします。

入力値	入力ウェイト
2	-1.3
-1	0.6
3	0.4

したがって、重み付け合計は次のようになります。

weighted sum = (2)(-1.3) + (-1)(0.6) + (3)(0.4) = -2.0

重み付けされた合計は、アクティベーション関数の入力引数です。

Z

Z スコア正規化

#fundamentals

元の特徴値をその特徴からの標準偏差数を表す浮動小数点値に置き換えるスケーリング手法。たとえば、平均が 800 で標準偏差が 100 の特徴について考えてみましょう。次の表は、Z スコア正規化で、未加工値を Z スコアにマッピングする方法を示しています。

未加工の値	Z スコア
800	0
950	+0.7
575	-2.25

次に、機械学習モデルは、生の値ではなくその特徴の Z スコアでトレーニングします。