学習率と収束
これは、複数のプレイグラウンド演習の第 1 弾です。プレイグラウンドは、ML の原則を学べるように、このコースのために特別に開発されたプログラムです。このコースの各プレイグラウンド演習には、プリセットを持つ埋め込みのプレイグラウンド インスタンスが含まれています。
プレイグラウンドのエクササイズごとにデータセットが生成されます。このデータセットのラベルには 2 つの有効な値があります。この 2 つの値は、「スパム」か「スパムではない」か、健全な樹木と病気の樹木かもしれません。ほとんどの演習の目標は、さまざまなハイパーパラメータを調整して、ラベル値を適切に分類（分離または区別）するモデルを構築することです。ほとんどのデータセットには一定量のノイズが含まれており、すべてのサンプルを正常に分類することはできません。
プラスアイコンをクリックすると、モデルの可視化の説明が表示されます。
各プレイグラウンド演習には、モデルの現在の状態が可視化されて表示されます。たとえば、ビジュアリゼーションは次のようになります。
モデルの可視化については、次の点に注意してください。
- 各軸は特定の特徴を表します。迷惑メールの場合とそうでない場合では、文字数やメールの受信者の数などがあります。
- 各ドットは、メールなどのデータの一例の特徴値をプロットします。
- ドットの色は、この例が属するクラスを表します。たとえば、青い点は迷惑メールではないメールを示し、オレンジ色の点は迷惑メールではないかを示します。
- 背景色は、その色の例がある場所に対するモデルの予測を表します。背景が青い点の周りが青い点は、モデルがこの例を正しく予測していることを意味します。逆に、背景がオレンジ色の点が青い点の場合、その例はモデルが誤って予測していることを意味します。
- 背景の青とオレンジがスケールされています。たとえば、ビジュアリゼーションの左側は青色の点灯ですが、ビジュアリゼーションの中央では徐々に白にフェードします。色の強さは、モデルの推測に対する信頼度を示すものと考えることができます。青色は、モデルの信頼度が高いことを意味し、薄い青色は、モデルの信頼度が低いことを意味します。（図に示すモデルの可視化では、予測の精度が低下しています）。
可視化を使用して、モデルの進行状況を判断します。（「ありがとうございます。青い点のほとんどは背景が青です」や「おっと！青い点は背景がオレンジ色になっています」）。 色だけでなく、モデルの現在の損失も数値で表示されます。（損失が下がるのではなく上がっている」）
この演習のインターフェースには、次の 3 つのボタンがあります。
| icon | 名前 | 機能 |
|---|---|---|
|
リセット | 反復回数を 0 にリセットします。モデルがすでに学習した重みをリセットします。 |
|
ステップ | イテレーションを 1 つ進めます。反復処理を行うごとに、モデルは変化します。微妙なときもあれば、劇的な変化の場合もあります。 |
|
再生成 | 新しいデータセットを生成します。反復処理はリセットされません。 |
この最初のプレイグラウンド演習では、2 つのタスクを実行して学習率をテストします。
タスク 1:プレイグラウンドの右上にある [学習率] メニューに注目してください。特定の学習率（3）は非常に高い。[ステップ] ボタンを 10 ～ 20 回クリックして、高い学習率がモデルにどのように影響するかを確認します。イテレーションのたびにモデルの可視化が劇的に変化することに注目してください。モデルが収束したように見える後、不安定さが見られることもあります。また、x1 と x2 からモデルの可視化までの線にも注意してください。これらの線の重みは、モデル内の特徴の重みを示しています。つまり、太い線は高い重みを示しています。
タスク 2: 以下を行います。
- [Reset] ボタンを押します。
- [学習率] を下げます。
- [ステップ] ボタンを何回か押します。
学習率の低下が収束にどのような影響を与えたかモデルの収束に必要なステップ数と、モデルがどの程度スムーズかつ着実に収束するかを調べます。学習率の値をさらに下げて試してみてください。学習率が遅すぎて役に立たないと感じますか。（演習のすぐ下に議論があります）。