検証セット

データセットをトレーニング セットとテストセットにパーティショニングすることで、特定のモデルが新しいデータに対して適切に一般化できるかどうかを判断できます。ただし、ハイパーパラメータ調整を何度も行う場合、2 つのパーティションでは不十分な場合があります。

検証

3 つのステージで構成されるワークフローの図1. トレーニング セットでモデルをトレーニングします。2. テストセットでモデルを評価する3. テストセットの結果に応じてモデルを微調整する1、2、3 を反復して、最終的にはテストセットに対して最も優れたモデルを選択します。
3 つの部分に分割された水平バー: 70% がトレーニング セット、15% が検証セット、15% がテストセット
ワークフローは図 1 とほぼ同じですが、テストセットに対してモデルを評価する代わりに、検証セットに対してモデルを評価します。トレーニング セットと検証セットがほぼ一致したら、テストセットとモデルを比較します。