クラスタリングは教師なしであるため、 グラウンド トゥルースを使用できる 表示されます。信頼できる情報がないと、品質の評価が複雑になります。さらに、 通常、実際のデータセットでは、 示しています。
<ph type="x-smartling-placeholder">
それどころか、実際のデータは図 2 のように見える場合が多く、 クラスタリング品質を視覚的に評価できます。
<ph type="x-smartling-placeholder">
繰り返し適用できるヒューリスティックとベスト プラクティスもあります。 クラスタ化の品質を向上させます次のフローチャートは クラスタリング結果を評価する方法の概要を説明します。それぞれのモジュールを 示します。
<ph type="x-smartling-placeholder">
ステップ 1: クラスタリングの品質を評価する
まず、クラスタが想定どおりに表示され、その例が 同じクラスタ内に出現します。
次に、よく使用される以下の指標を確認します（すべてを網羅しているわけではありません）。
- クラスタのカーディナリティ
- クラスタの大きさ
- 下流でのパフォーマンス
クラスタのカーディナリティ
クラスタのカーディナリティは、クラスタごとの例の数です。プロット すべてのクラスタのカーディナリティを確認し、 大きく外れています。図 2 では、クラスタ 5 になります。
<ph type="x-smartling-placeholder">
クラスタの大きさ
[クラスタの大きさ] は、クラスタ内のすべてのサンプルからの距離の合計です。 クラスタのセントロイドに移動しますすべてのクラスタのクラスタの大きさをプロットし、 外れ値を調査します。図 3 では、クラスタ 0 が外れ値です。
また、サンプルの最大距離または平均距離にも着目することを検討します。 外れ値を見つけることもできます。
<ph type="x-smartling-placeholder">
<ph type="x-smartling-placeholder">大きさとカーディナリティ
お気づきかもしれませんが、クラスタのカーディナリティが高いほど、 線形回帰は直感的に理解できます。というのも、 それらの距離の和の確率が高いほど、 中心点（強度）から点数を計算します。異常なクラスタを特定したり 基数と大きさの関係が 他のクラスタとは大きく異なります。図 4 では、 カーディナリティと大きさのプロットから、クラスタ 0 が異常であることがわかります。 （クラスタ 5 も線から遠く離れていますが、クラスタ 0 を省略すると、 クラスタ 5 にかなり近い線が表示されます）。
<ph type="x-smartling-placeholder">
<ph type="x-smartling-placeholder">下流でのパフォーマンス
クラスタリング出力はダウンストリームの ML システムでよく使用されるため、 クラスタリング プロセスが変更されると、ダウンストリーム モデルのパフォーマンスが向上します。 これにより、クラスタリング結果の品質を実際に評価できます。 ただし、この種のテストの実施は複雑で費用がかかる可能性があります。
ステップ 2: 類似性尺度を再評価する
クラスタリング アルゴリズムの性能は、類似性の尺度で決まります。確認事項 良い結果が得られます簡単なチェックは 程度の差があることがわかっている例のペアを特定します。計算する サンプルのペアごとに類似度を測定し、 あなたの知識: 類似した例のペアの方が類似性が高い 異なるサンプルのペアよりも特徴量を測定します。
類似度のスポットチェックに使用する例は、 その類似度がデータセットを表す 保持できます。P-MAX キャンペーンのパフォーマンスは 類似度尺度は、手動か教師ありかにかかわらず、 見てみましょう。類似度の測定値に一貫性がない場合、 類似の例でクラスタ化されることはありません。
類似度スコアが不正確な例が見つかった場合、その類似度は これらを区別する特徴データを完全には 捕捉できない可能性があります 説明します。類似度をいろいろ試して、結果が出るまでテストする 正確で一貫性のある結果を導き出すことです。
ステップ 3: 最適なクラスタ数を見つける
K 平均法では、クラスタの数を事前に決めておく必要があります。 \(k\) 方法 最適な \(k\)を判断できますか？次を使用してアルゴリズムを実行してみましょう。 \(k\) の値が増加し、すべてのクラスタの大きさの合計に注意してください。として \(k\) が増加してクラスタが小さくなり、ポイントの総距離が増加します 重心が減少しますこの合計距離は損失として扱うことができます。 この距離をクラスタ数に対してプロットします。
図 5 に示すように、一定の \(k\)を超えると、損失の削減量は次のようになります。 増加するにつれて減少します \(k\)。 \(k\)の使用を検討してください。 傾きが最初に大きく変化します。これは エルボー メソッド対象: プロットの場合、最適な \(k\) は約 11 です。よりきめ細かい制御が必要な場合は、 このプロットを参照して、より高い \(k\)を選択できます。
<ph type="x-smartling-placeholder">
<ph type="x-smartling-placeholder">トラブルシューティングに関する質問
評価の過程で問題が見つかった場合は、データを再評価する 選択した類似性尺度を示します。質問:
- データは適切にスケーリングされていますか？
- 類似度の測定値は正確ですか？
- アルゴリズムがデータに対して意味的に意味のあるオペレーションを実行しているか。
- アルゴリズムの仮定はデータと一致していますか？