嵌入是一種相對較低的維度空間,可用來翻譯高維度向量。嵌入功能可讓您更輕鬆地針對大型輸入進行機器學習,例如代表字詞的稀疏向量。在理想情況下,嵌入功能會在嵌入空間中同時指定語意相似的輸入內容,藉此擷取輸入中的部分語意。嵌入功能可瞭解並重複使用模型。
嵌入
協作篩選功能動機
- 輸入:500,000 位使用者選擇觀看的 1,000,000 部電影
- 工作:向使用者推薦電影
如要解決這個問題,您必須運用一些方法來確認電影類似。
分類相似電影 (1 天)
依相似度分類電影 (2 天)
2D 嵌入
2D 嵌入
D 維度嵌入
- 假設使用者對電影的感興趣程度可按 D 點大致說明
- 每部電影都會變成 D 維點,其中維度 d 的值代表電影的長寬比
- 嵌入資料可以從資料中學習
深入瞭解深度學習網路
- 不需獨立的訓練程序;嵌入圖層只是隱藏圖層,每個維度各有一個單元
- 受監督的資訊 (例如正在觀看兩部電影的使用者) 可根據需要的工作,量身打造相關的嵌入內容
- 直觀的單位將示範如何在 D 維空間中整理項目,以達到最佳最終目標
輸入代表
- 每個範例 (此矩陣中的一列) 都是使用者觀看的功能 (電影) 的稀疏向量
- 這個範例的深度表示如下:(0, 1, 0, 1, 0, 0, 0, 1)
時往往並不在空間和時間上。
輸入代表
- 建立字典,將每個特徵對應至 0 到 1 之間的整數 - # 電影 - 1
- 有效代表稀疏向量,僅如使用者觀看的電影。可能表示如下:
深層連結網路中的嵌入層
預測房屋銷售價格的迴歸問題:
深層連結網路中的嵌入層
預測房屋銷售價格的迴歸問題:
深層連結網路中的嵌入層
預測房屋銷售價格的迴歸問題:
深層連結網路中的嵌入層
預測房屋銷售價格的迴歸問題:
深層連結網路中的嵌入層
預測房屋銷售價格的迴歸問題:
深層連結網路中的嵌入層
預測房屋銷售價格的迴歸問題:
深層連結網路中的嵌入層
可預測手寫數字的多類別分類:
深層連結網路中的嵌入層
可預測手寫數字的多類別分類:
深層連結網路中的嵌入層
可預測手寫數字的多類別分類:
深層連結網路中的嵌入層
可預測手寫數字的多類別分類:
深層連結網路中的嵌入層
可預測手寫數字的多類別分類:
深層連結網路中的嵌入層
可預測手寫數字的多類別分類:
深層連結網路中的嵌入層
可預測手寫數字的多類別分類:
深層連結網路中的嵌入層
協同合作式篩選功能,預測系統推薦的電影:
深層連結網路中的嵌入層
協同合作式篩選功能,預測系統推薦的電影:
深層連結網路中的嵌入層
協同合作式篩選功能,預測系統推薦的電影:
深層連結網路中的嵌入層
協同合作式篩選功能,預測系統推薦的電影:
深層連結網路中的嵌入層
協同合作式篩選功能,預測系統推薦的電影:
深層連結網路中的嵌入層
協同合作式篩選功能,預測系統推薦的電影:
深層連結網路中的嵌入層
協同合作式篩選功能,預測系統推薦的電影:
幾何圖形檢視的對應內容
深層網路
- 每個隱藏單位都會對應一個維度 (潛在特徵)
- 電影和隱藏圖層之間的邊緣權重是座標值
單一電影嵌入的幾何圖形檢視畫面
選取嵌入嵌入次數
- 維度較高的嵌入能夠更準確地呈現輸入值之間的關係
- 但是越多維度會增加過度配適的可能性,並導致訓練速度變慢
- 經驗法則 (使用驗證資料或許是個很好的起點): $$ dimensions \approx \sqrt[4]{possible\;values} $$
嵌入內容
- 以類似項目接近的方式將地圖項目 (例如電影、文字、...) 嵌入至低尺寸真實向量
- 也可以將嵌入資料套用到大量資料 (例如音訊),建立有意義的相似指標
- 共同嵌入各種資料類型 (例如文字、圖片、音訊...) 會定義兩者的相似程度