嵌入是一種相對較低的維度空間，可用來翻譯高維度向量。嵌入功能可讓您更輕鬆地針對大型輸入進行機器學習，例如代表字詞的稀疏向量。在理想情況下，嵌入功能會在嵌入空間中同時指定語意相似的輸入內容，藉此擷取輸入中的部分語意。嵌入功能可瞭解並重複使用模型。
嵌入
協作篩選功能動機
- 輸入：500,000 位使用者選擇觀看的 1,000,000 部電影
- 工作：向使用者推薦電影
如要解決這個問題，您必須運用一些方法來確認電影類似。
分類相似電影 (1 天)
依相似度分類電影 (2 天)
2D 嵌入
2D 嵌入
D 維度嵌入
- 假設使用者對電影的感興趣程度可按 D 點大致說明
- 每部電影都會變成 D 維點，其中維度 d 的值代表電影的長寬比
- 嵌入資料可以從資料中學習
深入瞭解深度學習網路
- 不需獨立的訓練程序；嵌入圖層只是隱藏圖層，每個維度各有一個單元
- 受監督的資訊 (例如正在觀看兩部電影的使用者) 可根據需要的工作，量身打造相關的嵌入內容
- 直觀的單位將示範如何在 D 維空間中整理項目，以達到最佳最終目標
輸入代表
- 每個範例 (此矩陣中的一列) 都是使用者觀看的功能 (電影) 的稀疏向量
- 這個範例的深度表示如下：(0, 1, 0, 1, 0, 0, 0, 1)
時往往並不在空間和時間上。
輸入代表
- 建立字典，將每個特徵對應至 0 到 1 之間的整數 - # 電影 - 1
- 有效代表稀疏向量，僅如使用者觀看的電影。可能表示如下：
深層連結網路中的嵌入層
預測房屋銷售價格的迴歸問題：
深層連結網路中的嵌入層
預測房屋銷售價格的迴歸問題：
深層連結網路中的嵌入層
預測房屋銷售價格的迴歸問題：
深層連結網路中的嵌入層
預測房屋銷售價格的迴歸問題：
深層連結網路中的嵌入層
預測房屋銷售價格的迴歸問題：
深層連結網路中的嵌入層
預測房屋銷售價格的迴歸問題：
深層連結網路中的嵌入層
可預測手寫數字的多類別分類：
深層連結網路中的嵌入層
可預測手寫數字的多類別分類：
深層連結網路中的嵌入層
可預測手寫數字的多類別分類：
深層連結網路中的嵌入層
可預測手寫數字的多類別分類：
深層連結網路中的嵌入層
可預測手寫數字的多類別分類：
深層連結網路中的嵌入層
可預測手寫數字的多類別分類：
深層連結網路中的嵌入層
可預測手寫數字的多類別分類：
深層連結網路中的嵌入層
協同合作式篩選功能，預測系統推薦的電影：
深層連結網路中的嵌入層
協同合作式篩選功能，預測系統推薦的電影：
深層連結網路中的嵌入層
協同合作式篩選功能，預測系統推薦的電影：
深層連結網路中的嵌入層
協同合作式篩選功能，預測系統推薦的電影：
深層連結網路中的嵌入層
協同合作式篩選功能，預測系統推薦的電影：
深層連結網路中的嵌入層
協同合作式篩選功能，預測系統推薦的電影：
深層連結網路中的嵌入層
協同合作式篩選功能，預測系統推薦的電影：
幾何圖形檢視的對應內容
深層網路
- 每個隱藏單位都會對應一個維度 (潛在特徵)
- 電影和隱藏圖層之間的邊緣權重是座標值
單一電影嵌入的幾何圖形檢視畫面
選取嵌入嵌入次數
- 維度較高的嵌入能夠更準確地呈現輸入值之間的關係
- 但是越多維度會增加過度配適的可能性，並導致訓練速度變慢
- 經驗法則 (使用驗證資料或許是個很好的起點)： $$ dimensions \approx \sqrt[4]{possible\;values} $$
嵌入內容
- 以類似項目接近的方式將地圖項目 (例如電影、文字、...) 嵌入至低尺寸真實向量
- 也可以將嵌入資料套用到大量資料 (例如音訊)，建立有意義的相似指標
- 共同嵌入各種資料類型 (例如文字、圖片、音訊...) 會定義兩者的相似程度