嵌入:翻譯成較低層的空間

您可以將高維度資料對應至低維度空間,藉此解決稀疏輸入資料的核心問題。

如先前所述的電影運動所示,即使是小型的多維空間,也能自由將語義相似的項目分組,並將類似的項目分開。在向量空間中位置 (距離和方向) 可對良好的嵌入進行編碼。舉例來說,下列真實的嵌入會以視覺化方式顯示幾何圖形關係,擷取國家/地區和首都之間的關係:

三個字詞嵌入範例,代表著不同的地理區域關係:性別 (男性/女子和國王/皇后)、動詞階段 (步行/步行與游泳/游泳),以及首都城市 (土耳其/安卡拉和越南/漢包)

圖 4 嵌入功能可能會產生令人讚嘆的類比。

這種有意義的空間讓機器學習系統有機會偵測出可能有助於學習任務的模式。

縮減網路

雖然我們希望有足夠的維度來對豐富的語意關係進行編碼,但我們也希望這個嵌入式空間要夠小,這樣系統才能更迅速地訓練系統。實用的嵌入可能會是數百種維度的順序。這可能是因為某個自然語言任務的詞彙量,小於數筆水平。