深層類神經網路模型

上一節將說明如何使用矩陣分解 學習嵌入矩陣分解的限制包括：

• 使用副業的難易度 (亦即，除了 查詢 ID/項目 ID)。因此，您只能使用 訓練集內的使用者或項目
• 建議的關聯性。如第 1 行 Colab 熱門商品推薦給所有人 計算相似度量最好 使用者興趣。

深層類神經網路 (DNN) 模型可以解決這些矩陣的限制 。DNN 可以輕鬆整合查詢功能和項目功能 (因為網路輸入層的靈活性)， 掌握使用者的特定興趣，並提高 最佳化建議。

建議使用 Softmax DNN

其中一個 DNN 模型為 softmax、 會將問題視為多類別預測問題，其中：

• 輸入內容即為使用者查詢內容。
• 輸出結果是機率向量，大小等於 語料庫中的項目，代表與模型互動的機率 每個項目；例如使用者點按或觀看 YouTube 影片。

輸入

DNN 的輸入內容可包含：

• 稠密功能 (例如自上次觀看以來的觀看時間與時間)
• 稀疏功能 (例如觀看記錄和國家/地區)

有別於矩陣分解方法，您可以新增側面特徵，例如 年齡或國家/地區。我們將用 x 來表示輸入向量

圖 1 輸入層「x」。

模型架構

模型架構會決定模型的複雜度和表達能力。 透過新增隱藏層和非線性活化函式 (例如 ReLU)， 模型就能從資料中擷取更複雜的關係不過 增加參數數量也會讓模型 訓練成本較高我們會將最後一個隱藏的輸出內容 加入 $\psi (x) \in \mathbb R^d$圖層。

圖 2. 隱藏層的輸出內容 $\psi (x)$。

Softmax 輸出：預測機率分佈

該模型透過 softmax 對應最後一層 ( $\psi (x)$) 的輸出內容 納入機率分佈 $\hat p = h(\psi(x) V^T)$的流程，其中：

• $h : \mathbb R^n \to \mathbb R^n$ 是 softmax 函式 提供者： $h(y)_i=\frac{e^{y_i}}{\sum_j e^{y_j}}$
• $V \in \mathbb R^{n \times d}$ 是模型權重的權重矩陣 softmax 層

softmax 圖層會對應分數向量 $y \in \mathbb R^n$ (有時也稱為 logits) 機率分佈

圖 3 預測機率分佈， $\hat p = h(\psi(x) V^T)$。

您知道嗎？

softmax 名稱是在下列裝置上播放： 還能分析語法及擷取語言資訊 例如字詞之間的關係一個「困難」max 將機率 1 指派給分數最高的項目 $y_i$。相反地，softmax 的指定機率 較可能歸功於分數較高的項目當 分數會經過擴展，softmax $h(\alpha y)$ 的收斂至「硬」最大值 限制 $\alpha \to \infty$。

損失函式

最後，定義用來比較以下各項的損失函式：

• $\hat p$，softmax 層的輸出內容 (機率分佈)
• $p$，為真值，代表使用者擁有的商品 互動 (例如使用者點按或觀看的 YouTube 影片)。 這可表示為正規化的多鏡頭分配 ( 機率向量)。

例如，假設您要比較的是 兩項機率分佈

圖 4.損失函式。

Softmax 嵌入

項目 $j$ 機率的計算依據： $\hat p_j = \frac{\exp(\langle \psi(x), V_j\rangle)}{Z}$、 其中 $Z$ 是不依賴 $j$的正規化常數。

換句話說， $\log(\hat p_j) = \langle \psi(x), V_j\rangle - log(Z)$ 因此項目的記錄機率 $j$ 為 (達到正數常數) 兩個維度向量的內積， $d$可以解釋 做為查詢和項目嵌入

• $\psi(x) \in \mathbb R^d$ 是最後一個隱藏層的輸出內容。我們稱之為查詢的嵌入 $x$。
• $V_j \in \mathbb R^d$ 是連接最後一個隱藏層到輸出 j 的權重向量。我們稱之為項目 $j$的嵌入項目。

注意： 由於 $\log$ 是持續增加的函式， $j$ 機率最高的 $\hat p_j$ 點號最高的項目 產品 $\langle \psi(x) , V_j\rangle$。因此，內積 可以在這個嵌入空間中解讀為相似度量。

圖 5.嵌入項目 $j$、 $V_j \in \mathbb R^d$

DNN 和矩陣分解

在 softmax 模型和矩陣分解模型中 系統就會學習 $V_j$ 每項商品 $j$。我們稱之為 項目嵌入矩陣 $V \in \mathbb R^{n \times d}$ 因式分解現在是 softmax 層的權重矩陣。

但查詢嵌入不同。非學習 $U_i$ 每項查詢 $i$只要一個嵌入，系統就會學習 從查詢特徵 $x$ 到嵌入 $\psi(x) \in \mathbb R^d$ 因此，您可以將這個 DNN 模型想成一般化矩陣 因式分解，也就是以非線性方式取代查詢 函式 $\psi(\cdot)$。

你可以使用項目功能嗎？

你可以將相同的提案套用到項目端嗎？換言之，我們不會學習 模型就會學習 將項目功能對應至嵌入項目？可以。請使用雙塔 包含兩個類神經網路

• 一種類神經網路對應查詢功能 $x_{\text{query}}$ 查詢嵌入 $\psi(x_{\text{query}}) \in \mathbb R^d$
• 一種類神經網路對應項目特徵 $x_{\text{item}}$ 已對應至項目嵌入 $\phi(x_{\text{item}}) \in \mathbb R^d$

模型的輸出結果可以定義為 $\langle \psi(x_{\text{query}}), \phi(x_{\text{item}}) \rangle$。 請注意，此模型已不再是 softmax 模型。新的模型會預測 每個組合一個值 $(x_{\text{query}}, x_{\text{item}})$ 而不是每個查詢的可能性向量 $x_{\text{query}}$