Modele głębokich sieci neuronowych

W poprzedniej sekcji pokazaliśmy, jak za pomocą rozkładu macierzystego wektorów dystrybucyjnych. Niektóre ograniczenia rozkładu macierzystego na czynniki są następujące:

• Trudność w korzystaniu z funkcji pobocznych (czyli funkcji spoza domeny identyfikator zapytania lub identyfikator produktu). W związku z tym zapytania do modelu można wysyłać tylko przy użyciu użytkownika lub elementu w zbiorze treningowym.
• Trafność rekomendacji. Tak jak w pierwszym z nich Colab Popularne produkty są zwykle polecane wszystkim, zwłaszcza gdy używasz iloczyn skalarny jako miara podobieństwa. Lepiej rejestrować konkretne zainteresowań użytkowników.

Modele głębokiej sieci neuronowej (DNN) mogą poradzić sobie z tymi ograniczeniami macierzy na czynniki pierwsze. Sieci DNN mogą łatwo uwzględniać funkcje zapytań i elementy (ze względu na elastyczność warstwy wejściowej sieci), co może pomóc Uwzględniają konkretne zainteresowania użytkownika i zwiększają trafność o zaleceniach.

Softmax DNN na potrzeby rekomendacji

Jednym z możliwych modeli DNN jest softmax, który traktuje problem jako wieloklasowy problem prognostyczny, w którym:

• Dane wejściowe to zapytanie użytkownika.
• Wynikiem jest wektor prawdopodobieństwa o rozmiarze równym liczbie elementy w korpusie, reprezentujące prawdopodobieństwo interakcji z nim każdy element; np. prawdopodobieństwo kliknięcia lub obejrzenia Film w YouTube.

Dane wejściowe

Dane wejściowe nazwy DNN mogą obejmować:

• szczegółowe funkcje (np. czas oglądania i czas od ostatniego oglądania).
• rozproszone funkcje (na przykład historia oglądania i kraj),

W odróżnieniu od metody podziału na czynniki w postaci macierzy możesz dodać funkcje uboczne, takie jak wieku lub kraju. Wektor wejściowy zostanie oznaczony przez x.

Rysunek 1. Warstwa wejściowa x.

Architektura modelu

Architektura modelu określa jego złożoność i ekspresję. Dodając ukryte warstwy i nieliniowe funkcje aktywacji (np. ReLU), model może wychwytywać w danych bardziej złożone relacje. Pamiętaj jednak: Zwiększenie liczby parametrów zwykle utrudnia też modelowi i droższe rozwiązanie. Będziemy opisywać dane wyjściowe z ostatniego ukrytego o $\psi (x) \in \mathbb R^d$.

Rys. 2. Dane wyjściowe ukrytych warstw, $\psi (x)$.

Dane wyjściowe Softmax: przewidywany rozkład prawdopodobieństwa

Model mapuje dane wyjściowe ostatniej warstwy ( $\psi (x)$), za pomocą funkcji softmax do rozkładu prawdopodobieństwa $\hat p = h(\psi(x) V^T)$, gdzie:

• $h : \mathbb R^n \to \mathbb R^n$ to funkcja softmax, podane przez: $h(y)_i=\frac{e^{y_i}}{\sum_j e^{y_j}}$
• $V \in \mathbb R^{n \times d}$ to macierz wag warstwa softmax.

Warstwa softmax mapuje wektor wyników $y \in \mathbb R^n$ (Czasem nazwa logits) do rozkładu prawdopodobieństwa.

Rysunek 3. Prognozowany rozkład prawdopodobieństwa: $\hat p = h(\psi(x) V^T)$.

Czy wiesz, że...

Nazwa softmax jest odtwarzana na słowa kluczowe. „Twarde” max przypisuje prawdopodobieństwo 1 do elementu o najwyższym wyniku $y_i$Z kolei funkcja softmax przypisuje wszystkim prawdopodobieństwu inne niż 0. , co zwiększa prawdopodobieństwo dla elementów z wyższym wynikiem. Gdy wyniki są skalowane, funkcja softmax $h(\alpha y)$ zbiera się do „twardego” maksimum limitem jest $\alpha \to \infty$.

Funkcja utraty

Na koniec zdefiniuj funkcję straty, która porównuje te wartości:

• $\hat p$: dane wyjściowe warstwy softmax (rozkład prawdopodobieństwa)
• $p$, dane podstawowe (ground truth), które reprezentują elementy posiadane przez użytkownika z którymi wchodził w interakcję (np. filmy w YouTube, które użytkownik kliknął lub obejrzał). Można to przedstawić znormalizowanym rozkładem kilku par gorących ( wektor prawdopodobieństwa).

Możesz np. użyć straty entropii krzyżowej, ponieważ porównujesz dwóch rozkładów prawdopodobieństwa.

Rysunek 4. Funkcja straty.

Osadzanie Softmax

Prawdopodobieństwo elementu $j$ jest określone przez $\hat p_j = \frac{\exp(\langle \psi(x), V_j\rangle)}{Z}$, gdzie $Z$ jest stałą normalizacją, która nie zależy od $j$.

Innymi słowy, $\log(\hat p_j) = \langle \psi(x), V_j\rangle - log(Z)$, więc log prawdopodobieństwa elementu $j$ wynosi (do stałej sumy) iloczyn skalarny dwu $d$wymiarowych wektorów, które można interpretować jako wektory dystrybucyjne zapytań i elementów:

• $\psi(x) \in \mathbb R^d$ to dane wyjściowe ostatniej ukrytej warstwy. Nazywamy to umieszczeniem zapytania $x$.
• $V_j \in \mathbb R^d$ to wektor wag łączący ostatnią ukrytą warstwę z danymi wyjściowymi j. Nazywamy to umieszczaniem elementu $j$.

Uwaga: funkcja $\log$ jest coraz większa, dlatego elementy $j$ z najwyższe prawdopodobieństwo $\hat p_j$ to elementy z największą kropką $\langle \psi(x) , V_j\rangle$. Iloczyn skalarny można zinterpretować jako wskaźnik podobieństwa w tej przestrzeni osadzonej.

Rysunek 5. Umieszczanie elementu $j$, $V_j \in \mathbb R^d$

DNN i rozkładanie macierzy

Zarówno w modelu softmax, jak i matrycznym modelu rozkładu na czynniki system uczy się jednego wektora dystrybucyjnego $V_j$ za element $j$. macierz wektora dystrybucyjnego elementu $V \in \mathbb R^{n \times d}$ w macierzy rozłożenie na czynniki jest teraz macierzą wag warstwy softmax.

Wektory dystrybucyjne zapytań są jednak inne. Zamiast uczyć się po jednym $U_i$ umieszczaniu na zapytanie $i$, system uczy się mapowania z funkcji zapytań $x$ do wektora dystrybucyjnego $\psi(x) \in \mathbb R^d$. Można więc traktować ten model DNN jako uogólnienie macierzy w postaci rozkładu na czynniki, w którym strona zapytania jest zastępowana funkcja $\psi(\cdot)$.

Czy można korzystać z funkcji produktu?

Czy możesz zastosować ten sam pomysł do produktu? Zamiast uczyć się jednego wektora dystrybucyjnego na element, czy model może nauczyć się funkcji nieliniowej, która mapuje funkcji elementu w umieszczaniu? Tak. Aby to zrobić, użyj 2 wieży Sieć neuronowa, która składa się z 2 sieci neuronowych:

• Funkcje zapytań dotyczące mapy jednej sieci neuronowej $x_{\text{query}}$ aby wysłać zapytanie do umieszczenia $\psi(x_{\text{query}}) \in \mathbb R^d$
• Jedna sieć neuronowa mapuje cechy elementu $x_{\text{item}}$ do umieszczenia elementu $\phi(x_{\text{item}}) \in \mathbb R^d$

Dane wyjściowe modelu można zdefiniować jako iloczyn skalarny $\langle \psi(x_{\text{query}}), \phi(x_{\text{item}}) \rangle$ Pamiętaj, że nie jest to już model softmax. Nowy model przewiduje, jedna wartość na parę $(x_{\text{query}}, x_{\text{item}})$ zamiast wektora prawdopodobieństwa dla każdego zapytania. $x_{\text{query}}$