Istnieje kilka sposobów na umieszczenie treści, np. nowoczesny algorytm Google.
Standardowe techniki redukcji wymiarów
Jest wiele istniejących metod matematycznych, które pozwalają rejestrować ważną strukturę przestrzeni wysokowymiarowej w przestrzeni o niskim wymiarze. Teoretycznie każda z tych metod może posłużyć do utworzenia umieszczonego systemu dla systemu uczącego się.
Na przykład do tworzenia osadzonych słów używana jest analiza podmiotu zabezpieczeń. Biorąc pod uwagę zestaw instancji, takich jak torba słów wektorowych, PCA próbuje znaleźć bardzo skorelowane wymiary, które można zwinąć w jeden wymiar.
Word2vec
Word2vec to algorytm wymyślony przez Google do trenowania umieszczania słów. Word2vec opiera się na hipotezie dystrybucyjnej, by zmapować semantycznie podobne słowa do wektorów geometrycznych zbliżonych do osadzania.
Hipoteza rozproszona twierdzi, że słowa, które często zawierają te same zbliżone słowa, są zazwyczaj semantyczne. Oba te wyrażenia często wyglądają na podobne do słowa &weterynarii, co odzwierciedla ich podobieństwo semantyczne. Językoznawca John Firth stworzył ją w 1957 roku. Będzie trzeba znać słowo, którego używa firma.
Word2Vec wykorzystuje tego typu informacje kontekstowe, trenując sieć neuronową, aby odróżniać grupy współwystępujących słów od losowo grupowanych słów. W warstwie wejściowej występują bardzo ogólne słowa kluczowe i co najmniej 1 słowo kontekstowe. Te dane łączą się z pojedynczą, mniejszą ukrytą warstwą.
W jednej z wersji algorytmu system negatywnym przykładem określa słowo docelowe, zastępując je losowo. Na podstawie pozytywnego przykładu samolot leci, a system tworzy z nim kontrast, co powoduje utworzenie kontrastującego przykładu „loty do biegania”
Druga wersja algorytmu tworzy wykluczające przykłady, łącząc prawdziwe słowo docelowe z losowo wybranymi słowami kontekstowymi. Wyniki działania pozytywnego (przykład, samolot) (samoloty, plakietki) oraz negatywne (skompilowane, samoloty) (kto, plakieta) mogą nauczyć się rozpoznawać, które pary faktycznie występują w tekście.
Uwaga: klasyfikator nie jest jednak prawdziwym celem żadnej wersji systemu. Po wytrenowaniu modelu masz osadzone. Wagi łączące warstwę wejściową z ukrytą warstwą mogą służyć do mapowania ograniczonych reprezentacji słów do mniejszych wektorów. Tego osadzenia można używać ponownie w innych klasyfikatorach.
Więcej informacji na temat word2vec znajdziesz w samouczku
Trenowanie osadzenia w ramach większego modelu
W ramach sieci neuronowej możesz też poznać osadzanie w ramach docelowego zadania. Ta metoda pozwala osadzić umieszczone elementy, które są dostosowane do konkretnego systemu, ale może to zająć więcej czasu niż samodzielna uczenie się.
Jeśli masz niewielkie dane (lub gęste dane, które chcesz umieścić), możesz utworzyć jednostkę osadzoną stanowiącą specjalny rodzaj ukrytej jednostki o rozmiarze d. Ta warstwa może być połączona z innymi funkcjami i ukrytymi warstwami. Jak w przypadku każdej nazwy wyróżniającej, ostatecznym punktem jest strata, która jest optymalizowana. Załóżmy na przykład, że przeprowadzamy filtrowanie współpracy, które ma na celu przewidywanie interesów innych użytkowników. Możemy modelować ten problem jako nadzorowany problem uczenia się, losowo przydzielając (lub przytrzymując) niewielką liczbę filmów, które użytkownik obejrzał jako etykiety pozytywne, a następnie optymalizując stratę softmax.
Rysunek 5. Przykładowa architektura DNN służąca do uczenia się umieszczania filmów na podstawie danych do współpracy.
Inny przykład: jeśli chcesz utworzyć warstwę do umieszczania słów w reklamie nieruchomości w ramach nazwy wyróżniającej, by przewidywać ceny nieruchomości, możesz zoptymalizować stratę L2, korzystając ze znanej ceny sprzedaży domów w danych treningowych jako etykiety.
Gdy umieszczasz elementy d na stronie, są one mapowane na punkt w przestrzeni d, by podobne elementy znajdowały się w pobliżu. Rysunek 6 pomaga zobrazować zależność między wagami nauczonymi w warstwie osadzania a widokiem geometrycznym. Wagi brzegowe między węzłami wejściowymi a węzłami w warstwie osadzania d odpowiadają wartościom współrzędnych w każdej osi d.
Rysunek 6. Geometryczny widok warstwy wagi.