Umieszczanie to stosunkowo niska przestrzeń, w której można tłumaczyć wektory wysokowymiarowe. Umieszczone elementy ułatwiają naukę systemów uczących się w przypadku dużych danych wejściowych, takich jak wąskie wektory reprezentujące słowa. W idealnym przypadku osadzony fragment powinien uwzględniać semantykę danych wejściowych, umieszczając semantycznie podobne dane wejściowe w miejscu docelowym. Umieszczone elementy można poznać i ponownie wykorzystać w różnych modelach.
Umieszczanie
Motywacja ze wspólnego filtrowania
- Wejście: 1 000 000 filmów, które 500 tys. użytkowników obejrzało.
- Zadanie: polecanie filmów użytkownikom
Aby rozwiązać ten problem, potrzebujemy jakiejś metody, która pozwoli nam określić, które filmy są do siebie podobne.
Porządkowanie filmów według podobieństwa (1 dzień)
Porządkowanie filmów według podobieństwa (2 dni)
Umieszczanie dwuwymiarowe
Umieszczanie dwuwymiarowe
Osadzenia d-wymiarowe
- Zakłada, że zainteresowanie użytkowników filmami jest wyjaśnione przez różne aspekty
- Każdy film staje się punktem D wymiarów, w którym wartość wymiaru d wskazuje, w jakim stopniu film odpowiada temu aspektowi.
- Umieszczone elementy można poznać na podstawie danych
Umieszczanie osadzonych zasobów w głębokiej sieci
- Nie jest potrzebny oddzielny proces trenowania – wbudowana warstwa jest po prostu ukrytą warstwą z jedną jednostką na wymiar.
- Informacje nadzorowane (np.użytkownicy, którzy obejrzeli te same 2 filmy) dostosowują w nim umieszczoną treść.
- Ukryte jednostki zorientują się, jak porządkować elementy w przestrzeni d wymiarowej, by jak najlepiej zoptymalizować końcowy cel.
Przedstawienie danych wejściowych
- Każdy przykład (wiersz na tej tablicy) to niewielki wektor funkcji (filmów) obejrzanych przez użytkownika.
- Gęstość symbolizująca ten przykład: (0, 1, 0, 1, 0, 0, 0, 1)
Nie jest wydajny pod względem czasu i miejsca.
Przedstawienie danych wejściowych
- Utwórz słownik słownikowy do mapowania liczby całkowitej na liczbę z zakresu 0, ..., # filmów – 1
- Skutecznie reprezentuj wąski wektor jako filmy oglądane przez użytkownika. Może to wyglądać tak:
Umieszczanie warstwy w głębokiej sieci
Błąd regresji, aby przewidzieć ceny sprzedaży domowej:
Umieszczanie warstwy w głębokiej sieci
Błąd regresji, aby przewidzieć ceny sprzedaży domowej:
Umieszczanie warstwy w głębokiej sieci
Błąd regresji, aby przewidzieć ceny sprzedaży domowej:
Umieszczanie warstwy w głębokiej sieci
Błąd regresji, aby przewidzieć ceny sprzedaży domowej:
Umieszczanie warstwy w głębokiej sieci
Błąd regresji, aby przewidzieć ceny sprzedaży domowej:
Umieszczanie warstwy w głębokiej sieci
Błąd regresji, aby przewidzieć ceny sprzedaży domowej:
Umieszczanie warstwy w głębokiej sieci
Klasyfikacja wieloklasowa do przewidywania pisma odręcznej:
Umieszczanie warstwy w głębokiej sieci
Klasyfikacja wieloklasowa do przewidywania pisma odręcznej:
Umieszczanie warstwy w głębokiej sieci
Klasyfikacja wieloklasowa do przewidywania pisma odręcznej:
Umieszczanie warstwy w głębokiej sieci
Klasyfikacja wieloklasowa do przewidywania pisma odręcznej:
Umieszczanie warstwy w głębokiej sieci
Klasyfikacja wieloklasowa do przewidywania pisma odręcznej:
Umieszczanie warstwy w głębokiej sieci
Klasyfikacja wieloklasowa do przewidywania pisma odręcznej:
Umieszczanie warstwy w głębokiej sieci
Klasyfikacja wieloklasowa do przewidywania pisma odręcznej:
Umieszczanie warstwy w głębokiej sieci
Wspólne filtrowanie prognozowanych filmów:
Umieszczanie warstwy w głębokiej sieci
Wspólne filtrowanie prognozowanych filmów:
Umieszczanie warstwy w głębokiej sieci
Wspólne filtrowanie prognozowanych filmów:
Umieszczanie warstwy w głębokiej sieci
Wspólne filtrowanie prognozowanych filmów:
Umieszczanie warstwy w głębokiej sieci
Wspólne filtrowanie prognozowanych filmów:
Umieszczanie warstwy w głębokiej sieci
Wspólne filtrowanie prognozowanych filmów:
Umieszczanie warstwy w głębokiej sieci
Wspólne filtrowanie prognozowanych filmów:
Zgodność z widokiem geometrycznym
Szczegółowa sieć
- Każda ukryta jednostka odpowiada wymiarowi (funkcja późniejsza)
- Wagi brzegowe filmu i ukrytej warstwy to wartości współrzędnych
Widok geometryczny. Umieszczanie pojedynczego filmu
Wybieranie przyciemnień
- Osadzenia o wyższych wymiarach mogą lepiej odzwierciedlać zależności między wartościami wejściowymi
- Więcej wymiarów zwiększa jednak ryzyko zbytniego dopasowania i powoduje wolniejsze treningi.
- Ekstremalna zasada (dobrze nadaje się na początek, ale należy do niej dostosowywać dane): $$ dimensions \approx \sqrt[4]{possible\;values} $$
Umieszczanie jako narzędzie
- Umieszczone elementy map (np. filmy, tekst itp.) na rzeczywistych obiektach w niskich wymiarach w taki sposób, że podobne elementy są blisko siebie
- Osadzenia można również stosować do gęstych danych (np.dźwięku), aby utworzyć istotne dane dotyczące podobieństwa.
- Wspólne umieszczanie różnych typów danych (np. tekstu, obrazów, plików audio itp.) określa podobieństwo między nimi