Osadzanie: tłumaczenie do przestrzeni o mniej wymiarów

Umieszczanie niewielką przestrzeń, w której można tłumaczyć wielowymiarowych wektorów. Do dyskusji na temat różnic w wymiarach niskowymiarowych, patrz sekcja Kategoryczny Dane .

Wektory dystrybucyjne ułatwiają korzystanie z systemów uczących się na dużych urządzeniach. wektorów cech, takich jak ponieważ rozproszone wektory reprezentują produkty omówione poprzednia sekcja. Najlepiej, gdy wektor dystrybucyjny obejmuje część zbiorów semantykę danych wejściowych przez umieszczenie danych wejściowych, które są bardziej podobne pod względem znaczenia, w obszarze osadzania. Na przykład dobry osadzony element powinien zawierać tag słowo „samochód” Blisko „garażu” niż „słoń”. Wektor dystrybucyjny można wytrenować i ponownie wykorzystywane w różnych modelach.

Aby zrozumieć, w jaki sposób wektory dystrybucyjne reprezentują informacje, przeanalizujmy po jednowymiarowym odzwierciedleniu potraw hot dog, pizza, sałatka, szoarmę, barszcz, w skali „najmniej jak kanapka” lub „jak kanapka”. „Sandwichness” to pojedynczy wymiar.

Rysunek 3. Na osi kanapki, od najmniej do większości: barszcz, sałatka, pizza, hot dog, szoarma.
Rysunek 3. Jedzenie na wymyślonym wymiarze „kanapki”.

Gdzie w tym wierszu występuje strudel jabłkowy upadek? Może znajdować się między hot dog a shawarma. Jabłko strudel zdaje się mieć dodatkowy wymiar słodkości (ale jedzenie) lub desery (podobne do deseru), które sprawia, bardzo różni się od innych opcji. Ilustracja poniżej przedstawia to dodając „deser” wymiar:

Rysunek 4. To samo zdjęcie co poprzednio, ale z osią pionową cukiernia. Strudel jabłkowy jest między hot dogami a szoarmą, ale wysoko osi poziomej, ale wyżej, osi deseru.
Rysunek 4. Jedzenie jako „kanapka” i „desery”.

Wektor dystrybucyjny reprezentuje każdy element w przestrzeni n z oznaczeniem n. liczby zmiennoprzecinkowe (zwykle w zakresie od 1 do 1 lub 0 do 1). Na przykład umieszczenie na Rysunku 4 przedstawia każdy element posiłku w dwuwymiarową przestrzeń z dwiema współrzędnymi. Produkt „strudel jabłkowy” jest w prawą górną ćwiartkę wykresu i można ją przypisać do punktu (0,5; 0,3), a „hot dog” znajduje się w prawej dolnej ćwiartce wykresu i można mu przypisać punkt (0,2, –0,5).

We wektorze dystrybucyjnym można obliczyć odległość między dowolnymi dwoma elementami matematycznie, i można je interpretować jako względne podobieństwo obu tych elementów elementy(ów). Dwie rzeczy, które są blisko siebie, np. shawarma i hot dog na rys. 4, są bliżej powiązane niż 2 rzeczy bardziej oddalone inne, takie jak apple strudel i borscht.

Warto zauważyć, że w przestrzeni 2D na rys. 4 obszar apple strudel jest znacznie dalej od shawarma i hot dog niż w przestrzeni 1D, która odpowiada intuicja: apple strudel nie jest tak straszny jak hot dog czy szoarma psy i szoarmę są do siebie nawzajem.

Weźmy na przykład barszcz, który jest znacznie bardziej płynny niż inne produkty. Ten sugeruje trzeci wymiar, płynność (płynność żywności). Dodanie tego wymiaru umożliwia wizualizację elementów w 3D w następujący sposób:

Rysunek 5. To samo zdjęcie co wcześniej, ale z trzecią osią płynności ortogonalny do pozostałych dwóch, a barszcz przesunął się daleko wzdłuż tej osi.
Rysunek 5. Jedzenie jako „kanapka”, „deserm”, oraz „płynność”.

Gdzie w tej przestrzeni 3D Tangyuan? Jest cukier, barszcz czy słodki deser, taki jak strudel jabłkowy. a nie kanapkę. Oto jedno z możliwych miejsc docelowych:

Rysunek 6. To samo zdjęcie co wcześniej, ale z tangyuan umieszczonym wysoko słodkość i płynność, a za mało kanapkowe.
Rysunek 6. Dodaję tangyuan do poprzedniego zdjęcia, wysoka jakość „cukierność” i „płynność” a ostatnio „kanapka”.

Zwróć uwagę, ile informacji jest wyrażonych w tych 3 wymiarach. Możesz dodać kolejne wymiary, takie jak mięso czy pieczenie.

Praktyczne przestrzenie

Jak widać na powyższych przykładach, nawet mała, wielowymiarowa przestrzeń zapewnia swobodę grupowania semantycznie podobnych elementów i przechowywania w odległości niepodobnych elementów. Położenie (odległość i kierunek) w wektorze może ona kodować semantykę w poprawnym wektorze dystrybucyjnym. Na przykład: wizualizacje prawdziwych wektorów dystrybucyjnych ilustrują zależności geometryczne między słowami oznaczającymi kraj i jego stolicę. Jak widać, odległość z „Kanada” do „Ottawa” jest mniej więcej taki sam jak odległość z Turcji do „Ankara”.

Rysunek 7. 3 przykłady wektorów dystrybucyjnych słów reprezentujących słowo zależności geometrycznie: płeć (mężczyzna/kobieta i król/królowa to mniej więcej tej samej długości), czasownik (chód/chód, pływanie/pływanie to mniej więcej tej samej długości) oraz stolice (Turcja/Ankara i Wietnam/Hanoi to mniej więcej takiej samej długości).
Rysunek 7. Umieszczanie dekoracyjne może dawać niezwykłe analogie.

Znacząca przestrzeń wektorowa pomaga modelowi systemów uczących się wykrywać wzorce podczas trenowania.

Ćwiczenie

W tym ćwiczeniu użyjesz metody Umieszczanie Narzędzie projektora do wizualizacji słowa wektor dystrybucyjny o nazwie word2vec, który oznacza cyfrowo ponad 70 000 angielskich słów w przestrzeni wektorowej.

Zadanie 1

Wykonaj poniższe zadania, a następnie odpowiedz na pytanie poniżej.

  1. Otwórz narzędzie Umieszczanie projektora.

  2. W polu Szukaj w panelu po prawej stronie wpisz słowo atom. Potem kliknij słowo atom w poniższych wynikach (w sekcji 4 dopasowania). Twoje powinien wyglądać jak na ilustracji 8.

    Rysunek 8. Zrzut ekranu przedstawiający narzędzie Projektor do umieszczania na stronie z elementem „atom” wprowadzone w polu wyszukiwania (zakreślone na czerwono). Wizualizacja w środek narzędzia opatrzył teraz adnotację do jednego z punktów słowem „atom”, a także dodaje adnotacje słowne do miejsc w pobliżu. W „Najbliższych” punktów lista zawierająca słowa „atomy”, „molekuła” i „elektrony” są wymienione jak najbliższe słowa w przestrzeni wektorowej do słowa „atom”.
    Rysunek 8. Osadzanie narzędzia projektora ze słowem „atom” Dodano w polu wyszukiwania (zakreślone na czerwono).

  3. Jeszcze raz w panelu po prawej stronie kliknij przycisk Izoluj 101 punktów (powyżej w polu Szukaj), aby wyświetlić 100 słów do argumentu atom. ekran, powinien wyglądać jak na rysunku 9.

    Rysunek 9. Zrzut ekranu narzędzia Projektor do umieszczania na stronie, teraz z komponentem „Odizoluj 101 punktów” (przycisk w kółku na czerwono). Wizualizacja z Rys. 8 zostało zaktualizowane tak, aby wyświetlać tylko słowo „atom”, a 100 najbliższych słów w przestrzeni wektorowej, w tym słowa „atomy”, „jądro atomowe” i „cząsteczka”.
    Rysunek 9. Umieszczanie narzędzia projektora, teraz z funkcją „Izoluj 101 punktów” kliknięty (zakreślony na czerwono).

Teraz przejrzyj słowa wymienione w sekcji Najbliższe punkty w oryginalnym miejscu. Jak możesz opisać te słowa?

Kliknij tutaj, aby poznać odpowiedź

Większość najbliższych słów to słowa powszechnie kojarzone ze słowem „atom”, np. w formie liczby mnogiej „atomy”, a słowa „elektron”, „molekule”, i „jądro atomowe”.

Zadanie 2

Wykonaj te zadania, a następnie odpowiedz na pytanie:

  1. Kliknij przycisk Pokaż wszystkie dane w panelu po prawej stronie, aby zresetować dane. wizualizacji z zadania 1.

  2. W polu Szukaj w panelu po prawej stronie wpisz słowo uran. Twój ekran powinien wyglądać jak na ilustracji 10.

    Rysunek 10. Zrzut ekranu przedstawiający narzędzie do umieszczania projektora z elementem „uraniu” wprowadzonej w polu wyszukiwania. Wizualizacja na środku oznacza jeden z punktów za pomocą słowa „uran”, a także dodaje adnotacje tekstowe dotyczące punktów w pobliżu. W sekcji „Najbliższe punkty” , „węgiel”, „izotop”, „nikiel”, „tlenek”, „rud”, „cyn” oraz „mangan” są wymienione jako najbliższe słowa w przestrzeni wektorowej „uran”.
    Rysunek 10. Osadzanie projektora ze słowem „uran” w polu wyszukiwania.

Sprawdź słowa wymienione w sekcji Najbliższe punkty w oryginalnym miejscu. Jak Czy te słowa różnią się od najbliższych słów oznaczających atom?

Kliknij tutaj, aby poznać odpowiedź

Uran oznacza określony materiał radioaktywny pierwiastek chemiczny, wiele najbliższych słów to inne pierwiastki, takie jak cynk, mangan, miedzią i aluminium.

Zadanie 3

Wykonaj te zadania, a następnie odpowiedz na pytanie:

  1. Kliknij przycisk Pokaż wszystkie dane w panelu po prawej stronie, aby zresetować dane. wizualizacji z zadania 2.

  2. W panelu po prawej stronie w polu Szukaj wpisz wyraz pomarańczowy. Twoje powinien wyglądać jak na ilustracji 11.

    Rysunek 11. Zrzut ekranu z narzędziem do umieszczania projektora z napisem „pomarańczowy” wprowadzonej w polu wyszukiwania. Wizualizacja na środku narzędzia oznacza jeden z punktów słowem „pomarańczowy”, a także dodaje słowo adnotacje do punktów w pobliżu. W sekcji „Najbliższe punkty” lista, „żółty”, „zielony”, „niebieski”, „fioletowy” i „kolory”. są wymienione jak najbliższe wartości wektorowej do „pomarańczowego”.
    Rysunek 11. Umieszczanie narzędzia projektora ze słowem „pomarańczowy” w polu wyszukiwania.

Sprawdź słowa wymienione w sekcji Najbliższe punkty w oryginalnym miejscu. Co zwraca uwagę na rodzaj wyświetlanych tutaj słów lub ich rodzaj? nie jest tutaj uwzględnione?

Kliknij tutaj, aby poznać odpowiedź

Prawie wszystkie najbliższe słowa to inne kolory, na przykład „żółty” „zielony”, „niebieski”, „fioletowy”, i „czerwony”. tylko jedno z najbliższych słów („sok”) odnosi się do innego znaczenia słowa (owoc cytrusowy). Inne owoce których możesz się spodziewać, np. „jabłko” i „banan”, nie znalazł(a) się na liście najbliższe wartości.

Ten przykład ilustruje jeden z głównych wad wektorów dystrybucyjnych statycznych np. word2vec. Wszystkie możliwe znaczenia słowa są reprezentowane przez jedno w przestrzeni wektorowej. Kiedy przeprowadzisz analizę podobieństw dla koloru pomarańczowego, to nie można wyodrębnić najbliższych punktów dla określonego oznaczenia słowa, na przykład „pomarańczowy” (owoc), ale nie „pomarańczowy” (kolor).
Wstecz
Wprowadzenie (5 min)
Dalej
Uzyskiwanie wektorów dystrybucyjnych (10 min)