Słowniczek systemów uczących się: generatywna AI

Ta strona zawiera terminy z glosariusza generatywnej AI. Aby zobaczyć wszystkie terminy ze glosariusza, kliknij tutaj.

O

model autoregresywny

#language
#image
#generatywna AI

model, który ustala prognozę na podstawie własnych wcześniejszych prognoz. Na przykład automatycznie regresywne modele językowe prognozują następny token na podstawie wcześniej prognozowanych tokenów. Wszystkie duże modele językowe, które opierają się na Transformerze, są autoregresywne.

W przeciwieństwie do tego modele graficzne oparte na GAN zwykle nie podlegają automatycznej regresji, ponieważ generują obraz w ramach pojedynczego przejścia do przodu, a nie iteracyjnie. Jednak niektóre modele generowania obrazów są autoregresywne, ponieważ generują obrazy krok po kroku.

C

wykorzystanie w prompcie łańcucha myśli

#language
#generatywna AI

Technika inżynierii promptów, która zachęca do stworzenia dużego modelu językowego (LLM) do szczegółowego wyjaśnienia jego uzasadnienia. Zwróćmy uwagę na przykład na drugie zdanie:

Ile razy siła napędowa będzie odczuwalna przez kierowcę w samochodzie, który porusza się z prędkością od 0 do 100 km/h w 7 sekund? W odpowiedzi wyświetl wszystkie odpowiednie obliczenia.

Odpowiedź LLM prawdopodobnie:

  • Pokaż sekwencję wzorów fizycznych, umieszczając wartości 0, 60 i 7 w odpowiednich miejscach.
  • Wyjaśnij, dlaczego wybrał te wzory i co oznaczają różne zmienne.

Prompt łańcucha myśli zmusza LLM do wykonywania wszystkich obliczeń, co może prowadzić do uzyskania bardziej poprawnej odpowiedzi. Poza tym żądanie łańcucha myśli umożliwia użytkownikowi analizowanie kroków wykonywanych przez model LLM w celu określenia, czy dana odpowiedź ma sens.

czat

#language
#generatywna AI

Treść dialogu z wykorzystaniem systemu ML, zwykle dużego modelu językowego. Poprzednia interakcja na czacie (czyli to, co wpisujesz i jak odpowiedział duży model językowy) staje się kontekstem dla kolejnych części czatu.

Czatbot to aplikacja dużego modelu językowego (LLM).

umieszczanie języka z kontekstem

#language
#generatywna AI

Umieszczanie, które jest zbliżone do „rozumienia” słów i wyrażeń w sposób dostępny dla rodzimych użytkowników języka. Kontekstowe umieszczanie języków pozwala zrozumieć złożoną składnię, semantykę i kontekst.

Rozważ np. osadzanie angielskich słów cow. Starsze reprezentacje właściwości, np. word2vec, mogą reprezentować angielskie słowa na przykład tak, że odległość w obszarze umieszczania od krowa do byka jest podobna do odległości ewe (owca końska) do barana (owca) lub od samicy do mężczyzny. Kontekstowe osadzenia języków mogą iść o krok dalej, bo osoby anglojęzyczne czasami używają słowa krowa w odniesieniu do krowy lub byka.

okno kontekstu

#language
#generatywna AI

Liczba tokenów, które model może przetworzyć w danym prompcie. Im większe okno kontekstu, tym więcej informacji model może wykorzystać, aby udzielić spójnych i spójnych odpowiedzi na prompt.

D

prompty bezpośrednie

#language
#generatywna AI

Synonim dla promptów typu „zero-shot”.

oczyszczanie

#generatywna AI

Proces zmniejszenia rozmiaru 1 model (nazywanego model) do mniejszego modelu (zwanego model), który najwierniej naśladuje prognozy oryginalnego modelu. Oczyszczanie jest przydatne, ponieważ mniejszy model ma 2 główne zalety w porównaniu z większym (czyli nauczycielką):

  • Szybszy czas wnioskowania
  • Zmniejszone zużycie pamięci i energii

Przewidywania uczniów nie są jednak tak dobre jak prognozy nauczyciela.

Oczyszczanie trenuje model ucznia w celu minimalizacji funkcji utraty na podstawie różnicy między wynikami prognoz modeli uczniów i nauczycieli.

Wskaż podobieństwa i różnice między destylacją i następującymi terminami:

F

prompt typu „few-shot”

#language
#generatywna AI

Komunikat zawierający więcej niż 1 (kilka) przykład pokazujący, jak powinien zareagować duży model językowy. Na przykład ten długi prompt zawiera 2 przykłady pokazujące, jak uzyskać odpowiedź na zapytanie za pomocą dużego modelu językowego (LLM).

Elementy jednego promptu Notatki
Jaka jest oficjalna waluta danego kraju? Pytanie, na które ma odpowiedzieć LLM.
Francja: EUR Przykład:
Wielka Brytania: GBP Kolejny przykład.
Indie: Faktyczne zapytanie.

Prompty typu „few-shot” dają zwykle lepsze wyniki niż prompty „zero-shot” i one-shot. Jednak takie prompty wymagają dłuższego promptu.

Prompt „few-shot” to rodzaj modelu „few-shot learning”, który można zastosować w nauczaniu opartym na promptach.

dostrajanie

#language
#image
#generatywna AI

Drugie karnet treningowy, który jest wykonywany na podstawie wstępnie wytrenowanego modelu, aby doprecyzować jego parametry pod kątem konkretnego przypadku użycia. Na przykład pełna sekwencja trenowania w przypadku niektórych dużych modeli językowych wygląda tak:

  1. Wstępne szkolenie: wytrenuj duży model językowy na dużym ogólnym zbiorze danych, takim jak wszystkie anglojęzyczne strony w Wikipedii.
  2. Dostrajanie: wytrenuj już wytrenowany model tak, aby wykonał określone zadanie, np. odpowiadał na zapytania medyczne. Dostrajanie obejmuje zwykle setki lub tysiące przykładów dotyczących konkretnego zadania.

Kolejny przykład to pełna sekwencja trenowania w przypadku dużego modelu obrazu:

  1. Przedtrenowanie: wytrenuj duży model obrazów na dużym, ogólnym zbiorze danych obrazów, takim jak wszystkie obrazy w Wikimedia Commons.
  2. Dostrajanie: wytrenuj już wytrenowany model tak, aby wykonał określone zadanie, takie jak generowanie obrazów orek.

Dostrajanie może obejmować dowolną kombinację tych strategii:

  • Modyfikowanie wszystkich parametrów wytrenowanego modelu. Czasami nazywa się to pełnym dostrajeniem.
  • Modyfikowanie tylko niektórych dotychczasowych parametrów wytrenowanego modelu (zwykle warstw najbliżej warstwy wyjściowej), pozostawiając niezmienione pozostałe parametry (zwykle warstwy są najbliżej warstwy wejściowej). Zobacz dostrajanie z uwzględnieniem parametrów.
  • Dodanie większej liczby warstw, zwykle nad istniejącymi warstwami najbliżej warstwy wyjściowej.

Dostrajanie to forma nauki transferowej. W związku z tym dostrajanie może korzystać z innej funkcji straty lub innego typu modelu niż te używane do trenowania już wytrenowanego modelu. Możesz na przykład dostroić wytrenowany model dużego obrazu, aby uzyskać model regresji, który zwraca liczbę ptaków na obrazie wejściowym.

Porównaj dostrajanie z tymi terminami:

G

generatywna AI

#language
#image
#generatywna AI

Rozwijające się pole, które nie jest formalne. Mimo to większość ekspertów zgadza się, że modele generatywnej AI mogą tworzyć („generować”) treści, które:

  • złożone
  • spójne
  • oryginał

Na przykład generatywny model AI może tworzyć zaawansowane wypracowania lub obrazy.

Niektóre wcześniejsze technologie, w tym LSTM i RNN, również mogą generować oryginalne i spójne treści. Niektórzy eksperci postrzegają te wcześniejsze technologie jako generatywną AI, a inni uważają, że prawdziwa generatywna AI wymaga bardziej złożonych wyników niż te, które można uzyskać dzięki nim.

Porównaj to z systemami uczącymi się prognozowanymi.

I

nauka w kontekście

#language
#generatywna AI

Synonim dla promptów typu „few-shot”.

dostrajanie instrukcji

#generatywna AI

Forma dostrajania, które zwiększa zdolność modelu generatywnej AI do wykonywania instrukcji. Dostrajanie instrukcji obejmuje trenowanie modelu na serii promptów, zwykle obejmujących szeroki zakres zadań. Powstały w ten sposób model zmodyfikowany w ramach różnych zadań generuje przydatne odpowiedzi na propozycje „zero-shot”.

Porównaj z:

L

LoRA

#language
#generatywna AI

Skrót od terminu Niska pozycja w rankingu.

Dostosowanie do niskiej pozycji (LoRA)

#language
#generatywna AI

Algorytm do efektywnego dostrajania parametrów, który dostraja tylko podzbiór parametrów dużego modelu językowego. LoRA zapewnia następujące korzyści:

  • Szybsze dostrajanie niż techniki, które wymagają dostrajania wszystkich parametrów modelu.
  • Zmniejsza koszt obliczeniowy wnioskowania w dostrojonym modelu.

Model dostrojony przy użyciu LoRA utrzymuje lub poprawia jakość prognoz.

LoRA umożliwia stosowanie wielu wyspecjalizowanych wersji modelu.

P

kaskada modelu

#generatywna AI

System, który wybiera idealny model do konkretnego zapytania wnioskowania.

Wyobraź sobie grupę modeli – od bardzo dużych (dużej liczby parametrów) do znacznie mniejszych (znacznie mniej parametrów). Bardzo duże modele zużywają więcej zasobów obliczeniowych w czasie wnioskowania niż mniejsze modele. Bardzo duże modele mogą jednak zwykle wywnioskować bardziej złożone żądania niż mniejsze. Kaskadowe modelowanie określa złożoność zapytania wnioskowania, a następnie wybiera odpowiedni model do wnioskowania. Głównym celem kaskady modeli jest obniżenie kosztów wnioskowania przez zazwyczaj wybieranie mniejszych modeli i wybieranie tylko większego modelu do bardziej złożonych zapytań.

Wyobraź sobie, że mały model działa na telefonie, a większa jego wersja – na zdalnym serwerze. Dobre kaskadowe przesyłanie modeli zmniejsza koszty i opóźnienia, ponieważ umożliwia mniejszemu modelowi obsługę prostych żądań i wywoływanie modelu zdalnego tylko do obsługi złożonych żądań.

Patrz też router modelu.

router modelu

#generatywna AI

Algorytm, który określa idealny model do wnioskowania w kaskadowym modelu. Router modelu to zwykle model systemów uczących się, który stopniowo uczy się, jak wybierać najlepszy model w przypadku danych wejściowych. Router modelu może być jednak czasem prostszym, niezwiązanym z systemami algorytmami uczącymi się.

O

prompt z pytaniem „one-shot”

#language
#generatywna AI

Wskazówka zawierająca jeden przykład ilustrujący, jak powinien zareagować duży model językowy. Na przykład ten prompt zawiera 1 przykład z dużym modelem językowym pokazującym, jak powinien odpowiedzieć na zapytanie.

Elementy jednego promptu Notatki
Jaka jest oficjalna waluta danego kraju? Pytanie, na które ma odpowiedzieć LLM.
Francja: EUR Przykład:
Indie: Faktyczne zapytanie.

Porównaj prośby „one-shot” z tymi terminami:

P

dostrajanie z wykorzystaniem parametrów

#language
#generatywna AI

Zestaw technik do dostrajania dużego wytrenowanego modelu językowego (PLM) skuteczniej niż pełne dostrajanie. Dostrajanie bez użycia parametrów pozwala zwykle dopracować znacznie mniej parametrów niż pełne dostrajanie, ale ogólnie pozwala uzyskać duży model językowy, który działa równie dobrze (lub prawie tak samo) jak duży model językowy zbudowany z pełnego dostrajania.

Porównaj dostrajanie z wykorzystaniem parametrów:

Dostrajanie z uwzględnieniem parametrów jest też nazywane dostrajaniem z wykorzystaniem parametrów.

PLM

#language
#generatywna AI

Skrót od wyrażenia wytrenowanego modelu językowego.

wytrenowany model

#language
#image
#generatywna AI

Modele lub komponenty modelu (np. wektor do umieszczania), które zostały już wytrenowane. Czasami umieszczasz wytrenowane wektory dystrybucyjne do sieci neuronowej. Innym razem model będzie trenować same wektory dystrybucyjne i nie korzystać z wytrenowanych wcześniej wektorów dystrybucyjnych.

Termin wstępnie wytrenowany model językowy odnosi się do dużego modelu językowego, który został poddany wstępnym trenowaniu.

przedtrenowanie

#language
#image
#generatywna AI

Wstępne trenowanie modelu na dużym zbiorze danych. Niektóre wytrenowane modele to niezdarne giganty, które trzeba zwykle dopracować przez dodatkowe szkolenie. Eksperci ds. systemów uczących się mogą na przykład wstępnie wytrenować duży model językowy na ogromnym zbiorze danych tekstowych, takim jak wszystkie strony w języku angielskim w Wikipedii. Po wstępnym trenowaniu model można następnie doprecyzować za pomocą jednej z tych metod:

prośba

#language
#generatywna AI

Dowolny tekst wpisany jako dane wejściowe do dużego modelu językowego, aby uwarunkować model tak, aby działał w określony sposób. Mogą być krótkie, jak zdanie, lub dowolnie długie (np. cały tekst powieści). Prośby można podzielić na wiele kategorii, w tym te wymienione w tej tabeli:

Kategoria promptu Przykład Notatki
Pytanie Jak szybko lata gołąb?
Instrukcja Napisz zabawny wiersz o arbitrażu. Prompt z prośbą o wykonanie jakiegoś działania przez duży model językowy.
Przykład Przetłumacz kod Markdown na HTML. Na przykład:
Markdown: * element listy
HTML: <ul> <li>element listy</li> </ul>		 Pierwsze zdanie w tym przykładowym promptie to instrukcja. Pozostała część promptu jest przykładowa.
Rola Wyjaśnij, dlaczego zejście gradientowe jest używane podczas nauki systemów uczących się podczas studiów doktoranckich z fizyki. Pierwsza część zdania jest instrukcją, a zdania „dla doktora fizyki” – rolę.
Częściowe dane wejściowe do ukończenia modelu Premier Wielkiej Brytanii mieszka w Częściowe żądanie danych wejściowych może kończyć się nagle (jak w tym przykładzie) lub kończyć podkreśleniem.

Model generatywnej AI może odpowiedzieć na prompt przy użyciu tekstu, kodu, obrazów, elementów umieszczanych czy filmów.

uczenie się oparte na promptach

#language
#generatywna AI

Zdolność określonych modeli, która pozwala im dostosowywać swoje działanie w odpowiedzi na dowolny tekst (prompty). W typowym modelu uczenia się opartym na promptach duży model językowy odpowiada na prompt, generując tekst. Załóżmy na przykład, że użytkownik wpisuje następujący prompt:

Streść trzecią zasadę dynamiki Newtona.

Model zdolny do uczenia się na podstawie promptów nie jest specjalnie wytrenowany tak, aby odpowiadał na poprzedni prompt. Raczej „wie” dużo faktów o fizyce, ogólnych regułach językowych i o tym, co składa się na przydatne odpowiedzi. Wiedza ta wystarczy, aby udzielić (mam nadzieję) przydatnej odpowiedzi. Dodatkowa opinia człowieka („Ta odpowiedź była zbyt skomplikowana” lub „Co to jest reakcja?”) umożliwia niektórym systemom edukacyjnym opartym na promptach stopniowe zwiększanie użyteczności odpowiedzi.

projekt promptu

#language
#generatywna AI

Synonim terminu inżynieria promptów.

tworzenie promptów

#language
#generatywna AI

Sztuka tworzenia promptów zwracających pożądane odpowiedzi z dużego modelu językowego. Ludzie zajmują się tworzeniem promptów. Pisanie uporządkowanych promptów to kluczowy element zapewniania przydatnych odpowiedzi z dużego modelu językowego. Inżynieria promptów zależy od wielu czynników, w tym:

Więcej informacji o tworzeniu pomocnych promptów znajdziesz w artykule Wprowadzenie do projektowania promptów.

Projektowanie promptów jest synonimem słowa „inżynieria promptów”.

dostrajanie promptów

#language
#generatywna AI

Mechanizm dostrajania efektywnego działania parametrów, który uczy się przedrostka, który system dodaje do rzeczywistego potwierdzenia.

Jedną z odmian dostrajania promptów, nazywanej czasem dostrajaniem prefiksów, jest dodanie prefiksu do każdej warstwy. W przeciwieństwie do tego większość dostrajania promptów dodaje prefiks do warstwy wejściowej.

R

Uczenie się przez wzmacnianie na podstawie opinii człowieka (RLHF)

#generatywna AI
#rl

Wykorzystanie opinii weryfikatorów w celu poprawy jakości odpowiedzi modelu. Na przykład mechanizm RLHF może poprosić użytkowników o ocenę jakości odpowiedzi modelu za pomocą emotikona 👍 lub 👎. Na podstawie tych informacji system może później dostosować swoje przyszłe odpowiedzi.

prompty dotyczące roli

#language
#generatywna AI

Opcjonalna część promptu, która określa grupę odbiorców odpowiedzi modelu generatywnej AI. Bez prompta duży model językowy zapewnia odpowiedź, która może, ale nie musi być przydatna dla osoby zadającej pytania. Dzięki promptowi dotyczącego roli duży model językowy może udzielić odpowiedzi w sposób bardziej odpowiedni i przydatny dla określonej grupy odbiorców. Na przykład te fragmenty promptów dotyczących roli są pogrubione:

  • Streść ten artykuł dla doktoratu w dziedzinie ekonomii.
  • Opisz, jak działają pływy u 10-letniego dziecka.
  • Opisz kryzys finansowy w 2008 roku. Mów tak jak do dziecka lub do golden retrievera.

S

dostrajanie promptów

#language
#generatywna AI

Technika dostrajania dużego modelu językowego do konkretnego zadania bez dostrajania, które pochłania dużą ilość zasobów. Zamiast ponownie trenować wszystkie wagi w modelu, dostrajanie promptów automatycznie dostosowuje komunikat tak, aby osiągnąć ten sam cel.

Po wyświetleniu promptu tekstowego dostrajanie niewymagających promptów zwykle dołącza do promptu dodatkowe wektory tokenów i optymalizuje dane wejściowe za pomocą propagacji wstecznej.

„Twardy” prompt zawiera rzeczywiste tokeny, a nie osadzone tokeny.

T

temperatura

#language
#image
#generatywna AI

Hiperparametr, który kontroluje stopień losowości danych wyjściowych modelu. Wyższe temperatury oznaczają więcej losowych danych wyjściowych, a niższe – mniej losowych danych wyjściowych.

Wybór najlepszej temperatury zależy od konkretnej aplikacji i preferowanych właściwości danych wyjściowych modelu. Na przykład podnosisz temperaturę przy tworzeniu aplikacji, która generuje dane wyjściowe kreacji. I na odwrót, należałoby obniżyć temperaturę podczas tworzenia modelu, który klasyfikuje obrazy lub tekst, aby zwiększyć dokładność i spójność modelu.

Funkcja softmax jest często używana do określania temperatury.

Z

prompt „zero-shot”

#language
#generatywna AI

Wskazówka, która nie zawiera przykładowego sposobu, w jaki duży model językowy ma reagować. Na przykład:

Elementy jednego promptu Notatki
Jaka jest oficjalna waluta danego kraju? Pytanie, na które ma odpowiedzieć LLM.
Indie: Faktyczne zapytanie.

Duży model językowy może odpowiadać dowolnej z tych wartości:

  • Rupia
  • INR
  • ₹
  • Rupia indyjska
  • rupia
  • Rupia indyjska

Wszystkie odpowiedzi są prawidłowe, ale możesz preferować konkretny format.

Porównaj prompty typu zero-shot z tymi terminami: