Słowniczek systemów uczących się: podstawy systemów uczących się

Ta strona zawiera terminy z glosariusza z podstaw systemów uczących się. Dla wszystkich terminów używanych w glosariuszu kliknij tutaj.

A

dokładność

#fundamentals

Liczba poprawnych prognoz przez łączną liczbę prognoz. Czyli:

$$\text{Accuracy} = \frac{\text{correct predictions}} {\text{correct predictions + incorrect predictions }}$$

Na przykład model, który dokonał 40 poprawnych prognoz i 10 błędnych prognozy będą miały dokładność:

$$\text{Accuracy} = \frac{\text{40}} {\text{40 + 10}} = \text{80%}$$

Klasyfikacja plików binarnych zawiera konkretne nazwy dla różnych kategorii prawidłowych prognoz i niepoprawnych prognoz. Wzór dokładności klasyfikacji binarnej jest taki:

$$\text{Accuracy} = \frac{\text{TP} + \text{TN}} {\text{TP} + \text{TN} + \text{FP} + \text{FN}}$$

gdzie:

• TP to liczba prawdziwie pozytywnych prognoz (prawidłowych prognoz).
• TN to liczba wartości prawdziwie negatywnych (prawidłowych prognoz).
• FP to liczba fałszywie pozytywnych wyników (niepoprawnych prognoz).
• FN to liczba wyników fałszywie negatywnych (niepoprawnych prognoz).

Porównaj dokładność z precision recall.

Kliknij ikonę, aby wyświetlić dodatkowe notatki.

Chociaż w niektórych sytuacjach dane są istotne, dokładność wprowadzają innych w błąd. Warto wspomnieć, że dokładność są zwykle słabe, do oceny modeli klasyfikacji, które przetwarzają zbiorów danych o niezbalansowaniu klasy.

Załóżmy na przykład, że w określonym kraju przez 25 dni w roku subtropikalne miasto. Od dni bez śniegu (klasa negatywna) więcej dni ze śniegiem (klasa pozytywna), zbiór danych „śnieg” to miasto nie jest zrównoważone. Wyobraź sobie klasyfikację binarną który ma przewidywać codziennie śnieg lub jego brak, ale przewiduje tylko brak śniegu zainteresowanych informacjami ze świata. Ten model jest bardzo dokładny, ale nie ma mocy prognozowania. Poniższa tabela zawiera podsumowanie wyników dla stulecia prognoz:

Kategoria	Liczba
PP	0
PN	36500
FP	25
FN	0

Dokładność tego modelu jest w związku z tym:

accuracy = (TP + TN) / (TP + TN + FP + FN)
accuracy = (0 + 36500) / (0 + 36500 + 25 + 0) = 0.9993 = 99.93%

Chociaż dokładność na poziomie 99,93% wydaje się imponująca, model że nie mamy żadnej mocy przewidywania.

Precyzja recall są zwykle bardziej przydatne. niż dokładność do oceny modeli trenowanych na zbiorach danych o niezbalansowanej klasie.

---

funkcja aktywacji

#fundamentals

Funkcja, która umożliwia sieciom neuronowym uczenie się nonlinear (złożone) relacje między obiektami; i etykietę.

Do popularnych funkcji aktywacyjnych należą:

• ReLU
• Sigmoid

Wykresy funkcji aktywacyjnych nigdy nie są pojedynczymi liniami prostymi. Na przykład wykres funkcji aktywacji ReLU składa się z: dwie proste linie:

Schemat funkcji aktywacji sigmoidalnej wygląda tak:

Kliknij ikonę, aby zobaczyć przykład.

W sieci neuronowej funkcje aktywacyjne manipulują ważoną sumą wszystkich danych wejściowych neuron. Aby obliczyć ważoną sumę, neuron sumuje się i produkty o odpowiednich wartościach i wagach. Na przykład załóżmy, że parametr Istotne dane wejściowe dla neuronu obejmują:

wartość wejściowa	waga wejściowa
2	–1,3
-1	0,6
3	0,4

Suma ważona wygląda więc tak:

weighted sum = (2)(-1.3) + (-1)(0.6) + (3)(0.4) = -2.0

Załóżmy, że projektant tej sieci neuronowej wybiera funkcja sigmoidalna, która będzie funkcji aktywacji. W takim przypadku neuron oblicza sigmoida równy -2,0, czyli około 0,12. Dlatego neuron przekazuje 0,12 (zamiast -2,0) do następnej warstwy w sieci neuronowej. Poniższy rysunek przedstawia istotną część procesu:

---

sztuczna inteligencja

#fundamentals

Program lub model nieprzeznaczony dla ludzi, który potrafi rozwiązać złożone zadania. Na przykład program lub model do tłumaczenia tekstu, a także program lub model, Identyfikuje choroby na podstawie zdjęć radiologicznych. Oba te schorzenia wykazują sztuczną inteligencję.

Formalnie systemy uczące się to podobszar sztuczny, i analizę. Jednak w ostatnich latach niektóre organizacje zaczęły korzystać czyli sztuczna inteligencja i systemy uczące się zamiennie.

AUC (obszar pod krzywą ROC)

#fundamentals

Liczba z zakresu od 0,0 do 1,0 oznaczająca Model klasyfikacji plików binarnych możliwość oddzielić klasy pozytywne od klas negatywnych. Im wartość AUC jest bliższa wartości 1,0, tym większa zdolność modelu do rozdzielenia i lekcji.

Na przykład ta ilustracja przedstawia model klasyfikatora oddzielających klasy pozytywne (zielone owale) od klas negatywnych (fioletowe prostokąty). Ten nierealistycznie idealny model ma AUC wynoszące 1,0:

I na odwrót: ilustracja poniżej pokazuje wyniki zastosowania klasyfikatora. który generuje wyniki losowe. Ten model ma wartość AUC wynoszącą 0,5:

Tak, poprzedni model ma wartość AUC wynoszącą 0,5, a nie 0,0.

Większość modeli znajduje się gdzieś pomiędzy tymi dwoma skrajnościami. Na przykład plik poniższy model oddziela nieco wartości dodatnie od negatywnych, dlatego ma wartość AUC mieszczącą się w zakresie od 0,5 do 1,0:

AUC ignoruje każdą ustawioną wartość próg klasyfikacji. Zamiast tego AUC uwzględnia wszystkie możliwe progi klasyfikacji.

Kliknij ikonę, aby dowiedzieć się więcej o zależności między krzywymi AUC i ROC.

AUC reprezentuje obszar w Krzywa charakterystyki operacyjnej odbiornika (ROC) Przykład: krzywą ROC dla modelu, który idealnie oddziela dodatnie od minusy wyglądają następująco:

AUC to obszar szarego obszaru na poprzedniej ilustracji. W tym niezwykłym przypadku obszar jest po prostu długością szarego regionu, (1,0) pomnożone przez szerokość szarego obszaru (1,0). Usługa wartości 1,0 i 1,0 zapewniają wartość AUC wynoszącą dokładnie 1,0, co jest najwyższą możliwą wartością. Wynik AUC.

I odwrotnie, krzywa ROC dla klasyfikatora, który nie może rozdzielać klas jest następujący. Obszar tego szarego obszaru wynosi 0,5.

Bardziej typowa krzywa charakterystyki ROC wygląda mniej więcej tak:

Ręczne obliczanie pola pod tą krzywą byłoby żmudne, dlatego zwykle program oblicza większość wartości AUC.

---

Kliknij ikonę, aby poznać bardziej formalną definicję AUC.

AUC stanowi prawdopodobieństwo, że klasyfikator będzie miał większą pewność, że losowo wybrany przykład pozytywny jest w rzeczywistości pozytywny losowo wybrany przykład negatywny jest dodatni.

---

B

wsteczne propagacja

#fundamentals

Algorytm implementujący gradient gradientowy w sieci neuronowych.

Trenowanie sieci neuronowej wymaga wielu iteracji. takiego cyklu dwuprzebiegowego:

1. W trakcie przebiegu do przodu system przetwarza grupę obejmującą przykłady generowania prognoz. System porównuje do każdej wartości atrybutu label. Różnica między w przypadku prognozy, a wartością etykiety będzie strata. System agreguje straty dla wszystkich przykładów, aby obliczyć łączną wartość dla bieżącego wsadu.
2. Podczas przebiegu wstecznego (propagacji wstecznej) system zmniejsza straty o by dostosować wagę wszystkich neuronów warstwy ukryte.

Sieci neuronowe często zawierają wiele neuronów w wielu ukrytych warstwach. Każdy z tych neuronów przyczynia się do całkowitej utraty danych na różne sposoby. Propagacja wsteczna określa, czy zwiększyć czy zmniejszyć wagę dla konkretnych neuronów.

Tempo uczenia się to mnożnik, który kontroluje stopień, o jaki każde przejście wstecz zwiększa lub zmniejsza każdą wagę. Duże tempo uczenia się będzie zwiększać lub zmniejszać każdą wagę więcej niż małe tempo uczenia się.

W ramach rachunku rachunkowego przez propagację wsteczną implementuje się reguła łańcucha. na podstawie rachunku różniczkowego. Oznacza to, że przez propagację wsteczną oblicza częściową pochodną błędu z wartością w odniesieniu do każdego parametru.

Wiele lat temu osoby zajmujące się systemami uczącymi się musiały pisać kod, aby wdrożyć propagację wsteczną. Nowoczesne interfejsy API systemów uczących się, takie jak TensorFlow, wdrażają propagację wsteczną. Uff...

wsad

#fundamentals

Zbiór przykładów używanych w jednym trenowaniu. iteracja. Rozmiar wsadu określa liczbę przykładów w wsad.

Wyjaśnienie związku grupy z grupą znajdziesz w sekcji epoka. epoki.

wielkość wsadu

#fundamentals

Liczba przykładów w grupie. Jeśli na przykład rozmiar wsadu to 100, model przetwarza 100 przykładów na powtarzanie.

Oto popularne strategie dotyczące wielkości wsadu:

• Stochastic Gradient Descent (SGD), gdzie rozmiar wsadu wynosi 1.
• Pełny wsad, w którym rozmiar wsadu to liczba przykładów w całej training set (zestaw treningowy). Jeśli na przykład zbiór treningowy zawiera milion przykładów, wielkość wsadu będzie wynosić milion przykłady. Strategia polegająca na przesyłaniu całego pliku jest zwykle mało efektywna.
• minizbiorczy, w którym rozmiar wsadu wynosi zazwyczaj pomiędzy 10 i 1000. Najskuteczniejszą strategią jest zwykle przesyłanie małej ilości danych jednocześnie.

uprzedzenia (etyka/sprawiedliwość)

#fairness

#fundamentals

1. Tworzenie stereotypów, uprzedzenia lub faworyzowanie pewnych rzeczy, ludzi lub grup nad innymi. Te uprzedzenia mogą wpływać na zbieranie interpretacji danych, projektu systemu oraz sposobu interakcji użytkowników z systemem. Do form tego rodzaju uprzedzeń należą:

• Błąd automatyzacji
• stronniczego potwierdzenia
• uprzedzenia eksperymentatora
• uderzenie atrybucji grupowej
• uprzedzenia
• uprzedzenia w grupie
• odchylenie jednorodności poza grupą

2. Błąd systematyczny wywołany w wyniku procedury próbkowania lub raportowania. Do form tego rodzaju uprzedzeń należą:

• odchylenia zasięgu
• błędów związanych z brakiem odpowiedzi
• błędów uczestnictwa
• błędów raportowania
• Błąd próbkowania
• odchylenie doboru

Nie należy mylić z terminem uprzedzeń w modelach systemów uczących się. czy odchylenia prognozy.

uprzedzenia (matematyka) lub termin „uprzedzenia”

#fundamentals

Przechwycenie lub przesunięcie od punktu początkowego. Odchylenie to parametr w systemów uczących się, które są symbolizowane przez :

• B
• ty₀

Na przykład odchylenie to symbol b w tym wzorze:

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

W prostej, dwuwymiarowej linii odchylenie oznacza po prostu „punkt przecięcia z osią y”. Na przykład odchylenie linii na ilustracji poniżej wynosi 2.

Istnieje tendencyjność, ponieważ nie wszystkie modele zaczynają się od punktu początkowego (0,0). Przykład: Załóżmy, że wstęp do parku rozrywki kosztuje 2 EUR i dodatkowo 0,5 euro za każdą godzinę pobytu klienta. Dlatego model mapujący łączny koszt ma odchylenie do 2, ponieważ najniższy koszt to 2 euro.

Uprzedzeń nie należy mylić z uprzedzeniami w kwestiach etyki i uczciwości czy odchylenia prognozy.

klasyfikacja binarna

#fundamentals

Typ zadania klasyfikacji, które prognozuje jedną z dwóch wzajemnie wykluczających się klas:

• klasa pozytywna,
• klasa wykluczające,

Na przykład te 2 modele systemów uczących się osiągają skuteczność: klasyfikacja binarna:

• Model określający, czy e-maile spam (klasa pozytywna) lub not spam (klasa negatywna).
• Model oceniający objawy medyczne w celu określenia, czy dana osoba cierpi na określoną chorobę (klasę pozytywną) lub jej nie ma; choroba (klasa negatywna).

Przeciwieństwem są klasyfikacje wieloklasowe.

Zobacz też regresję logiczną oraz próg klasyfikacji.

skategoryzowanie w przedziałach

#fundamentals

Konwersja pojedynczej cech na wiele funkcji binarnych nazywane zasobnikami lub pojemnikami, zwykle na podstawie zakresu wartości. Przecięty obiekt to zwykle cechy ciągłej.

Na przykład zamiast przedstawiać temperaturę jako ciągłym obiektem zmiennoprzecinkowym, można skracać zakresy temperatur w oddzielnych segmentach, takich jak:

• <= 10 stopni Celsjusza będzie „zimno” zasobnika.
• Od 11 do 24 stopni Celsjusza to temperatura umiarkowana zasobnika.
• >= 25 stopni Celsjusza będzie „ciepłe” zasobnika.

Model będzie traktować każdą wartość w tym samym zasobniku jednakowo. Dla: na przykład wartości 13 i 22 są w zasobniku dla temperamentu, więc wartości model traktuje obie wartości jednakowo.

Kliknij ikonę, aby wyświetlić dodatkowe notatki.

Jeśli przedstawiasz temperaturę jako obiekt ciągły, to model traktuje temperaturę jako jedną cechę. Jeśli reprezentujesz temperaturę jako 3 zasobniki, model będzie traktować każdy z nich jako osobną funkcję. Oznacza to, że model może uczyć się osobnych relacji każdego zasobnika do label. Na przykład plik model regresji liniowej może nauczyć się osobne wagi dla każdego segmentu.

Zwiększenie liczby zasobników skomplikuje model przez zwiększając liczbę relacji, których musi nauczyć model. Na przykład zasobniki zimne, umiarkowane i ciepłe są zasadniczo 3 osobne funkcje, na których będzie trenowany model. Jeśli zdecydujesz się dodać jeszcze dwa zasobniki – na przykład z powodu zamarznięcia i przegrzania – model muszą teraz trenować na 5 osobnych funkcjach.

Jak sprawdzić, ile zasobników utworzyć lub jakie są zakresy dla każdego z nich w zasobniku? Odpowiedzi zazwyczaj wymagają sporej ilości z eksperymentami.

---

C

dane kategorialne

#fundamentals

Funkcje mające określony zestaw możliwych wartości. Przykład: uznajemy obiekt kategoryczny o nazwie traffic-light-state, który może być może mieć jedną z trzech możliwych wartości:

• red
• yellow
• green

Dzięki temu, że traffic-light-state jest cechą kategoryczną, model może nauczyć się różny wpływ usług red, green i yellow na zachowanie kierowcy.

Czasem nazywane cechami kategorialnymi poszczególnych funkcji.

Przeciwieństwem są dane liczbowe.

klasa

#fundamentals

Kategoria, do której może należeć etykieta. Na przykład:

• Model klasyfikacji binarnej, który wykrywa spam, te 2 zajęcia mogą być traktowane jako spam, a nie spam.
• W modelu klasyfikacji wieloklasowej identyfikują rasy psów, na przykład: pudel, beagle, mops, i tak dalej.

Model klasyfikacji służy do prognozowania klasy. Model regresji prognozuje natomiast a nie klasą.

model klasyfikacji

#fundamentals

Model, którego prognoza to class. Poniżej znajdują się na przykład wszystkie modele klasyfikacji:

• Model, który prognozuje język zdania wejściowego (francuski? Hiszpański? włoskim?).
• Model, który prognozuje gatunki drzew (klon? Dąb? Baobab?).
• Model, który prognozuje klasę pozytywną lub negatywną dla określonej klasy schorzenia.

Z kolei modele regresji prognozują liczby. a nie na zajęciach.

Dwa najczęstsze typy modeli klasyfikacji to:

• klasyfikacja binarna
• klasyfikacja wieloklasowa

próg klasyfikacji

#fundamentals

W klasyfikacji binarnej para klucz-wartość liczba z zakresu od 0 do 1, która konwertuje na nieprzetworzone dane wyjściowe model regresji logistycznej w prognozę klasy pozytywnej. lub klasa negatywnych. Pamiętaj, że próg klasyfikacji to wartość wybrana przez człowieka, a nie wartość wybrana przez trenowanie modelu.

Model regresji logistycznej zwraca nieprzetworzoną wartość z zakresu od 0 do 1. Następnie:

• Jeśli ta nieprzetworzona wartość jest przekraczająca próg klasyfikacji, jest prognozowana klasa pozytywna.
• Jeśli ta nieprzetworzona wartość jest niższa od progu klasyfikacji, jest prognozowana klasa ujemna.

Załóżmy na przykład, że próg klasyfikacji wynosi 0,8. Jeśli nieprzetworzona wartość wynosi 0,9, model przewiduje klasę pozytywną. Jeśli pierwotna wartość to 0,7, model prognozuje klasę ujemną.

Wybór progu klasyfikacji w dużym stopniu wpływa na liczbę fałszywie pozytywnych i fałszywie negatywne.

Kliknij ikonę, aby wyświetlić dodatkowe notatki.

Wraz z ewolucją modeli lub zbiorów danych inżynierowie czasami zmieniają też próg klasyfikacji. Gdy zmieni się próg klasyfikacji, prognozy klas pozytywnych mogą nagle stać się klasami negatywnymi i odwrotnie.

Rozważmy na przykład model prognostyczny dla chorób o klasyfikacji binarnej. Załóżmy, że gdy system działa w pierwszym roku:

• Surowa wartość dla danego pacjenta to 0,95.
• Próg klasyfikacji to 0,94.

Dlatego system diagnozuje klasę pozytywną. (Pacjent westchnie, – O, nie! jestem chory!”).

Rok później wartości mogą wyglądać tak:

• Nieprzetworzona wartość dla tego samego pacjenta pozostaje na poziomie 0,95.
• Próg klasyfikacji zmieni się na 0,97.

Dlatego system zmienia klasyfikację pacjenta na klasę negatywnej. Nie jestem chory”). Ten sam pacjent. Inna diagnoza.

---

zbiór danych o niezrównoważonym klasie

#fundamentals

Zbiór danych do zadania z klasyfikacją, w którym łączna liczba etykiet poszczególnych klas znacznie się różnią. Weźmy na przykład zbiór danych klasyfikacji binarnej, w którym dwie etykiety są podzielone w taki sposób:

• 1 000 000 etykiet negatywnych
• 10 etykiet pozytywnych

Stosunek etykiet ujemnych do pozytywnych wynosi 100 000 do 1, więc ten to zbiór danych niezbalansowany według klasy.

W przeciwieństwie do tego poniższy zbiór danych nie jest równoważony w klasie, ponieważ stosunek etykiet negatywnych do etykiet pozytywnych jest względnie bliski 1:

• 517 etykiet negatywnych
• 483 etykiety pozytywne

Wieloklasowe zbiory danych też mogą być nierównoważone w stosunku do klas. Na przykład: Zbiór danych klasyfikacji wieloklasowej jest również niezgodny z klasą, ponieważ jedna etykieta zawiera znacznie więcej przykładów niż 2 pozostałe:

• 1 000 000 etykiet z klasą „zielona”
• 200 etykiet z klasą „fioletowy”
• 350 etykiet z klasą „pomarańczowy”

Zobacz też entropia i klasa większości, i klasa mniejszości.

przycinanie

#fundamentals

Technika radzenia sobie z wynikami odstającymi przez wykonanie jeden lub oba z tych elementów:

• Zmniejszanie wartości parametru feature, które są większe od wartości maksymalnej do tego maksymalnego progu.
• Rosnące wartości cech, które nie przekraczają progu minimalnego minimalnego progu.

Załóżmy na przykład, że mniej niż 0,5% wartości danej cechy przypada na spoza zakresu 40–60. W takim przypadku możesz wykonać te czynności:

• Przytnij wszystkie wartości powyżej 60 (próg maksymalny), aby dokładnie ustawić 60.
• Przytnij wszystkie wartości poniżej 40 (minimalny próg), aby dokładnie ustawić 40.

Wartości odstające mogą uszkodzić modele, czasami powodując wagi mogą się przepełnić podczas trenowania. Niektóre wyjątki mogą się też drastycznie zepsuć takie jak dokładność. Przycinanie to powszechna technika ograniczania szkody.

Siły przycinania gradientu wartości gradientu w wyznaczonym zakresie podczas trenowania.

tablica pomyłek

#fundamentals

Tabela NxN podsumowująca liczbę poprawnych i nieprawidłowych prognoz opracowany przez model klasyfikacji. Rozważmy na przykład poniższą tablicę pomyłek dla Model klasyfikacji binarnej:

	Guz (prognozowany)	Inny niż tumor (prognozowany)
Guz (ground truth)	18 (TP)	1 (FN)
Inne niż tumor (ground truth)	6 (FP)	452 (TN)

Poprzednia tablica pomyłek wygląda tak:

• Z 19 prognoz, w przypadku których dane podstawowe to Tumor, model poprawnie sklasyfikował 18, a nieprawidłowo sklasyfikował 1.
• Spośród 458 prognoz, w przypadku których dane podstawowe były oparte na danych innych niż Tumor, model poprawnie sklasyfikowanych 452 i błędnie 6.

Tablica pomyłek dla klasyfikacji wieloklasowej może pomóc w określeniu wzorców błędów. Weźmy na przykład taką tablicę pomyłek dla klasy 3 wieloklasowy model klasyfikacji, który kategoryzuje 3 różne typy tęczówki. (Virginica, Versicolor i Setosa). W czasach, gdy danymi podstawowymi była Wirginia, tablica pomyłek wskazuje, że model z większym prawdopodobieństwem pomyli się ustaw prognozę Versicolor niż Setosa:

	Setosa (przewidywane)	Versicolor (prognozana)	Virginica (prognoza)
Setosa (ground truth)	88	12	0
Versicolor (ground truth)	6	141	7
Virginica (ground truth),	2	27	109

Kolejny przykład to tablica pomyłek pokazująca, że model wytrenowany rozpoznawalność odręcznych cyfr zwykle błędnie ocenia 9 zamiast 4, lub błędnie określono 1 zamiast 7.

Tablice pomyłek zawierają wystarczającą ilość informacji do obliczenia różne dane o skuteczności, w tym dokładność; i czułość.

cecha ciągła

#fundamentals

funkcję zmiennoprzecinkową o nieskończonym zakresie możliwych; takie jak temperatura czy waga.

Skontrastuj się z funkcjami dyskretnymi.

zbieżność

#fundamentals

stan, w którym wartości strat zmieniają się bardzo niewiele lub nie po wszystkich iteracjach. Na przykład: krzywa strat sugeruje zbieżność przy około 700 iteracjach:

Model dochodzi do konwertowania, gdy dodatkowe trenowanie nie wystarcza i ulepszyć model.

W przypadku deep learning wartości strat czasami utrzymują się na stałym poziomie lub przez wiele iteracji, aż w końcu maleje. W długim okresie wartości stałych strat, możesz tymczasowo mieć fałszywe poczucie zbieżności.

Zobacz też Wcześniejsze zatrzymywanie.

D

[struktura] DataFrame

#fundamentals

Popularny typ danych panda do reprezentowania zbiorów danych w pamięci.

DataFrame przypomina tabelę lub arkusz kalkulacyjny. Każda kolumna argumentu element DataFrame ma nazwę (nagłówek), a każdy wiersz jest identyfikowany przez tag niepowtarzalny numer.

Każda kolumna w DataFrame ma strukturę podobną do tablicy 2D, z tą różnicą, że każdej kolumnie można przypisać własny typ danych.

Zobacz też oficjalnego Informacje na temat pandas.DataFrame

zbiór danych lub zbiór danych

#fundamentals

Zbiór nieprzetworzonych danych, zwykle (ale nie wyłącznie) zorganizowany w jednym miejscu w tych formatach:

• arkusz kalkulacyjny
• plik w formacie CSV (wartości rozdzielone przecinkami);

model głęboki

#fundamentals

Sieć neuronowa zawierająca więcej niż 1 ukrytą warstwę.

Model głęboki nazywany jest też głęboką siecią neuronowa.

Porównaj z modelem szerokim.

cecha zwarta

#fundamentals

Cecha, w której większość lub wszystkie wartości mają wartość inną niż 0, zwykle Tensor dla wartości zmiennoprzecinkowych. Na przykład: Tensor, który ma 10 elementów, jest gęsty, bo 9 jego wartości jest różna od zera:

8

3

7

5

2

4

0

4

9

6

Różnica w stosunku do funkcji rozproszonej.

głębokość

#fundamentals

Suma tych elementów w sieci neuronowej:

• liczbę ukrytych warstw,
• liczbę warstw wyjściowych, która zwykle wynosi 1
• liczbę dowolnych warstw osadzonych,

Na przykład sieć neuronowa z 5 ukrytymi warstwami i 1 warstwą wyjściową ma głębokość 6.

Zwróć uwagę, że warstwa wejściowa nie głębię wpływu.

cecha dyskretna

#fundamentals

Cechę ze skończonym zestawem możliwych wartości. Przykład: cecha, której wartościami może być tylko animal, vegetable lub mineral, jest cecha dyskretna (lub kategorialna).

kontrastuje z funkcją ciągłą;

dynamiczny

#fundamentals

Coś robionego często lub na bieżąco. W systemach uczących się terminy dynamiczny i online to synonimy. Poniżej znajdziesz typowe zastosowania dynamicznych i online w przypadku systemów uczących się nauka:

• Model dynamiczny (inaczej online) to model, która jest regularnie lub stale trenowana.
• Szkolenie dynamiczne (lub szkolenie online) to proces trenowania. często lub stale.
• Wnioskowanie dynamiczne (lub wnioskowanie online) to proces generowania prognoz na żądanie.

model dynamiczny

#fundamentals

Model, który jest często (nawet ciągły) i ponownie wytrenowali. Model dynamiczny uczy się przez całe życie które nieustannie dostosowuje się do zmieniających się danych. Model dynamiczny jest też nazywany modelu online.

Różnica z modelem statycznym.

E

wcześniejsze zatrzymanie

#fundamentals

Metoda regularizacji, która obejmuje kończenie trenowanie przed zakończeniem treningu. maleje. W ramach wczesnego zatrzymywania celowo zatrzymujesz trenowanie modelu gdy utrata zbioru danych do weryfikacji zaczyna się increase; czyli gdy uogólnianiem skuteczności pogarsza się;

Kliknij ikonę, aby wyświetlić dodatkowe notatki.

Wcześniejsze zatrzymanie może wydawać się sprzeczne z intuicją. W końcu kazanie modelu zatrzymania podczas gdy straty maleją, może wydawać się, że szef kuchni przestań gotować, zanim deser będzie całkowicie upieczony. Jednak trenowanie modelu zbyt długie mogą spowodować nadmierne dopasowanie. Oznacza to, że wytrenowany model będzie zbyt długi, może dopasować się do danych treningowych na tyle model nie zapewnia dobrych prognoz na nowych przykładach.

---

warstwa wektorowa

#language

#fundamentals

Specjalną warstwą ukrytą, która trenuje na wielowymiarowa funkcja kategoryczna, stopniowo uczyć się wektora wektora dystrybucyjnego dla niższych wymiarów. An warstwa wektora dystrybucyjnego umożliwia sieci neuronowej lepsze trenowanie wydajniej niż trenowanie na wysokich wymiarach cechach kategorialnych.

Na przykład na Ziemi obecnie obsługiwanych jest około 73 000 gatunków drzew. Załóżmy, że gatunek drzewa jest cechą na Twoim modelu, więc model warstwa wejściowa zawiera jeden gorący wektor 73 000, . Wartość baobab zostałaby przedstawiona w ten sposób:

Tablica z 73 000 elementów jest bardzo długa. Jeśli nie dodasz warstwy osadzania trenowanie będzie bardzo czasochłonne, mnożenia przez 72 999 zer. Być może wybierzesz warstwę osadzania, z 12 wymiarów. W efekcie warstwa osadzania będzie stopniowo uczyć się nowego wektora dystrybucyjnego dla każdego gatunku drzewa.

W niektórych sytuacjach szyfrowanie jest rozsądnym rozwiązaniem. do warstwy osadzonej.

początek epoki : epoka

#fundamentals

Pełny bilet treningowy na cały zestaw treningowy. w taki sposób, aby każdy przykład został przetworzony raz.

Epoka reprezentuje N/rozmiar wsadu iteracje trenowania, gdzie N jest łączną liczbę przykładów.

Załóżmy na przykład, że:

• Zbiór danych zawiera 1000 przykładów.
• Wielkość wsadu to 50 przykładów.

Dlatego pojedyncza epoka wymaga 20 iteracji:

1 epoch = (N/batch size) = (1,000 / 50) = 20 iterations

przykład

#fundamentals

Wartości w jednym wierszu cech i prawdopodobnie etykietę. Przykłady w: nauczanie nadzorowane dzieli się na 2 grupy: kategorie ogólne:

• Przykład oznaczony etykietą zawiera co najmniej 1 funkcję i etykietę. Przykłady oznaczone etykietami są używane podczas trenowania.
• Przykład bez etykiety składa się z jednego elementu lub więcej funkcji, ale bez etykiety. Podczas wnioskowania używane są przykłady bez etykiet.

Załóżmy, że trenujesz model do określenia wpływu warunków pogodowych na wynikach sprawdzianów uczniów. Oto 3 przykłady oznaczone etykietami:

Funkcje			Etykieta
Temperatura	wilgotność,	Ciśnienie	Wynik testu
15	47	998	Dobry
19	34	1020	Świetna
18	92	1012	Niska

Oto 3 przykłady bez etykiet:

Temperatura	wilgotność,	Ciśnienie
12	62	1014
21	47	1017
19	41	1021

Wiersz zbioru danych jest zwykle nieprzetworzonym źródłem przykładu. Oznacza to zazwyczaj, że przykład składa się zwykle z podzbioru kolumn w zbioru danych. Cechy z przykładu mogą też obejmować funkcje syntetyczne, takie jak: krzyżówki cech.

F

fałszywie negatywny (FN)

#fundamentals

Przykład, w którym model błędnie prognozuje wartość negative class (klasa wykluczające). Na przykład model przewiduje, że konkretny e-mail nie jest spamem, (klasa ujemna), ale ten e-mail to w rzeczywistości spam.

fałszywie dodatni (FP)

#fundamentals

Przykład, w którym model błędnie prognozuje wartość pozytywnej klasy. Na przykład model przewiduje, że konkretny e-mail zawiera spam (klasa pozytywna), ale e-mail nie jest spamem.

współczynnik wyników fałszywie pozytywnych (FPR)

#fundamentals

Odsetek rzeczywistych przykładów negatywnych, w których model popełnił błąd przewidzieliśmy klasę pozytywną. Ta formuła oblicza wartość fałsz współczynnik dodatni:

$$\text{false positive rate} = \frac{\text{false positives}}{\text{false positives} + \text{true negatives}}$$

Współczynnik wyników fałszywie pozytywnych to oś X na krzywej ROC.

cecha [in context of machine learning]

#fundamentals

Zmienna wejściowa dla modelu systemów uczących się. Przykład obejmuje co najmniej jedną cechę. Załóżmy na przykład, że trenujesz model do określania wpływu warunków pogodowych na wyniki testów uczniów. W tabeli poniżej znajdziesz 3 przykłady, z których każdy zawiera 3 funkcje i 1 etykietę:

Funkcje			Etykieta
Temperatura	wilgotność,	Ciśnienie	Wynik testu
15	47	998	92
19	34	1020	84
18	92	1012	87

Różnica za pomocą atrybutu etykieta.

krzyżówka

#fundamentals

Funkcje syntetyczne utworzone przez „krzyżowanie” funkcji kategorialnych lub pogrupowanych.

Weźmy np. „prognozowanie nastroju” model, który reprezentuje w jednym z czterech zasobników:

• freezing
• chilly
• temperate
• warm

I przedstawia prędkość wiatru w jednym z 3 rodzajów:

• still
• light
• windy

Bez krzyżów cech model liniowy trenuje niezależnie na każdym poprzedzających 7 różnych zasobników. Model trenuje na przykład freezing niezależnie od trenowania na przykład windy

Można również utworzyć krzyżową cechę, prędkość wiatru. Ta funkcja syntetyczna miałaby 12 możliwych wyników wartości:

• freezing-still
• freezing-light
• freezing-windy
• chilly-still
• chilly-light
• chilly-windy
• temperate-still
• temperate-light
• temperate-windy
• warm-still
• warm-light
• warm-windy

Dzięki krzyżom cech model może nauczyć się różnic nastrojów od freezing-windy do freezing-still dnia.

Jeśli utworzysz obiekt syntetyczny z dwóch cech, z których każda ma wiele w różnych zasobnikach, wynikowy krzyż cech będzie miał ogromną liczbę możliwych kombinacji. Na przykład, jeśli jedna cecha ma 1000 zasobników, druga cecha ma 2000 zasobników, wynikowy krzyż cech ma 2 000 000 zasobników.

Formalnie krzyż to Iloczyn kartezjański.

Krzywe cech są używane głównie w modelach liniowych i rzadko są używane za pomocą sieci neuronowych.

ekstrakcja wyróżników

#fundamentals

#TensorFlow

Proces, który obejmuje te kroki:

1. określać, które funkcje mogą być przydatne; podczas trenowania modelu.
2. Konwersja nieprzetworzonych danych ze zbioru danych do efektywnych wersji tych funkcji.

Możesz np. uznać, że słowo temperature może być przydatne funkcji. Następnie możesz poeksperymentować z grupowaniem. aby zoptymalizować to, czego model może się uczyć na podstawie różnych zakresów temperature.

Inżynieria cech jest czasami nazywana inżynierią cech wyodrębnianie cech lub featurizacja.

Kliknij ikonę, aby wyświetlić dodatkowe uwagi na temat TensorFlow.

W TensorFlow inżynieria cech często oznacza konwertowanie nieprzetworzonego pliku logu wpisy do buforów protokołów tf.Example. Zobacz też tf.Transform.

---

zbiór cech

#fundamentals

grupę funkcji używanych przez systemy uczące się; model trenuje na nich. Na przykład kod pocztowy, rozmiar nieruchomości i stan obiektu mogą stanowią prosty zestaw funkcji modelu prognozującego ceny nieruchomości.

wektor cech

#fundamentals

Tablica wartości feature tworzących przykład. Wektor cech jest wprowadzany podczas trenowania i w trakcie wnioskowania. Na przykład wektor cech modelu z 2 odrębnymi cechami może wyglądać tak:

[0.92, 0.56]

Każdy przykład dostarcza inne wartości wektora cech, więc funkcja w następnym przykładzie może wyglądać tak:

[0.73, 0.49]

Inżynieria cech określa, jak przedstawić w wektorze cech. Na przykład w przypadku funkcji binarnej kategorialnej funkcji pięć możliwych wartości może być reprezentowanych przez kodowanie jedno- gorące. W tym przypadku część argumentu wektor cech w danym przykładzie składałby się z czterech zer i pojedynczy 1,0 w trzeciej pozycji, jak niżej:

[0.0, 0.0, 1.0, 0.0, 0.0]

W kolejnym przykładzie załóżmy, że Twój model składa się z 3 cech:

• funkcję kategoryczną z pięcioma możliwymi wartościami reprezentowanymi przez kodowanie jeden-gotowe, na przykład: [0.0, 1.0, 0.0, 0.0, 0.0]
• kolejną cechę kategoryczną binarną, której reprezentowane są 3 możliwe wartości w ramach kodowania jeden-gorącego; na przykład: [0.0, 0.0, 1.0]
• obiekt zmiennoprzecinkowy, na przykład: 8.3.

W tym przypadku wektor cech w każdym przykładzie będzie przedstawiony o dziewięć wartości. Biorąc pod uwagę przykładowe wartości z poprzedniej listy, wektor cech to:

0.0
1.0
0.0
0.0
0.0
0.0
0.0
1.0
8.3

pętla informacji zwrotnych

#fundamentals

W uczeniu maszynowym to sytuacja, w której prognozy modelu wpływają na dla tego samego lub innego modelu. Na przykład model, poleca filmy, co wpłynie na to, jakie filmy oglądają widzowie, wpływać na kolejne modele rekomendacji filmów.

G

uogólnianie

#fundamentals

Zdolność modelu do generowania poprawnych prognoz na nowych, wcześniej niewyświetlonych danych. Model, który może uogólniać, jest przeciwieństwem modelu, który jest zbyt dopasowany.

Kliknij ikonę, aby wyświetlić dodatkowe notatki.

Wytrenujesz model na przykładach w zbiorze treningowym. W związku z tym uczy się specyfiki danych w zbiorze treningowym. Uogólnianie zasadniczo pyta, czy model może generować dobre prognozy na przykładach. które nie znajdują się w zbiorze treningowym.

Aby zachęcić do uogólnienia, regularizacja ułatwia trenowanie modelu. charakterystyczne dla danych w zbiorze treningowym.

---

krzywa uogólniania

#fundamentals

Wykres przedstawiający utraty trenowania i utrata walidacji jako funkcja liczby iteracji.

Krzywa uogólniania może pomóc w wykrywaniu nadmiernego dopasowania. Na przykład: krzywa uogólnienia sugeruje nadmierne dopasowanie, ponieważ utrata walidacji ostatecznie staje się znacznie większa niż utrata trenowania.

opadanie gradientowe

#fundamentals

Technika matematyczna do zminimalizowania strat. Spadek gradientowy koryguje iteracyjnie wagi i uprzedzenia, stopniowo znajdują najlepsze kombinacje w celu zminimalizowania strat.

Metoda gradientowa jest starsza – znacznie, znacznie starsza niż systemy uczące się.

dane podstawowe

#fundamentals

Reality show.

Rzecz, która faktycznie się wydarzyła.

Weźmy na przykład klasyfikację binarną model, który prognozuje, czy uczeń na pierwszym roku studiów muszą zakończyć 13 lat. Dane podstawowe tego modelu to tego, czy nie że uczeń ukończył szkołę w ciągu 6 lat.

Kliknij ikonę, aby wyświetlić dodatkowe notatki.

Jakość modelu oceniamy na podstawie danych podstawowych. Dane podstawowe nie zawsze jest całkowicie, cóż, prawda. Na przykład weź pod uwagę następujące przykłady potencjalnych niedoskonałości danych podstawowych:

• Czy w przykładzie przejścia na standardową wersję mamy pewność, że przejście dla każdego ucznia są zawsze poprawne? Czy uniwersytet należy do bezbłędnego rejestrowania danych?
• Załóżmy, że etykieta jest wartością zmiennoprzecinkową mierzoną przez instrumenty (np. barometrów). Jak możemy upewnić się, że każdy instrument jest skalibrowany identycznie lub każdy odczyt został wykonany w ramach tego samego okoliczności?
• Jeśli etykieta jest kwestią ludzkiej opinii, jak możemy mieć pewność, że każdy weryfikator ocenia zdarzenia w w taki sam sposób? Aby poprawić spójność, czasami doświadczeni weryfikatorzy interweniować.

---

H

warstwa ukryta

#fundamentals

Warstwa w sieci neuronowej między warstwy wejściowej (cechy) oraz warstwa wyjściowa (prognoza). Każda ukryta warstwa składa się z co najmniej jednego neuronu. Na przykład ta sieć neuronowa zawiera 2 ukryte warstwy: pierwszy ma 3 neurony, a drugi 2:

Głęboka sieć neuronowa zawiera więcej niż jeden warstwa ukryta. Na przykład poprzednia ilustracja przedstawia głębokie połączenie neuronowe ponieważ model zawiera dwie ukryte warstwy.

hiperparametr

#fundamentals

Zmienne używane przez Ciebie lub usługę dostrajania hiperparametrów może się dostosować podczas kolejnych etapów trenowania modelu. Przykład: szybkość uczenia się jest hiperparametrem. Możesz ustaw tempo uczenia się na 0,01 przed jedną sesją treningową. Jeśli że 0,01 to za wysoka wartość, możesz ustawić ustaw współczynnik na 0,003 dla kolejnej sesji szkoleniowej.

Parametry to natomiast różne wagi i uprzedzenia, które model uczy się podczas trenowania.

I

są rozkładane niezależnie i identycznie (np.)

#fundamentals

Dane pobrane z rozkładu, który się nie zmienia, i gdzie każda wartość nie zależą od wartości, które zostały wcześniej narysowane. Identyfikator to gaz idealny maszyny uczenie się – przydatny, ale prawie nigdy nie znaleziony konstrukt matematyczny w świecie rzeczywistym. Na przykład rozkład użytkowników na stronę internetową mogą być i.i.d. w krótkim okresie, oznacza to, że rozkład w tym krótkim okresie, a wizyta jednej osoby jest zwykle niezależnie od wizyty innego użytkownika. Jeśli jednak rozszerzysz przedział czasu, mogą pojawić się sezonowe różnice w liczbie użytkowników strony.

Zobacz też artykuł o niestacjonarności.

wnioskowanie

#fundamentals

W uczeniu maszynowym proces prognozowania z zastosowaniem wytrenowanego modelu do przykładów bez etykiet.

Wnioskowanie ma w statystykach nieco inne znaczenie. Zobacz Więcej informacji znajdziesz w artykule o wnioskowaniu statystycznym w Wikipedii.

warstwa wejściowa

#fundamentals

Warstwa sieci neuronowej, która zawiera wektor cech. Oznacza to, że warstwa wejściowa zawiera przykłady szkoleń lub wnioskowania. Na przykład warstwa wejściowa w tym Sieć neuronowa składa się z 2 elementów:

interpretowalność

#fundamentals

Umiejętność wyjaśnienia lub przedstawienia rozumowania modelu ML w zrozumiałe dla człowieka.

Na przykład większość modeli regresji liniowej zrozumiałe. (Wystarczy wziąć pod uwagę wytrenowane ciężary dla każdego feature.) Lasy decyzyjne są też bardzo czytelne. Niektóre modele wymagają zaawansowanej wizualizacji, aby była interpretowalna.

Za pomocą Narzędzie do interpretowalności (LIT) na potrzeby interpretowania modeli ML.

iteracja

#fundamentals

Pojedyncza aktualizacja parametrów modelu – wagi i odchylenia podczas szkoleń. Rozmiar grupy określa liczbę przykładów, które model przetwarza w ramach jednej iteracji. Przykład: jeśli wielkość wsadu to 20, model przetworzy 20 przykładów wcześniej dostosować parametry.

podczas trenowania sieci neuronowej, pojedyncza iteracja; obejmuje 2 karty:

1. Przekazywanie dalej w celu oceny straty w jednej wsadzie.
2. przebieg wsteczny (propagacja wsteczna), aby dostosować parametry modelu na podstawie utraty i tempa uczenia się.

L

Regularyzacja L₀

#fundamentals

Rodzaj regularizacji, nakłada karę na łączną liczbę wag innych niż zero w modelu. Na przykład model o 11 wagach innych niż zero otrzymałaby karę więcej niż w przypadku podobnego modelu o 10 wagach innych niż zero.

Regularyzacja L₀ jest czasami nazywana regulacją normy L0.

Kliknij ikonę, aby wyświetlić dodatkowe notatki.

Regularyzacja L₀ jest zazwyczaj niepraktyczna w przypadku dużych modeli, ponieważ Regularyzacja L₀ zmienia trenowanie w wypukłe .

---

Strata L₁

#fundamentals

Funkcja straty, która oblicza wartość bezwzględną różnicy między rzeczywistymi wartościami label i wartości prognozowane przez model. Przykład: obliczanie straty L₁ dla grupy składającej się z 5 przykłady:

Rzeczywista wartość przykładu	Prognozowana wartość modelu	Wartość bezwzględna delta
7	6	1
5	4	1
8	11	3
4	6	2
9	8	1
		8 = strata L1

Utrata L₁ jest mniej wrażliwa na wartości odstające niż L₂ strata.

Średni błąd bezwzględny to średnia wartość. Strata L₁ na przykład.

Kliknij tę ikonę, aby zobaczyć formalną funkcję matematyczną.

$$ L_1 loss = \sum_{i=0}^n | y_i - \hat{y}_i |$$

gdzie:

• $n$ to liczba przykładów.
• Argument $y$ to rzeczywista wartość etykiety.
• $\hat{y}$ to wartość prognozowana przez model dla $y$.

---

Regularyzacja L₁

#fundamentals

Rodzaj regularizacji, który powoduje nałożenie kary. wagi proporcjonalne do sumy wartości bezwzględnej wag. Regularyzacja L₁ pomaga zwiększać wagę nieistotnych elementów lub prawie nieistotne, aby dokładnie 0. Funkcja z: waga równa 0 zostaje skutecznie usunięta z modelu.

Różnica z L₂ regularyzacją.

Strata L₂

#fundamentals

Funkcja straty, która oblicza kwadrat różnicy między rzeczywistymi wartościami label i wartości prognozowane przez model. Przykład: obliczanie straty L₂ dla grupy składającej się z 5 przykłady:

Rzeczywista wartość przykładu	Prognozowana wartość modelu	Kwadrat delta
7	6	1
5	4	1
8	11	9
4	6	4
9	8	1
		16 = strata L2

Z powodu kwadratów strata L₂ zwiększa wpływ wartości odstające: Oznacza to, że strata L₂ reaguje silniej na błędne prognozy niż L₁ strata. Na przykład strata L₁ dla poprzedniej partii będzie 8, a nie 16. Zwróć uwagę, że w jednym miejscu 9 z 16 wyników.

Modele regresji zwykle używają utraty L₂ .

Błąd średniokwadratowy to średnia wartość Strata L₂ na przykład. Utrata kwadratowa to inna nazwa straty L₂.

Kliknij tę ikonę, aby zobaczyć formalną funkcję matematyczną.

$$ L_2 loss = \sum_{i=0}^n {(y_i - \hat{y}_i)}^2$$

gdzie:

• $n$ to liczba przykładów.
• Argument $y$ to rzeczywista wartość etykiety.
• $\hat{y}$ to wartość prognozowana przez model dla $y$.

---

Regularyzacja L₂

#fundamentals

Rodzaj regularizacji, który powoduje nałożenie kary. wagi proporcjonalnie do sumy ich kwadratów. Regularyzacja L₂ pomaga osiągać odstające wagi (te z wysokimi lub niskimi wartościami ujemnymi) bliskimi 0, ale nie do 0. Cechy o wartościach bardzo bliskich 0 pozostają w modelu ale nie wpływają zbytnio na prognozę modelu.

Regularyzacja L₂ zawsze poprawia uogólnianie modele liniowe.

Różnica z L₁ regularyzacją.

etykieta

#fundamentals

W nadzorowanych systemach uczących się „odbierz” lub „wynik” w przykładzie.

Każdy przykład oznaczony etykietą zawiera co najmniej jeden element funkcje i etykietę. Na przykład w folderze Spam wykrywania w zbiorze danych do wykrywania treści, etykieta miałaby prawdopodobnie wartość „spam” lub „nie spam”. W zbiorze danych „deszczownica” etykieta może być wartością deszcz, który padał w danym okresie.

przykład z etykietami

#fundamentals

Przykład zawierający co najmniej 1 funkcję oraz label. Na przykład w tabeli poniżej podano 3 z nich: oznaczone etykietami przykłady z modelu wyceny domu, z których każda zawiera 3 cechy i 1 etykieta:

Liczba sypialni	Liczba łazienek	Wiek domowy	Cena domu (etykieta)
3	2	15	345 000 PLN
2	1	72	179 000 PLN
4	2	34	392 000 PLN

W przypadku nadzorowanych systemów uczących się modele trenują na przykładach oznaczonych etykietami i generują prognozy przykłady bez etykiet.

Przykład oznaczony kontrastem z przykładami bez etykiet.

lambda

#fundamentals

Synonim współczynnika regularyzacji.

Lambda to termin przeciążony. Skupiamy się na tym haśle definicji w ramach regularizacji.

warstwa

#fundamentals

Zbiór neuronów sieci neuronowej. Trzy najczęstsze typy warstw są następujące:

• Warstwa wejściowa, która zawiera wartości dla wszystkich funkcji.
• co najmniej jedną ukrytą warstwę, która znajduje się nieliniowe zależności między cechami a etykietą.
• Warstwa wyjściowa, która dostarcza prognozy.

Na przykład na ilustracji poniżej przedstawiono sieć neuronowa jedną warstwę wejściową, dwie warstwy ukryte i jedną warstwę wyjściową:

W TensorFlow warstwy są również funkcjami w języku Python, które pobierają Tensors i opcje konfiguracji jako dane wejściowe w postaci danych wyjściowych innych tensorów.

tempo uczenia się

#fundamentals

Liczba zmiennoprzecinkowa, która określa zjawisko gradientu. jak silnie dostosować wagi i uprzedzenia dla każdego iteracja. Na przykład tempo uczenia się na poziomie 0, 3 3 razy mocniej dostosowują wagi i odchylenia niż tempo uczenia się wynosi 0,1.

Tempo uczenia się to kluczowy hiperparametr. Jeśli ustawisz tempo uczenia się jest zbyt niskie, trenowanie zajmie za długo. Jeśli jeśli ustawisz zbyt wysokie tempo uczenia się, zejście gradientowe często powoduje problemy. i osiągać zgodność.

Kliknij ikonę, aby zobaczyć wyjaśnienie matematyczne.

Podczas każdej iteracji gradient gradientowy algorytm mnoży wartość według gradientu. Powstały produkt to kroku gradientu.

---

jednostajne

#fundamentals

Relacja między co najmniej 2 zmiennymi, którą można przedstawić wyłącznie przez dodawanie i mnożenie.

Wykres zależności liniowej jest linią.

Przeciwieństwem są nonlinear.

model liniowy

#fundamentals

Model, który przypisuje jedną wagę każdemu feature do prognozowania. (Modele liniowe uwzględniają też uprzedzenia). W przeciwieństwie do tego: związek cech z prognozami w modelach szczegółowych jest zwykle nonlinear.

Modele liniowe są zwykle łatwiejsze do wytrenowania i nie tylko interpretowalne niż modele głębokie. Pamiętaj jednak: modele głębokie mogą uczyć się złożonych relacji między cechami.

Regresja liniowa oraz regresja logistyczna to 2 rodzaje modeli liniowych.

Kliknij ikonę, aby zobaczyć wyliczenie.

Model liniowy ma taką postać:

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

gdzie:

• y' to nieprzetworzona prognoza. (W przypadku niektórych rodzajów modeli liniowych to nieprzetworzona prognoza będzie dalej modyfikowana. Na przykład zobacz regresji logicznej).
• b to uprzedzenia.
• w to waga, więc w₁ jest waga pierwszej cechy, w₂ to waga drugiej funkcji i tak dalej.
• x to funkcja, więc x₁ to funkcja wartość pierwszej cechy, x₂ to wartość drugiej cechy, i tak dalej.

. Załóżmy na przykład, że model liniowy trzech obiektów uczy się uprzedzenia i wagi:

• B = 7
• w₁ = –2,5
• w₂ = –1,2
• w₃ = 1,4

. Dlatego biorąc pod uwagę 3 cechy (x₁, x₂, i x₃), model liniowy wykorzystuje to równanie aby wygenerować każdą prognozę:

y' = 7 + (-2.5)(x1) + (-1.2)(x2) + (1.4)(x3)

Przyjmijmy, że konkretny przykład zawiera następujące wartości:

• x₁ = 4
• x₂ = -10
• x₃ = 5

. Jeśli wpiszesz te wartości w formule, otrzymasz prognozę w tym przykładzie:

y' = 7 + (-2.5)(4) + (-1.2)(-10) + (1.4)(5)
y' = 16

Modele liniowe obejmują nie tylko modele wykorzystujące tylko równanie liniowe tworzyć prognozy, ale też szerszy zestaw modeli korzystających z równania liniowego jako jeden z komponentów formuły tworzących prognozy. Na przykład regresja logistyczna przetwarza prognoza (y') pozwoli uzyskać końcową wartość prognozy od 0 do 1, .

---

regresja liniowa

#fundamentals

Typ modelu systemów uczących się, w którym spełnione są oba te warunki:

• Model jest modelem liniowym.
• Prognoza jest wartością zmiennoprzecinkową. (Jest to regresji w regresji liniowej).

Porównaj regresję liniową z regresją logistyczną. Dodatkowo regresja kontrastowa dzięki klasyfikacji.

regresja logistyczna

#fundamentals

Typ modelu regresji, który prognozuje prawdopodobieństwo. Modele regresji logistycznej mają te cechy:

• Etykieta jest kategoryczna. Termin logistyka Termin regresja odnosi się zwykle do binarnej regresji logistycznej, czyli w modelu, który oblicza prawdopodobieństwo dla etykiet o 2 możliwych wartościach. Mniej popularny wariant, wielomianowa regresja logistyczna, oblicza prawdopodobieństwa dla etykiet z więcej niż 2 możliwymi wartościami.
• Funkcja utraty podczas trenowania to Log Loss (Utrata logów). (Wiele jednostek utraty logów można umieścić równolegle dla etykiet z więcej niż dwiema możliwymi wartościami).
• Model ma architekturę liniową, a nie głęboką sieć neuronowa. Pozostała część tej definicji ma jednak zastosowanie również modele precyzyjne, które prognozują prawdopodobieństwa dla etykiet kategorialnych.

Weźmy na przykład model regresji logistycznej, który oblicza prawdopodobieństwo, że wpisany e-mail jest spamem lub nie jest spamem. Podczas wnioskowania załóżmy, że model przewiduje 0,72. Dlatego model szacuje:

• 72% prawdopodobieństwa, że e-mail będzie spamem
• 28% szans, że e-mail nie jest spamem.

Model regresji logistycznej wykorzystuje tę architekturę dwuetapową:

1. Model generuje nieprzetworzoną prognozę (y') przez zastosowanie funkcji liniowej cech wejściowych.
2. Model używa tej nieprzetworzonej prognozy jako danych wejściowych funkcja sigmoidalna, która konwertuje nieprzetworzoną dla prognozy na wartość z zakresu od 0 do 1 wyłącznie.

Podobnie jak każdy model regresji, model regresji logistycznej przewiduje liczbę. Jednak ta liczba zwykle staje się częścią klasyfikacji binarnej model w następujący sposób:

• Jeśli prognozowana liczba jest większa niż próg klasyfikacji, model klasyfikacji binarnej prognozuje klasę pozytywną.
• Jeśli prognozowana liczba jest mniejsza niż próg klasyfikacji, model klasyfikacji binarnej prognozuje klasę ujemną.

Logarytmiczna funkcja utraty danych

#fundamentals

Funkcja straty używana w formacie binarnym. regresji logistycznej.

Kliknij ikonę, aby zobaczyć wyliczenie.

Utrata logu jest obliczana według tego wzoru:

$$\text{Log Loss} = \sum_{(x,y)\in D} -y\log(y') - (1 - y)\log(1 - y')$$

gdzie:

• \((x,y)\in D\) to zbiór danych zawierający wiele etykiet które są \((x,y)\) parami.
• \(y\) to etykieta w przykładzie oznaczonym etykietą. Jest to regresja logistyczna, każda wartość \(y\) musi wynosić 0 lub 1.
• \(y'\) to wartość przewidywana (gdzieś od 0 do 1, wyłącznie), biorąc pod uwagę zestaw funkcji w \(x\).

---

log-odds,

#fundamentals

Logarytm prawdopodobieństwa wystąpienia określonego zdarzenia.

Kliknij ikonę, aby zobaczyć wyliczenie.

Jeśli zdarzenie jest prawdopodobieństwem binarnym, argument odds odnosi się do stosunek prawdopodobieństwa sukcesu (p) do prawdopodobieństwa błąd (1–p). Na przykład załóżmy, że dane zdarzenie miało 90% prawdopodobieństwo sukcesu i 10% prawdopodobieństwa niepowodzenia. W tym przypadku prawdopodobieństwo jest obliczane w następujący sposób:

$$ {\text{odds}} = \frac{\text{p}} {\text{(1-p)}} = \frac{.9} {.1} = {\text{9}} $$

Argumenty logarytmiczne są po prostu logarytmem szans. Zgodnie z konwencją „logarytm” odnosi się logarytm naturalny, ale logarytm może być w rzeczywistości dowolną podstawą większą niż 1. Zgodnie z przyjętą konwencją nasze wartości logarytmiczne są następujące:

$$ {\text{log-odds}} = ln(9) ~= 2.2 $$

Funkcja log-odds to odwrotność funkcji funkcji sigmoid.

---

przegrana

#fundamentals

Podczas szkolenia model nadzorowany, czyli miara odległości prognoza modelu pochodzi z etykiety.

Funkcja straty oblicza stratę.

krzywa straty

#fundamentals

Wykres straty jako funkcja liczby treningów iteracji. Ten wykres przedstawia typową stratę krzywa:

Krzywe straty pomagają określić, kiedy model zbędne lub nadmierne dopasowanie.

Krzywe straty mogą wykreślać wszystkie te typy strat:

• utrata szkoleń
• utraty walidacji
• utraty testu

Zobacz też krzywą uogólnienia.

funkcja straty

#fundamentals

Podczas szkolenia lub testowania funkcja matematyczna, która oblicza z grupą przykładów. Funkcja utraty zwraca mniejszą stratę dla modeli, które generują dobre prognozy, niż dla modeli, które złych prognoz.

Celem trenowania jest zazwyczaj zminimalizowanie utraty funkcji „powrót karetki”.

Istnieje wiele różnych rodzajów funkcji utraty. Wybierz odpowiednią stratę dla rodzaju tworzonego modelu. Na przykład:

• L₂ – strata (lub błąd średniokwadratowy) to funkcja straty dla regresji liniowej.
• Log Loss (Utrata logów) to funkcja straty dla funkcji regresji logistycznej.

M

systemy uczące się

#fundamentals

Program lub system, który szkoli model na podstawie danych wejściowych. Wytrenowany model może tworzyć przydatne prognozy na podstawie nowych (nigdy wcześniej niewidzianych) danych pochodzących z taki sam rozkład, jaki został użyty do trenowania modelu.

Uczenie maszynowe odnosi się również do danej dziedziny nauki z tymi programami lub systemami.

klasa większości

#fundamentals

Im bardziej popularna etykieta w zbiór danych o niezbalansowaniu klasy. Przykład: dla zbioru danych zawierającego 99% etykiet negatywnych i 1% pozytywnych, etykiety negatywne są większością.

Wskaż kontrast z klasą mniejszości.

minizbiorcza

#fundamentals

Mały, losowo wybrany podzbiór grup przetwarzany w jednym iteracja. Rozmiar grupy to zwykle od 10 do 1000 przykładów.

Załóżmy na przykład, że cały zbiór treningowy (pełna wsad) obejmuje 1000 przykładów. Załóżmy też, że ustawisz parametr rozmiar grupy każdej minigrupy do 20. Dlatego każde iteracja określa stratę na losowych 20 z 1000 przykładów,a następnie odpowiednio dostosowuje wagi i odchylenia.

Znacznie efektywniej obliczysz stratę w przypadku małych partii niż w przypadku wszystkich przykładów w całej partii.

klasa mniejszościowa

#fundamentals

Rzadziej używana etykieta w zbiór danych o niezbalansowaniu klasy. Przykład: dla zbioru danych zawierającego 99% etykiet negatywnych i 1% pozytywnych, etykiety dodatnie to klasa mniejszości.

Kontrast z klasą większości.

Kliknij ikonę, aby wyświetlić dodatkowe notatki.

Zestaw treningowy z milionem przykładów dźwięków robi wrażenie. Jeśli jednak klasa mniejszości jest słabo reprezentowana, to nawet bardzo duży zestaw treningowy może być niewystarczający. Mniejsze skupienie łącznej liczby przykładów w zbiorze danych i innych aspektów z mniejszości.

Jeśli w zbiorze danych nie ma wystarczającej liczby przykładów klas mniejszości, rozważ za pomocą downsampling (definicja w drugim punkcie), aby uzupełnić klasę mniejszości.

---

model

#fundamentals

Ogólnie każdy konstrukt matematyczny, który przetwarza dane wejściowe i zwroty dane wyjściowe. Inaczej mówiąc, model to zbiór parametrów i struktury jest niezbędna do generowania prognoz. W przypadku nadzorowanych systemów uczących się model bierze pod uwagę przykład jako dane wejściowe i wyciąga wartość prognoza jako dane wyjściowe. W ramach nadzorowanych systemów uczących się modele się nieco różnią. Na przykład:

• Model regresji liniowej składa się ze zbioru wag. i uprzedzenia.
• Model sieci neuronowej składa się z tych elementów:
  • Zestaw ukrytych warstw, z których każda zawiera jedną lub więcej neuronów.
  • Wagi i uprzedzenia związane z każdym neuronem.
• Model drzewa decyzji składa się z tych elementów:
  • Kształt drzewa; czyli wzorca, w którym warunki i liście są połączone.
  • Warunki i opóźnienie.

Model możesz zapisać, przywrócić lub utworzyć jego kopie.

Nienadzorowane systemy uczące się generuje modele, zwykle funkcję, która może zmapować przykład danych wejściowych najbardziej odpowiedni klaster.

Kliknij ikonę, aby porównać funkcje algebraiczne i programistyczne z modelami ML.

Funkcja algebraiczna, taka jak poniżej, jest modelem:

  f(x, y) = 3x -5xy + y2 + 17

Poprzednia funkcja mapuje wartości wejściowe (x i y) na dane wyjściowe.

Podobnie jest w przypadku poniższej funkcji programowania, takiej jak poniżej:

def half_of_greater(x, y):
  if (x > y):
    return(x / 2)
  else
    return(y / 2)

Element wywołujący przekazuje argumenty do poprzedniej funkcji w Pythonie, a funkcja Funkcja w Pythonie generuje dane wyjściowe (za pomocą instrukcji return).

Chociaż głęboka sieć neuronowa mają zupełnie inną strukturę matematyczną niż algorytmy algebraiczne czy programistyczne. głęboka sieć neuronowa pobiera dane wejściowe (przykład) i zwraca dane wyjściowe (prognoza).

Programista ręcznie koduje funkcję programowania. W przeciwieństwie do tego: model systemów uczących się stopniowo uczy się optymalnych parametrów podczas automatycznego trenowania.

---

klasyfikacja wieloklasowa

#fundamentals

W uczeniu nadzorowanym problem z klasyfikacją w których zbiór danych zawiera więcej niż 2 klasy etykiet. Na przykład etykiety w zbiorze danych Iris muszą być jedną z tych etykiet: 3 klasy:

• Irys setosa
• Irys wirginica
• Irys w wersji versicolor

Model wytrenowany na zbiorze danych Iris, który prognozuje typ przesłony na nowych przykładach przeprowadza klasyfikację wieloklasową.

Z kolei problemy z klasyfikacją rozróżniają dokładnie dwa rodzaje danych. to binarne modele klasyfikacji. Na przykład model poczty e-mail, który przewiduje spam lub nie spam. to binarny model klasyfikacji.

W problemach klastrowania klasyfikacja wieloklasowa odnosi się do więcej niż dwóch klastrów.

N

klasa negatywna

#fundamentals

W klasyfikacji binarnej 1 klasa jest określanych jako pozytywne, a drugie – ujemnych. Klasa pozytywna to rzecz lub zdarzenie, pod kątem których testuje model, a klasa ujemna to innej możliwości. Na przykład:

• Ocena negatywna w teście medycznym może oznaczać, że to nie guz.
• Wykluczona klasa w klasyfikatorze e-mail może mieć stan „Nie spam”.

Wskaż kontrast z klasą pozytywną.

sieć neuronowa

#fundamentals

Model zawierający co najmniej jeden ukrytą warstwę. Głęboka sieć neuronowa to typ sieci neuronowej. zawierające więcej niż jedną ukrytą warstwę. Na przykład ten diagram pokazuje głęboką sieć neuronową zawierającą 2 ukryte warstwy.

Każdy neuron w sieci neuronowej łączy się ze wszystkimi węzłami w następnej warstwie. Na przykład na poprzednim diagramie widać, że każdy z 3 neuronów w pierwszej ukrytej warstwie łączą się oddzielnie z 2 neuronami drugą ukrytą warstwę.

Sieci neuronowe stosowane na komputerach są czasem nazywane sztucznych sieci neuronowych, aby odróżnić je od sieci neuronowych występujących w mózgu i innych układach nerwowych.

Niektóre sieci neuronowe mogą naśladować bardzo złożone relacje nieliniowe między różnymi cechami i etykietą.

Zobacz też splotową sieć neuronowa oraz powracającej sieci neuronowej.

neuron

#fundamentals

W systemach uczących się: odrębna jednostka w ukrytej warstwie. sieci neuronowej. Każdy neuron wykonuje następujące czynności działanie dwuetapowe:

1. Oblicza sumę ważoną wartości wejściowych pomnożonych przez przez odpowiednią wagę.
2. Przekazuje sumę ważoną jako dane wejściowe do funkcji aktywacji.

Neuron w pierwszej ukrytej warstwie przyjmuje dane wejściowe z wartości cech w warstwie wejściowej. Neuron w dowolnej ukrytej warstwie poza nią pierwszy przyjmuje dane wejściowe z neuronów w poprzedniej ukrytej warstwie. Na przykład neuron w drugiej ukrytej warstwie przyjmuje dane wejściowe z i neuronów w pierwszej ukrytej warstwie.

Na ilustracji poniżej przedstawiono 2 neurony i ich danych wejściowych.

Neuron w sieci neuronowej naśladuje zachowanie neuronów w mózgu i innych częściach układu nerwowego.

węzeł (sieć neuronowa)

#fundamentals

Neuron w ukrytej warstwie.

nonlinear

#fundamentals

Relacja między co najmniej 2 zmiennymi, której nie można przedstawić wyłącznie przez dodawanie i mnożenie. Relacja liniowa może być przedstawiona za pomocą linii, zależność nonlinear jest reprezentowana jako linia. Przeanalizujmy na przykład 2 modele, z którymi każdy się odnosi z jedną cechę na jedną etykietę. Model po lewej stronie jest liniowy a model po prawej stronie jest nieliniowy:

niestacjonarny

#fundamentals

Cecha, której wartości zmieniają się w przypadku jednego lub kilku wymiarów, zwykle w czasie. Rozważmy na przykład te przykłady niestacjonarności:

• Liczba kostiumów kąpielowych sprzedawanych w danym sklepie różni się w zależności od pory roku.
• Ilość konkretnych owoców zebranych w konkretnym regionie wynosi 0 przez większą część roku, ale jest duża przez krótki okres.
• Z powodu zmian klimatycznych średnia roczna temperatura się zmienia.

Przeciwieństwem jest stacjonarność.

normalizacja

#fundamentals

Ogólnie rzecz biorąc, proces konwertowania rzeczywistego zakresu zmiennej do standardowego zakresu wartości, takiego jak:

• Od -1 do +1
• Od 0 do 1
• rozkład normalny

Na przykład załóżmy, że rzeczywisty zakres wartości danej cechy to z 800 do 2400. W ramach projektowania funkcji możesz znormalizować wartości rzeczywiste do standardowego zakresu, jako -1, aby dać +1.

Normalizacja jest częstym zadaniem inżynierii cech. Modele zwykle trenują szybciej (i tworzyć lepsze prognozy), gdy każda funkcja liczbowa w funkcji wektor cech ma mniej więcej taki sam zakres.

dane liczbowe

#fundamentals

Funkcje reprezentowane w postaci liczb całkowitych lub liczb rzeczywistych. Na przykład model wyceny domu prawdopodobnie reprezentowałby wielkość domu (w stopach kwadratowych lub metrach kwadratowych) jako dane liczbowe. Reprezentuję jeśli cecha ma postać danych liczbowych, wskazuje, że jej wartości zostały związek matematyczny z etykietą. To oznacza, że liczba metrów kwadratowych domu zbudowana jest na podstawie matematyczny związek z wartością domu.

Nie wszystkie dane całkowite powinny być przedstawiane jako dane liczbowe. Przykład: kody pocztowe w niektórych częściach świata są liczbami całkowitymi. jednak, całkowita liczba pocztowa W modelach kody nie powinny być przedstawiane w postaci danych liczbowych. To dlatego, że kod pocztowy 20000 nie jest dwa (lub o połowę) wyższy niż kod pocztowy 10000. Mimo że różne kody pocztowe wiążą się z różnymi nieruchomości, nie możemy założyć, że wartości nieruchomości podane w kodzie pocztowym Wartość 20 000 w przypadku kodu pocztowego 10 000 ma 2 razy większą wartość niż nieruchomości. Kody pocztowe powinny być przedstawiane jako dane kategorialne .

Cechy liczbowe są czasami nazywane funkcje ciągłe.

O

offline

#fundamentals

Synonim słowa statyczny.

wnioskowanie offline

#fundamentals

Proces generowania grupy prognoz przez model a następnie buforować (zapisywać) te prognozy. Dzięki temu aplikacje będą miały dostęp do z pamięci podręcznej, zamiast ponownie uruchamiać model.

Rozważmy na przykład model, który generuje lokalne prognozy pogody. (prognozy) co 4 godziny. Po uruchomieniu każdego modelu system zapisuje w pamięci podręcznej wszystkie lokalne prognozy pogody. Aplikacje pogodowe pobierają prognozy z pamięci podręcznej.

Wnioskowanie offline nazywane jest też wnioskowaniem statycznym.

Różnica z wnioskowaniem online.

kodowanie one-got

#fundamentals

Przedstawianie danych kategorialnych w postaci wektora, w którym:

• Jeden z elementów ma wartość 1.
• Pozostałe elementy mają wartość 0.

Kodowanie jednorazowe jest zwykle stosowane do reprezentowania ciągów znaków lub identyfikatorów, mają ograniczony zestaw możliwych wartości. Załóżmy na przykład, że określona cecha kategorialna o nazwie Pole Scandinavia może zawierać pięć wartości:

• „Dania”
• „Szwecja”
• „Norwegia”
• „Finlandia”
• „Islandia”

Jednokrotne kodowanie może reprezentować każdą z tych 5 wartości w następujący sposób:

country	Wektor
„Dania”	1	0	0	0	0
„Szwecja”	0	1	0	0	0
„Norwegia”	0	0	1	0	0
„Finlandia”	0	0	0	1	0
„Islandia”	0	0	0	0	1

Dzięki kodowaniu „jedno gorące” model może uczyć się różnych połączeń w każdym z 5 krajów.

Przedstawianie cechy w postaci danych liczbowych to to alternatywa dla kodowania jeden-gotowego. Niestety reprezentuję Numeryczne kraje skandynawskie nie są dobrym rozwiązaniem. Przykład: mamy do czynienia z taką reprezentacją liczbową:

• „Dania” wynosi 0
• „Szwecja” wynosi 1
• „Norwegia” to 2
• „Finlandia” wynosi 3
• „Islandia” wynosi 4

Przy kodowaniu numerycznym model interpretowałby nieprzetworzone liczby i spróbowałby trenować na tych liczbach. Jednak w Islandii nie jest 2 razy więcej (albo o połowę mniej) Tak jak w Norwegii, wyciągnie z niego dziwne wnioski.

jeden kontra wszystko

#fundamentals

W przypadku problemu klasyfikacji N klas funkcję zawierające N osobne klasyfikatory binarne – jeden klasyfikator binarny dla każdego możliwego wyniku. Na przykład model klasyfikujący przykłady zwierzęce, roślinne lub mineralne, rozwiązanie uniwersalne dałoby tych 3 osobnych klasyfikatorów binarnych:

• zwierzę czy nie zwierzę
• warzywne czy niewarzywne
• minerał vs. nieminerał

online

#fundamentals

Synonim terminu dynamic.

wnioskowanie online

#fundamentals

generowanie prognoz na żądanie. Przykład: załóżmy, że aplikacja przekazuje dane wejściowe do modelu i wysyła żądanie z prognozą. System wykorzystujący wnioskowanie online odpowiada na żądanie, uruchamiając polecenie model (i zwrócenie prognozy do aplikacji).

Przeciwieństwem są wnioskowanie offline.

warstwa wyjściowa

#fundamentals

„Ostateczny” warstwa sieci neuronowej. Warstwa wyjściowa zawiera prognozę.

Ilustracja przedstawiająca małą głęboką sieć neuronowa z danymi wejściowymi warstwami, 2 ukrytymi warstwami i warstwą wyjściową:

nadmierne dopasowanie

#fundamentals

Utwórz model pasujący do: danych do trenowania, aby model nie aby tworzyć prawidłowe prognozy na podstawie nowych danych.

Regularizowanie może ograniczyć nadmierne dopasowanie. Trenowanie na dużym i zróżnicowanym zestawie treningowym może również ograniczyć nadmierne dopasowanie.

Kliknij ikonę, aby wyświetlić dodatkowe notatki.

Nadmiarowość polega na przestrzeganiu rady udzielanej tylko przez Ciebie i nauczyciela. Ten nauczyciel prawdopodobnie odniesie sukces, ale może się „nadmiernie trenować” z pomysłami tego nauczyciela i nie powinie się w innych zajęcia. Postępując zgodnie z poradami różnych nauczycieli, lepiej dostosowywać się do nowych sytuacji.

---

P

pandy

#fundamentals

Interfejs API analizy danych z orientacją na kolumny oparty na numpy. Wiele platform systemów uczących się, w tym TensorFlow, obsługuje jako dane wejściowe struktury danych Pandas. Zobacz dokumentacja pandas .

parametr

#fundamentals

Wagi i odchylenia, których model uczy się podczas szkoleń. Na przykład w parametrze regresji liniowej, parametry składają się z: uprzedzenia (b) i wszystkich wag (w₁, w₂, i tak dalej) w takim wzorze:

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

hiperparametr to wartości, które Ty (lub usługa przełączania hiperparametrów) do modelu. Na przykład szybkość uczenia się jest hiperparametrem.

klasa pozytywna

#fundamentals

Zajęcia, których dotyczy test.

Na przykład klasą pozytywną w modelu raka może być „guz”. Pozytywną klasą w klasyfikatorze e-mail może być „spam”.

Ustaw kontrast z klasą ujemną.

Kliknij ikonę, aby wyświetlić dodatkowe notatki.

Termin klasa dodatnia może być mylący, ponieważ wynik jest często niepożądanym wynikiem. Na przykład klasa pozytywna w argumencie jest wiele badań medycznych, które odpowiadają guzom lub chorobom. Ogólnie rzecz biorąc, i powiedzieć lekarzowi: „Gratulacje! Wyniki testu były negatywne”. Niezależnie od tego klasa pozytywna to zdarzenie, które ma znaleźć się test.

Przyznaję, że jednocześnie testujemy zarówno wyniki pozytywne, jak i negatywne zajęcia.

---

obróbka

#fairness

#fundamentals

Dostosowywanie danych wyjściowych modelu po jego uruchomieniu. Przetwarzanie końcowe może być wykorzystywane do egzekwowania ograniczeń obiektywności bez na ich własnych modyfikowaniu.

Można na przykład zastosować przetwarzanie do klasyfikatora binarnego ustalając próg klasyfikacji w taki sposób, równość szans jest utrzymana; dla niektórych atrybutów, sprawdzając, czy prawdziwie pozytywny współczynnik dodatni jest taka sama dla wszystkich wartości tego atrybutu.

prognoza

#fundamentals

Dane wyjściowe modelu. Na przykład:

• Prognoza modelu klasyfikacji binarnej jest albo dodatnia klasę lub klasę negatywną.
• Prognoza modelu klasyfikacji wieloklasowej to jedna klasa.
• Prognoza modelu regresji liniowej jest liczbą.

etykiety serwera proxy

#fundamentals

Dane używane do określania przybliżonych etykiet, które nie są bezpośrednio dostępne w zbiorze danych.

Załóżmy na przykład, że musisz wytrenować model do prognozowania, poziom stresu. Zbiór danych zawiera wiele funkcji prognozowanych, ale nie zawiera etykiety poziom stresu. Niezrażony, wybierasz „wypadki w miejscu pracy” jako etykiety proxy dla poziom stresu. W końcu pracownicy podatni na stres bardziej angażują się niż spokojnych pracowników. Czy tak? Być może wypadki w miejscu pracy. rosną i spadają z wielu powodów.

Na potrzeby drugiego przykładu załóżmy, że chcesz użyć etykiety czy pada? Twój zbiór danych nie zawiera danych o deszczach. Jeśli dostępnych zdjęć, możesz stworzyć zdjęcia ludzi, z parasolami jako etykietką, czy pada? Czy to dobrą etykietę serwera proxy? Możliwe, ale w niektórych kulturach ludzie częściej będą nosić parasole chroniące przed słońcem niż deszcz.

Etykiety serwera proxy są często niedoskonałe. Jeśli to możliwe, wybieraj rzeczywiste etykiety zamiast etykiet serwera proxy. Mając to na uwadze, jeśli brakuje rzeczywistej etykiety, wybierz serwer proxy bardzo ostrożnie, wybierając najmniej okropną etykietę proxy.

R

RAG

#fundamentals

Skrót od generowanie rozszerzonego wyszukiwania z wykorzystaniem pobierania.

oceniający

#fundamentals

Osoba, która zapewnia etykiety przykładów. „Twórca adnotacji” to inna nazwa oceniającego.

Prostokątna jednostka liniowa (ReLU)

#fundamentals

funkcję aktywacji o takim działaniu:

• Jeśli dane wejściowe mają wartość ujemną lub zero, wynik wynosi 0.
• Jeśli dane wejściowe są dodatnie, wynik jest równy wartości wejściowej.

Na przykład:

• Jeśli wartość wejściowa to -3, wynik to 0.
• Jeśli podana wartość to +3, wynik to 3,0.

Oto fabuła ReLU:

ReLU to bardzo popularna funkcja aktywacyjna. Pomimo prostego działania ReLU nadal umożliwia sieci neuronowej uczenie się nonlinear. zależności między funkcjami a etykietą.

model regresji

#fundamentals

Nieformalnie model generujący prognozę liczbową. (W przeciwieństwie do tego model klasyfikacji generuje klasę, prediction.) Poniżej znajdują się na przykład wszystkie modele regresji:

• Model, który prognozuje wartość konkretnej domu,np. 423 000 euro.
• Model, który prognozuje oczekiwaną długość życia drzewa, np.23,2 roku.
• Model prognozujący ilość deszczu, który spadnie w określonym mieście w ciągu następnych 6 godzin, np.0,18 cala.

2 typowe modele regresji to:

• Regresja liniowa, która znajduje linię, która najlepiej dopasowuje wartości etykiet do cech.
• regresji logistyki, która generuje prawdopodobieństwo z zakresu od 0,0 do 1,0, które system zwykle mapuje na klasę z prognozą.

Nie każdy model, który generuje prognozy liczbowe, jest modelem regresji. W niektórych przypadkach prognoza numeryczna jest w rzeczywistości tylko modelem klasyfikacji które mają nazwy klas liczbowych. Na przykład model, który prognozuje, Numeryczny kod pocztowy jest modelem klasyfikacji, a nie modelem regresji.

regularyzacja

#fundamentals

Każdy mechanizm, który ogranicza nadmierne dopasowanie. Popularne typy regularyzacji to między innymi:

• L₁ regularyzacja
• L₂ regularyzacja
• regularizacja porzucania
• wcześniejsze zaprzestanie (to nie jest formalne jest metoda regularyzacji, ale może skutecznie ograniczyć nadmierne dopasowanie).

Regularizację można też zdefiniować jako karę ze względu na złożoność modelu.

Kliknij ikonę, aby wyświetlić dodatkowe notatki.

Regulacja jest sprzeczna z intuicją. Zwiększenie regularyzacji zwykle zwiększa straty podczas trenowania, co jest mylące, ponieważ aby zminimalizować straty po treningu?

Właściwie to nie. Celem nie jest minimalizacja utraty treningów. Celem jest tworzyć świetne prognozy na rzeczywistych przykładach. Zaskakujące, zwiększenie regularyzacji zwiększa stratę trenowania, zwykle pomaga modelom i lepsze prognozy na rzeczywistych przykładach.

---

współczynnik regularyzacji

#fundamentals

Liczba, która określa względne znaczenie regularizacji podczas trenowania. Promowanie częstotliwość regularyzacji zmniejsza nadmierne dopasowanie, ale może zmniejszają moc prognozowania modelu. I na odwrót, zmniejszanie lub pomijanie współczynnik regularyzacji zwiększa dopasowanie.

Kliknij ikonę, aby zobaczyć wyliczenie.

Współczynnik regularyzacji jest zwykle oznaczany jako grecka litera „lambda”. Poniżej podajemy uproszczone równanie straty. wpływ lambdy:

$$\text{minimize(loss function + }\lambda\text{(regularization))}$$

gdzie regularizacja to dowolny mechanizm regularyzacji, w tym:

• L₁ regularyzacja
• L₂ regularyzacja

---

ReLU

#fundamentals

Skrót od wyprostowanej jednostki liniowej.

generowanie rozszerzone przez pobieranie (RAG)

#fundamentals

Technika poprawiania jakości dane wyjściowe dużego modelu językowego (LLM) uzależniając go od źródeł wiedzy pobranych po wytrenowaniu modelu. RAG zwiększa dokładność odpowiedzi LLM, udostępniając wytrenowanemu LLM dostępu do informacji pobranych z zaufanych baz wiedzy lub dokumentów.

Oto częste powody, dla których warto korzystać z generowania rozszerzonego przez wyszukiwanie:

• Zwiększenie dokładności faktów wygenerowanych przez model.
• Zapewnienie modelowi dostępu do wiedzy, na której nie został trenowany.
• Zmiana wiedzy wykorzystywanej przez model.
• Umożliwienie modelowi cytowania źródeł.

Załóżmy na przykład, że aplikacja chemiczna korzysta z modelu PaLM API do generowania podsumowań. związane z zapytaniami użytkowników. Gdy backend aplikacji odbiera zapytanie, system:

1. Wyszukuje dane („pobiera”) dane związane z zapytaniem użytkownika.
2. Dołącza („rozszerza”) odpowiednie dane chemiczne do zapytania użytkownika.
3. Instruuje LLM do utworzenia podsumowania na podstawie dołączonych danych.

Krzywa charakterystyki operacyjnej odbiornika

#fundamentals

wykres współczynnika prawdziwie dodatniego w porównaniu z współczynnik wyników fałszywie pozytywnych dla różnych progi klasyfikacji w formacie binarnym. klasyfikacja danych.

Kształt krzywej ROC sugeruje zdolność modelu klasyfikacji binarnej aby oddzielić klasy pozytywne od negatywnych. Załóżmy na przykład, że że model klasyfikacji binarnej idealnie oddziela wszystkie wartości ujemne ze wszystkich klas pozytywnych:

Krzywa charakterystyki ROC poprzedniego modelu wygląda tak:

Dla porównania na ilustracji poniżej przedstawiono nieprzetworzoną regresję logistyczną. strasznego modelu, który nie potrafi oddzielić klas negatywnych od pozytywnej klasy,

Krzywa charakterystyki ROC w tym modelu wygląda tak:

Tymczasem w świecie rzeczywistym większość modeli klasyfikacji binarnej oddziela w pewnym stopniu pozytywnych i negatywnych, ale zwykle nie jest idealnie. A więc, typowa krzywa ROC mieści się gdzieś pomiędzy 2 skrajnymi wartościami:

Punkt na krzywej ROC najbliższy (0,0, 1,0) teoretycznie identyfikuje idealnego progu klasyfikacji. Istnieje jednak kilka innych rzeczywistych problemów, wpływają na wybór idealnego progu klasyfikacji. Przykład: być może wyniki fałszywie negatywne powodują znacznie większy ból niż wyniki fałszywie pozytywne.

Dane liczbowe o nazwie AUC podsumowują krzywą ROC w pojedynczą wartość zmiennoprzecinkową.

Średnia kwadratowa błędów (RMSE)

#fundamentals

Pierwiastek kwadratowy z średniego kwadratu błędu.

S

funkcja sigmoid

#fundamentals

Funkcja matematyczna, która „ściska” wartość wejściową do ograniczonego zakresu, zwykle 0 do 1 lub -1 do +1. Oznacza to, że można przekazać dowolną liczbę (dwa, milion, do sigmoidy, a wynik będzie nadal ograniczony zakres. Schemat funkcji aktywacji sigmoidalnej wygląda tak:

Funkcja sigmoidalna ma wiele zastosowań w uczeniu maszynowym, m.in.:

• Konwertowanie nieprzetworzonych danych wyjściowych regresja logistyczna lub model regresji wielomianowej do prawdopodobieństwa.
• Pełnienie funkcji aktywacyjnej w niektórych sieci neuronowych.

Kliknij ikonę, aby zobaczyć wyliczenie.

Funkcja sigmoidalna na podanej liczbie x ma taką formułę:

$$ sigmoid(x) = \frac{1}{1 + e^{-\text{x}}} $$

W systemach uczących się x jest zwykle suma ważona.

---

funkcja softmax

#fundamentals

Funkcja, która określa prawdopodobieństwo dla każdej możliwej klasy w argumencie model klasyfikacji wieloklasowej. prawdopodobieństwa dają sumę dokładnie 1,0. Na przykład w tabeli poniżej pokazujemy, jak rozkłada się działanie funkcji softmax różne prawdopodobieństwa:

Obraz jest...	Probability,
pies	0,85
Cat	0,13
koń	0,02

Jest on też nazywany pełnym softmax.

Przeciwieństwem jest próbkowanie kandydatów.

Kliknij ikonę, aby zobaczyć wyliczenie.

Równanie softmax wygląda tak:

$$\sigma_i = \frac{e^{\text{z}_i}} {\sum_{j=1}^{j=K} {e^{\text{z}_j}}} $$

gdzie:

• $\sigma_i$ to wektor wyjściowy. Każdy element wektora wyjściowego określa prawdopodobieństwo tego elementu. Suma wszystkich pierwiastków w wektorze wyjściowym wynosi 1,0. Wektor wyjściowy zawiera tę samą liczbę jako wektora wejściowego, $z$.
• $z$ to wektor wejściowy. Każdy element wektora wejściowego zawiera wartość zmiennoprzecinkową.
• $K$ to liczba elementów w wektorze wejściowym (oraz wektorowy).

Załóżmy na przykład, że wektor wejściowy to:

[1.2, 2.5, 1.8]

Dlatego funkcja softmax oblicza mianownik w następujący sposób:

$$\text{denominator} = e^{1.2} + e^{2.5} + e^{1.8} = 21.552$$

Prawdopodobieństwo miękkiego maksimum każdego elementu jest więc następujące:

$$\sigma_1 = \frac{e^{1.2}}{21.552} = 0.154 $$ $$\sigma_2 = \frac{e^{2.5}}{21.552} = 0.565 $$ $$\sigma_1 = \frac{e^{1.8}}{21.552} = 0.281 $$

Zatem wektor wyjściowy jest więc taki:

$$\sigma = [0.154, 0.565, 0.281]$$

$\sigma$ – suma trzech elementów to 1,0. Uff...

---

cecha rozproszona

#language

#fundamentals

Cecha, której wartości mają głównie zero lub są puste. Na przykład cecha zawierająca pojedynczą wartość 1 i milion 0 to rozproszony. Natomiast obiekt gęsty ma wartości, które nie są zerowe ani puste.

W systemach uczących się zaskakująca liczba funkcji to rzadkie funkcje. Cechy kategorialne są zwykle rozproszone. Na przykład z 300 możliwych gatunków drzew w lesie jeden przykład może rozpoznać po prostu klon. Lub spośród milionów filmów dostępnych w bibliotece, jeden przykład może wskazać tylko „Casablanca”.

W modelu zazwyczaj są przedstawiane rozproszone cechy, kodowanie jedno- gorące. Jeśli jedno gorące kodowanie jest duże, możesz umieścić na niej warstwę umieszczania 1 kodowanie jednorazowe, co pozwala zwiększyć wydajność.

reprezentacja rozproszona

#language

#fundamentals

Przechowywanie w obiekcie rozproszonym tylko pozycji elementów innych niż zero.

Załóżmy na przykład, że cecha kategorialna o nazwie species identyfikuje 36 gatunków drzew w konkretnym lesie. Zakładamy więc, że każdy przykład wskazuje tylko jeden gatunek.

Do reprezentowania gatunków drzew w każdym przykładzie możesz użyć wektora 1 gorąca. Wektor o jednej wartości gorącej mógłby zawierać pojedynczy element 1 (oznaczający konkretnego gatunku drzewa z tego przykładu) i 35 kształtów 0 (reprezentujących 35 gatunków drzew w tym przykładzie). Wyjątkowa reprezentacja z maple może wyglądać mniej więcej tak:

Ewentualnie rozproszona reprezentacja określałaby po prostu pozycję konkretnego gatunku. Jeśli maple znajduje się na pozycji 24, to reprezentacja rozproszona w maple będzie po prostu:

24

Zwróć uwagę, że reprezentacja rozproszona jest znacznie bardziej zwięzła niż danych „jedno gorące”. reprezentacja.

Uwaga: nie należy przekazywać rozproszonej reprezentacji jako bezpośredniego wprowadzania cech do modelu. Zamiast tego należy przekonwertować rozproszoną reprezentację na bardzo gorącej reprezentacji przed szkoleniem.

Aby zobaczyć nieco bardziej złożony przykład, kliknij ikonę.

Załóżmy, że każdy przykład w modelu musi reprezentować słowa, ale nie kolejność tych słów – w zdaniu anglojęzycznym. angielski składa się z około 170 000 słów,więc angielski jest kategoryzacją, z około 170 000 elementów. W większości zdań po angielsku bardzo mały ułamek z tych 170 000 słów, więc zestaw słów jeden przykład to z pewnością ubogie dane.

Zastanów się nad następującym zdaniem:

My dog is a great dog

Możesz użyć wariantu jednego gorącego wektora do reprezentowania słów w tym zdania. W tym wariancie wiele komórek w wektorze może zawierać wartość różna od zera. Ponadto w tym wariancie komórka może zawierać liczbę całkowitą inny niż jeden. Chociaż słowa „mój”, „to”, „a” i „świetny” pojawiają się tylko raz w zdaniu słowo „pies”, pojawia się dwukrotnie. Używanie tego wariantu: jedno gorące wektory reprezentujące słowa w tym zdaniu daje następujący wynik Wektor o 170 000 elementów:

Rzadkie przedstawienie tego samego zdania wyglądałoby po prostu tak:

0: 1
26100: 2
45770: 1
58906: 1
91520: 1

---

Jeśli nie wiesz, co zrobić, kliknij ikonę.

Termin „rozproszona reprezentacja” wprowadza w błąd wiele osób, ponieważ sama reprezentacja nie jest wektorem rozproszonym. Raczej rozproszony jest to tak naprawdę gęsta reprezentacja rozproszonego wektora. Reprezentacja indeksu synonimów jest nieco bardziej zrozumiała niż „rozproszona reprezentacja”.

---

wektor rozproszony

#fundamentals

Wektor, którego wartości to głównie zera. Zobacz też rozproszone cechę i różnorodność.

strata do kwadratu

#fundamentals

Synonim L₂ straty.

statyczne

#fundamentals

Coś, co trzeba zrobić raz, a nie bez przerwy. Hasła statyczny i offline to synonimy. Poniżej znajdziesz typowe przypadki użycia plików statycznych i offline w systemach uczących się. nauka:

• model statyczny (lub model offline) to model wytrenowany raz, a potem nie były używane od jakiegoś czasu.
• trenowanie statyczne (trenowanie offline) to proces trenowania statycznego modelu atrybucji.
• wnioskowanie statyczne (lub wnioskowanie offline) to funkcja procesu, w którym model generuje jednocześnie porcję prognoz.

Przeciwieństwem są dynamiczne.

wnioskowanie statyczne

#fundamentals

Synonim wnioskowania offline.

stacjonarność

#fundamentals

Cecha, której wartości nie zmieniają się w żadnym lub kilku wymiarach, zwykle w czasie. Na przykład cecha, której wartości w 2021 r. wyglądają mniej więcej tak samo, 2023 r. – stacjonarność eksponatów.

W prawdziwym świecie niewiele cech cechuje się stabilizacją. Funkcje równomierne synonimy stabilności (takiej jak poziom morza) zmiany w czasie.

Przeciwieństwem jest niestacjonarność.

gradient stochastyczny (SGD)

#fundamentals

Algorytm gradientu, w którym rozmiar grupy wynosi 1. Innymi słowy, SGD trenuje na jednego przykładu wybranego równomiernie losowo ze zestawu treningowego.

nadzorowane systemy uczące się

#fundamentals

Wytrenuj model z funkcji i ich odpowiednie etykiety. Nadzorowane systemy uczące się są analogiczne przez przeanalizowanie zestawu pytań i ich odpowiadające odpowiedziom. Po opanowaniu mapowania między pytaniami odpowiedzi, uczeń może następnie odpowiedzieć na nowe (nigdy wcześniej niewidziane) pytań na ten sam temat.

Porównaj z nienadzorowanych systemów uczących się.

funkcja syntetyczna

#fundamentals

cechę, której nie ma wśród cech wejściowych, ale z co najmniej jednego. Metody tworzenia cech syntetycznych należy uwzględnić następujące elementy:

• Grupowanie obiektu ciągłego do przedziałów zakresu.
• Utworzenie różnych cech.
• Mnożenie (lub dzielenie) jednej wartości cechy przez wartości innych cech lub samo w sobie. Jeśli na przykład a i b są cechami wejściowymi, to Oto przykłady funkcji syntetycznych:
  • ab
  • a²
• Stosowanie funkcji transcendentalnej do wartości cechy. Jeśli na przykład c jest cechą wejściową, to następujące przykłady funkcji syntetycznych:
  • sin(c)
  • ln(c)

Funkcje tworzone przez normalizację lub skalowanie nie są uznawane za funkcje syntetyczne.

T

strata testowa

#fundamentals

Dane reprezentujące stratę modelu zestawu testowego. Tworząc model, zazwyczaj starają się zminimalizować stratę testów. Dzieje się tak, ponieważ niska strata testu silniejszy sygnał jakości niż niska utraty trenowania lub niewielką utratę walidacji.

Czasami duża luka między utratą testów a utratą trenowania lub utratą walidacji sugeruje, że należy zwiększyć częstotliwość regularyzacji.

szkolenie

#fundamentals

Proces określania idealnych parametrów (wag i parametrów) uprzedzeń) składającej się z modelu. Podczas trenowania system odczytuje przykładów i stopniowo dostosowuje parametry. W szkoleniu wykorzystywane są poszczególne w dowolnym miejscu – od kilku do miliardów razy.

utrata treningu

#fundamentals

Dane reprezentujące stratę modelu podczas w konkretnej iteracji trenowania. Na przykład załóżmy, że funkcja utraty to średni kwadrat błędu. Być może utrata trenowania (średnia) Kwadratowy błąd) dla dziesiątej iteracji wynosi 2,2, a utrata trenowania dla dziesiąta iteracja to 1,9.

Krzywa straty przedstawia liczbę utraconych ćwiczeń w porównaniu z liczbą powtórzenia. Krzywa strat zawiera następujące wskazówki dotyczące trenowania:

• Nachylenie w dół oznacza, że model się rozwija.
• Stwierdzenie rosnące oznacza, że model się pogarsza.
• Płaski nachylenie oznacza, że model osiągnął zgodności.

Na przykład taka krzywa strat do pewnego stopnia wyidealizacji programy:

• Ostry spadek podczas początkowych iteracji, co oznacza, że szybkiego ulepszania modelu.
• Stopniowo spłaszczony (ale nadal w dół) aż do końca trenowania, co oznacza ciągłe ulepszanie modelu w pewnym stopniu wolniejsze tempo niż podczas pierwszych iteracji.
• Płaski spadek pod koniec trenowania, co sugeruje zbieżność.

Choć utrata trenowania jest ważna, zobacz też uogólnienia.

zniekształcenie między trenowaniem a zastosowaniem praktycznym

#fundamentals

Różnica między wydajnością modelu w okresie trenowania i skuteczności tego samego modelu w trakcie wyświetlania.

zbiór treningowy

#fundamentals

Podzbiór zbioru danych używany do trenowania modelu.

Zazwyczaj przykłady w zbiorze danych są dzielone na 3 z tych elementów: różne podzbiory:

• zbiór treningowy
• zestaw do walidacji
• zestawu testowego

W idealnej sytuacji każdy przykład w zbiorze danych powinien należeć tylko do jednej podzbiorów. Na przykład jeden przykład nie powinien należeć do zarówno w zbiorze treningowym, jak i w zbiorze walidacyjnym.

Wynik prawdziwie negatywny (TN)

#fundamentals

Przykład, w którym model prawidłowo przewiduje klasa wykluczających słów kluczowych. Model zakłada na przykład, że konkretny e-mail nie jest spamem, który naprawdę jest nie są spamem.

prawdziwie pozytywny (TP)

#fundamentals

Przykład, w którym model prawidłowo przewiduje klasie pozytywnej. Model zakłada na przykład, że konkretny e-mail jest spamem, a ten e-mail to tak naprawdę spam.

współczynnik prawdziwie pozytywnych (TPR)

#fundamentals

Synonim wyrażenia recall. Czyli:

$$\text{true positive rate} = \frac{\text{true positives}} {\text{true positives} + \text{false negatives}}$$

Współczynnik prawdziwie pozytywnych to oś Y na krzywej ROC.

U

niedopasowany

#fundamentals

Utworzenie modelu o niskiej zdolności prognozowania, ponieważ nie uchwycił w pełni złożoności danych treningowych. Wiele problemów mogą powodować niedopasowanie, w tym:

• Trenowanie z zakresu niewłaściwego zestawu funkcji.
• Trenowanie za mało epok lub zbyt niskie tempem uczenia się.
• Trenowanie ze zbyt wysokim współczynnikiem regularyzacji.
• Umieszczanie zbyt małej liczby ukrytych warstw w do głębokiej sieci neuronowej.

przykład bez etykiety

#fundamentals

Przykład, który zawiera funkcje, ale nie zawiera etykiety. Na przykład w poniższej tabeli znajdują się 3 przykłady domu bez etykiet. modelu cenowego, z których każdy ma 3 cechy, ale nie ma wartości autoreklamy:

Liczba sypialni	Liczba łazienek	Wiek domowy
3	2	15
2	1	72
4	2	34

W przypadku nadzorowanych systemów uczących się modele trenują na przykładach oznaczonych etykietami i generują prognozy przykłady bez etykiet.

W przypadku częściowo nadzorowanych i uczenie się nienadzorowane, podczas trenowania używane są przykłady bez etykiet.

Porównaj przykład bez etykiety z przykładem z etykietą.

nienadzorowane systemy uczące się

#clustering

#fundamentals

Wytrenowanie modelu do znajdowania wzorców w zbiorze danych, zwykle zbiór danych bez etykiet.

Najczęstszym zastosowaniem nienadzorowanych systemów uczących się jest dane cluster na grupy podobnych przykładów. Na przykład na komputerze nienadzorowanym algorytm uczenia się może grupować utwory na podstawie różnych właściwości muzyki. Powstałe w ten sposób klastry mogą być danymi wejściowymi dla innej maszyny algorytmów uczących się (np. w usłudze polecania muzyki). Grupowanie może pomóc, gdy brakuje przydatnych etykiet lub brakuje ich. Na przykład w domenach takich jak przeciwdziałanie nadużyciom i oszustwom klastry mogą pomóc a ludzie lepiej rozumieją dane.

Przeciwieństwem są nadzorowane systemy uczące się.

Kliknij ikonę, aby wyświetlić dodatkowe notatki.

Innym przykładem nienadzorowanych systemów uczących się Analiza komponentów głównych (PCA). Na przykład zastosowanie PCA w witrynie który zawiera miliony koszyków na zakupy, że koszyki na zakupy zawierające cytryny często zawierają też środki zobojętniające.

---

V

weryfikacja

#fundamentals

Wstępna ocena jakości modelu. Weryfikacja sprawdza jakość prognoz modelu w porównaniu z zestaw do walidacji.

Zestaw do weryfikacji różni się od zestawu treningowego, pomaga chronić przed nadmiernym dopasowaniem.

Ocena modelu pod kątem zestawu walidacji może być taka pierwszej rundy testowania i oceny modelu w porównaniu z test set to druga runda testów.

utrata weryfikacji

#fundamentals

Dane reprezentujące stratę modelu zestaw weryfikacji w danym okresie powtarzanie trenowania.

Zobacz też krzywą uogólnienia.

zestaw do weryfikacji

#fundamentals

Podzbiór zbioru danych, który wykonuje początkowy w porównaniu z wytrenowanym modelem. Zwykle ocenia się wytrenowanego modelu z zestawem walidacji, przed oceną modelu w odniesieniu do zestawu testowego.

Zwykle należy podzielić przykłady w zbiorze danych na 3 następujące różne podzbiory:

• zestaw treningowy
• zbiór do walidacji
• zestawu testowego

W idealnej sytuacji każdy przykład w zbiorze danych powinien należeć tylko do jednej podzbiorów. Na przykład jeden przykład nie powinien należeć do zarówno w zbiorze treningowym, jak i w zbiorze walidacyjnym.

W

waga

#fundamentals

Wartość, którą model mnoży przez inną wartość. Trenowanie to proces wyznaczania idealnych wag modelu. wnioskowanie to proces użycia nauczonych wag do i przewidywać.

Kliknij ikonę, aby zobaczyć przykład wag w modelu liniowym.

Wyobraź sobie model liniowy z 2 obiektami. Przyjmijmy, że trening określa następujące ciężary (oraz uprzedzenia):

• Wskaźnik odchylenia (b) ma wartość 2,2
• Waga ₁ powiązana z jedną cechą wynosi 1, 5.
• Waga w₂ powiązana z inną cechą wynosi 0, 4.

Przyjrzyjmy się teraz przykładowi z następującą funkcją. wartości:

• Wartość jednej cechy, x₁, wynosi 6.
• Wartość drugiej cechy, x₂, wynosi 10.

Ten model liniowy wykorzystuje tę formułę do wygenerowania prognozy: y':

$$y' = b + w_1x_1 + w_2x_2$$

W związku z tym prognoza wygląda tak:

$$y' = 2.2 + (1.5)(6) + (0.4)(10) = 15.2$$

Jeśli waga wynosi 0, odpowiednia cecha nie ma wpływu na w modelu. Jeśli na przykład w₁ ma wartość 0, to wartość x₁. jest bez znaczenia.

---

suma ważona

#fundamentals

Suma wszystkich odpowiednich wartości wejściowych pomnożona przez odpowiadające im wartości ciężary. Załóżmy na przykład, że odpowiednie dane wejściowe składają się z tych elementów:

wartość wejściowa	waga wejściowa
2	–1,3
-1	0,6
3	0,4

Suma ważona wygląda więc tak:

weighted sum = (2)(-1.3) + (-1)(0.6) + (3)(0.4) = -2.0

Suma ważona jest argumentem wejściowym funkcji funkcji aktywacji.

Z

Normalizacja wyniku Z

#fundamentals

Technika skalowania, która zastępuje feature o wartości zmiennoprzecinkowej, która reprezentuje liczbę odchyleń standardowych od średniej danej cechy. Na przykład rozważmy cechę, której średnia wynosi 800 i której standardowa odchylenie wynosi 100. W tabeli poniżej pokazujemy, jak normalizacja wyniku Z zmapuje nieprzetworzoną wartość na wynik Z:

Wartość nieprzetworzona	Wynik Z
800	0
950	+1,5
575	–2,25

Model uczenia maszynowego trenuje następnie na wyniku Z dla danej cechy zamiast nieprzetworzonych wartości.