Ten dokument pomoże Ci trenować skuteczniejsze modele deep learning. Chociaż w tym dokumencie omawiamy dostrajanie hiperparametrów, poruszamy w nim także aspekty innych aspektów deep learningu, takich jak wdrażanie i optymalizowanie potoków trenowania.
W tym dokumencie zakładamy, że Twoje zadanie związane z systemami uczącymi się to zadanie kontrolowanego systemu uczącego się lub podobne (na przykład samodzielne uczenie się). Niektóre z podanych tu wskazówek mogą jednak dotyczyć także innych rodzajów systemów uczących się.
Odbiorcy docelowi
Kierujemy ten dokument do inżynierów i badaczy mających przynajmniej podstawową wiedzę o systemach uczących się i deep learning. Jeśli nie znasz tego kursu, zastanów się nad ukończeniem kursu systemów uczących się.
Dlaczego napisaliśmy ten dokument?
Obecnie praca z głębokymi sieciami neuronowymi wymaga udoskonalenia i zgadywania. Co gorsza, rzeczywiste przepisy, których ludzie używają do uczenia się na podstawie deep learning, są rzadko dokumentowane. W publikacjach omawiany jest proces, który doprowadził do uzyskania ostatecznych wyników, a inżynierowie systemów uczących się pracujący nad problemami komercyjnymi rzadko mają czas się wycofać i uogólnić proces. Podręczniki często unikają praktycznych wskazówek i uwzględniają podstawowe zasady, nawet jeśli ich autorzy mają doświadczenie w korzystaniu z oferowanych treści.
Przygotowując się do pracy nad tym dokumentem, nie mogliśmy znaleźć żadnego szczegółowego wyjaśnienia, jak osiągać dobre wyniki dzięki uczeniu się głębokiego. Zamiast tego znaleźliśmy fragmenty porad w postach na blogu i w mediach społecznościowych, triki na temat dodatku do publikacji badawczych, sporadyczne studia przypadków dotyczące określonego projektu lub potoku oraz liczne nieporozumienia. Wyniki uzyskanych przez ekspertów od deep learningu i mniej biegłego w praktyce bardzo różnią się od siebie. Eksperci jednak z łatwością przyznają, że niektóre działania mogą nie być uzasadnione. Ponieważ deep learning dojrzewa i ma większy wpływ na świat, społeczność potrzebuje więcej zasobów omawiających przydatne przepisy, w tym wszystkich praktycznych szczegółów, które są tak istotne dla uzyskania dobrych wyników.
Nasz zespół badaczy i inżynierów pracuje z doświadczeniami z zakresu deep learningu. Niektórzy z nich działają już od 2006 roku. Stosujemy deep learning do rozpoznawania mowy i astronomii. Ten dokument powstał z naszego własnego doświadczenia w trenowaniu sieci neuronowych, uczenie nowych inżynierów systemów uczących się i doradzanie naszym współpracownikom o praktycznych ćwiczeniach deep learning.
Bardzo nas cieszy, że systemy uczące się, które są używane przez kilka laboratoriów akademickich, stają się technologią wykorzystywaną przez miliardy ludzi. Jednak deep learning wciąż występuje w branży inżynieryjnej. Mamy nadzieję, że ten dokument zachęci innych do scentralizowania protokołów eksperymentalnych dla dziedziny.
Ten dokument powstał, gdy staramy się sprecyzować swoje podejście do deep learningu. Odzwierciedla on naszą opinię w momencie pisania, a nie rodzaj obiektywnej prawdy. Nasze problemy z dostrajaniem hiperparametrów stały się głównym tematem naszych wskazówek, ale omawiamy także inne ważne problemy, które napotkaliśmy (lub zauważyliśmy błędne). Chcemy, aby ten dokument był żywym dokumentem, który rośnie i zmienia się wraz z zmieniającymi się przekonaniami. Na przykład materiały na temat debugowania i ograniczania niepowodzeń treningowych nie byłyby dostępne, ponieważ powstały na podstawie najnowszych wyników i trwających badań.
Niektóre z naszych porad będą nieuniknione, aby uwzględniać nowe wyniki i ulepszone przepływy pracy. Nie znamy optymalnego sposobu na uczenie się głębokiego, ale dopóki społeczność nie zacznie pisać i omawiać różnych procedur, nie będziemy mieć nadzieję na jego znalezienie. W tym celu zachęcamy czytelników, którzy mają problemy z naszymi zaleceniami, do przedstawiania alternatywnych rekomendacji wraz z przekonującymi dowodami, aby umożliwić nam zaktualizowanie scenariusza. Chcielibyśmy też poznać alternatywne przewodniki i poradniki, które mogą mieć różne zalecenia, dzięki którym będziemy mogli opracować sprawdzone metody dla społeczności.
Emotikon robota
Emotikon robota 🤖 oznacza obszary, w których powinniśmy poszukać więcej informacji. Dopiero po napisaniu tego scenariusza stało się jasne, jak wiele interesujących i zaniedbanych pytań badawczych można znaleźć w procedurach pracy z zainteresowanymi osobami.