Dieses Dokument hilft Ihnen, Deep-Learning-Modelle effektiver zu trainieren. Obwohl in diesem Dokument die Hyperparameter-Abstimmung hervorgehoben ist, werden auch andere Aspekte des Deep-Learning-Trainings behandelt, z. B. die Implementierung und Optimierung von Pipelinepipelines.
In diesem Dokument wird davon ausgegangen, dass Ihre Aufgabe für maschinelles Lernen ein Problem mit überwachtem Lernen oder ein ähnliches Problem ist, z. B. selbst überwachtes Lernen. Einige der Tipps in diesem Dokument können auch für andere Arten von Problemen mit maschinellem Lernen gelten.
Zielgruppe
Dieses Dokument richtet sich an Entwickler und Forscher mit grundlegenden Grundkenntnissen über maschinelles Lernen und tiefes Lernen. Wenn Sie diesen Hintergrund nicht kennen, können Sie auch den Crashkurs zu maschinellem Lernen absolvieren.
Warum haben wir dieses Dokument verfasst?
Derzeit gibt es erstaunlich viel Arbeit und Aufwand, damit neuronale Deep-Learning-Netzwerke in der Praxis funktionieren. Noch schlimmer ist es, dass die tatsächlichen Rezepte, mit denen Nutzer gute Ergebnisse erzielen, selten dokumentiert werden. Papiere, die den Prozess abgeschlossen haben, der zu den Endergebnissen geführt hat, um eine übersichtlichere Geschichte zu präsentieren, und Machine Learning Engineers, die an kommerziellen Problemen arbeiten, haben selten die Zeit, einen Schritt zurückzutreten und den Prozess zu generalisieren. Lehrbücher verzichten in der Regel auf praktische Leitlinien und priorisieren grundlegende Prinzipien, selbst wenn ihre Autoren über die notwendige Erfahrung in der angewandten Arbeit verfügen, um nützliche Ratschläge zu geben.
Bei der Vorbereitung dieses Dokuments konnten wir keinen umfassenden Versuch finden, zu erklären, wie man mit tiefgreifendem Lernen gute Ergebnisse erzielt. Stattdessen fanden wir Ausschnitte in Blogposts und in sozialen Medien, Tricks, die aus dem Anhang von Forschungsarbeiten hervorstuchten, gelegentliche Fallstudien zu einem bestimmten Projekt oder einer bestimmten Pipeline und viel Verwirrung. Zwischen den Ergebnissen von Deep Learning-Experten und weniger erfahrenen Fachkräften, die sehr ähnliche Methoden einsetzen, besteht ein riesiger Golf. Die Experten geben jedoch zu, dass einige ihrer Maßnahmen nicht unbedingt gerechtfertigt sind. Wenn sich das Deep Learning kontinuierlich weiterentwickelt und die Welt zum Lernen bringt, braucht die Community noch mehr Ressourcen, die nützliche Rezepte abdecken, einschließlich aller praktischen Details, die so wichtig für gute Ergebnisse sind.
Unser Team besteht aus fünf Forschern und Entwicklern, die bereits seit vielen Jahren mit Deep Learning arbeiten. Einige von uns arbeiten schon seit 2006. Wir haben Deep Learning in allen Bereichen angewendet, von Spracherkennung bis Astronomie. Dieses Dokument entstand aus unserer eigenen Erfahrung mit dem Training neuronaler Netzwerke, dem Unterrichten neuer Machine Learning Engineers und dem Beraten unserer Kollegen über die Funktionsweise von Deep Learning.
Es ist erfreulich, wenn sich Deep Learning von einem Ansatz für maschinelles Lernen, der von einigen akademischen Laboren geübt wird, zu einer Technologie entwickelt hat, die von Milliarden Menschen genutzt wird. Allerdings ist tiefes Lernen noch in der Anfangsphase als Technikdisziplin. Wir hoffen, dass dieses Dokument andere dazu anregt, die experimentellen Felder des Feldes zu systematisieren.
Dieses Dokument ging auf, als wir versuchten, unseren eigenen Ansatz für Deep Learning zu verfeinern. Es stellt also unsere Meinung zum Zeitpunkt der Erstellung dieses Textes dar, nicht irgendeine objektive Wahrheit. Unsere Schwierigkeiten im Zusammenhang mit der Hyperparameter-Abstimmung machten einen besonderen Fokus in unseren Leitlinien. Es werden aber auch andere wichtige Probleme behandelt, die wir bei unserer Arbeit festgestellt haben (oder schiefgelaufen sind). Unser Ziel ist es, ein Dokument zu sein, das wächst und sich entwickelt, wenn sich unsere Überzeugungen ändern. Zum Beispiel wäre es nicht möglich gewesen, vor zwei Jahren das Material zur Fehlerbehebung und zur Reduzierung von Trainingsfehlern zu schreiben, da es auf aktuellen Ergebnissen und laufenden Untersuchungen basiert.
Einige der Empfehlungen müssen daher aktualisiert werden, um neue Ergebnisse und verbesserte Workflows zu berücksichtigen. Wir wissen nicht, ob es einen optimalen Deep-Learning-Rezept gibt, aber bis die Community mit dem Schreiben und Debatten über verschiedene Verfahren beginnt, können wir sie möglicherweise nicht finden. Zu diesem Zweck empfehlen wir Lesern, die Probleme mit unserer Empfehlung zum Erstellen alternativer Empfehlungen finden, und sie davon zu überzeugen, damit wir das Playbook aktualisieren können. Wir würden uns auch mit alternativen Leitfäden und Playbooks befassen, die möglicherweise unterschiedliche Empfehlungen enthalten, damit wir uns auf die Best Practices als Community konzentrieren können.
Über dieses Roboter-Emoji
Das Robot 🤖-Emoji zeigt Bereiche an, in denen wir mehr Nachforschungen anstellen möchten. Erst nach dem Versuch, dieses Playbook zu schreiben, wurde deutlich, wie viele interessante und vernachlässigte Forschungsfragen im Arbeitsablauf der Fachkräfte für Deep Learning behandelt werden.