ML-Produktionssysteme: Testen Sie Ihr Wissen

Sie verwenden maschinelles Lernen, um ein Klassifizierungsmodell zu erstellen, das das Aussehen von Einhörnern vorhersagt. Ihr Dataset enthält 10.000 Darstellungen von Einhörnern und 10.000 nicht vorkommende Einhörner. Das Dataset enthält den Standort, die Tageszeit, die Höhe, die Temperatur, die Luftfeuchtigkeit, die Baumbedeckung, das Vorhandensein eines Regenbogens und einige weitere Merkmale.

Nachdem Sie den Prädiktor für das Aussehen eines Einhorns gestartet haben, müssen Sie Ihr Modell aktuell halten, indem Sie mit neuen Daten noch einmal trainieren. Da Sie zu viele neue Daten für das Training erfassen, beschließen Sie, die Trainingsdaten zu begrenzen, indem Sie die neuen Daten über ein Zeitfenster abtasten. Außerdem musst du tägliche und jährliche Muster beim Aussehen der Einhörner berücksichtigen. Welches Zeitfenster wählen Sie aus?

Eines Tages, da ein größeres Fenster viele Daten liefern würde und das Training Ihres Modells zu lange dauern würde.

Eine Woche, damit Ihr Dataset nicht zu groß ist, aber Sie dennoch Muster glätten können.

Ein Jahr, um sicherzustellen, dass Ihr Modell nicht durch jährliche Muster verzerrt wird.

Sie starten Ihren Prädiktor für das Aussehen eines Einhorns. Es funktioniert gut! Sie fahren in den Urlaub und kehren nach drei Wochen zurück, um festzustellen, dass die Qualität Ihres Modells deutlich gesunken ist. Es ist unwahrscheinlich, dass sich das Einhornverhalten in drei Wochen signifikant ändert. Was ist die wahrscheinlichste Erklärung für den Qualitätsverlust?

Abweichungen zwischen Training und Bereitstellung: Das Format der Bereitstellungsdaten änderte sich irgendwann nach Beginn der Bereitstellung des Modells allmählich.

Sie haben während des Trainings die Genauigkeit als Messwert verwendet.

Ihr Modell ist veraltet.

Keine der oben genannten Optionen.

Sie überprüfen die Vorhersagen des Modells für die Antarktis und stellen fest, dass das Modell dort schlechte Vorhersagen getroffen hat, seit das Modell in die Produktion freigegeben wurde. Woran könnte das liegen?

Du hattest nicht genügend Trainingsbeispiele für die Antarktis.

Sie haben dynamisches statt statisches Training verwendet.

Ihr Modell ist veraltet.

Alle oben genannten Optionen.

Dein Prädiktor für das Aussehen eines Einhorns ist seit einem Jahr in Betrieb. Du hast viele Probleme behoben und die Qualität ist nun hoch. Sie bemerken jedoch ein kleines, aber dauerhaftes Problem. Die Qualität Ihres Modells ist in städtischen Gebieten etwas gesunken. Woran könnte das liegen?

Die hohe Qualität Ihrer Vorhersagen führt dazu, dass Nutzer Einhörner leicht finden können, was sich wiederum auf das Aussehen der Einhörner auswirkt.

Städtische Gebiete lassen sich nur schwer modellieren.

Das Aussehen von Einhornen wird in dicht besiedelten Gebieten mehrfach gemeldet, wodurch Ihre Trainingsdaten verfälscht werden.

Durch all Ihre Fehlerbehebungen haben Sie die Qualität der Vorhersagen des Einhornmodells stark verbessert, wodurch sich die Nutzung verzehnfacht hat. Die Nutzenden beschweren sich inzwischen jedoch, dass das Modell extrem langsam ist. Bei Inferenzanfragen dauert es in der Regel mehr als 30 Sekunden, bis Vorhersagen zurückgegeben werden. Welche der folgenden Änderungen könnte zur Lösung dieses Problems beitragen?

Stellen Sie das Modell vom dynamischen Training auf das statische Training um.

Stellen Sie das Modell von dynamischer Inferenz auf statische Inferenz um.

Validieren Sie die Modellqualität vor der Bereitstellung.

Keine der oben genannten Lösungen würde helfen.