Statische (Offline-)Inferenz
Sehen Sie sich die folgenden Optionen an.
Bei Offlineinferenzen treffen wir auf einmal Vorhersagen für einen großen Datenstapel.
Wir fügen diese Vorhersagen zur späteren Verwendung dann in eine Suchtabelle ein.
Welche der folgenden Aussagen treffen auf Offline-Inferenzen zu?
Für alle möglichen Eingaben müssen Vorhersagen erstellt werden.
Ja, wir müssen für alle möglichen Eingaben Vorhersagen treffen und diese in einem Cache oder einer Suchtabelle speichern, um Offline-Inferenzen zu verwenden.
Dies ist einer der Nachteile von Offline-Inferenzen. Wir können Vorhersagen nur für die Beispiele bereitstellen, die uns bereits bekannt sind. Dies ist in Ordnung, wenn die Menge der von uns vorhergesagten Dinge begrenzt ist, z. B. alle Weltstädte oder alle Elemente in einer Datenbanktabelle.
Bei Eingaben im freien Format, z. B. Nutzerabfragen, die eine lange Reihe von ungewöhnlichen oder seltenen Elementen enthalten, können wir mit einem Offline-Inferenzsystem keine vollständige Abdeckung bieten.
Nachdem wir die Vorhersagen generiert haben, können wir sie prüfen, bevor wir sie anwenden.
Das ist in der Tat ein Vorteil der Offline-Inferenz. Wir können alle unsere Vorhersagen vor ihrer Verwendung prüfen.
Für eine bestimmte Eingabe können wir eine Vorhersage schneller bereitstellen als mit der Online-Inferenz.
Einer der größten Vorteile von Offline-Inferenzen besteht darin, dass die Vorhersagen, die in eine Suchtabelle geschrieben wurden, mit minimaler Latenz bereitgestellt werden können. Zum Zeitpunkt der Anfrage muss keine Featureberechnung oder Modellinferenz erfolgen.
Wir müssen unsere Eingabesignale über einen langen Zeitraum sorgfältig überwachen.
In diesem Fall müssen Eingangssignale nicht über einen langen Zeitraum hinweg überwacht werden. Dies liegt daran, dass wir, sobald die Vorhersagen in eine Suchtabelle geschrieben wurden, nicht mehr von den Eingabefeatures abhängig sind. Beachten Sie, dass jede nachfolgende Aktualisierung des Modells eine neue Runde der Eingabeüberprüfung erfordert.
Wir können schnell auf Veränderungen in der Welt reagieren.
Nein, das ist ein Nachteil der Offline-Inferenz. Wir müssen warten, bis ein neuer Satz von Vorhersagen in die Suchtabelle geschrieben wurde, bevor wir basierend auf Änderungen auf der Welt anders reagieren können.
Dynamische (Online-)Inferenz
Sehen Sie sich die folgenden Optionen an.
Dynamische (Online-)Inferenz bedeutet, dass bei Bedarf Vorhersagen getroffen werden. Bei Online-Inferenzen platzieren wir das trainierte Modell also auf einem Server und senden Inferenzanfragen nach Bedarf. Welche der folgenden Aussagen treffen auf dynamische Inferenz zu?
Sie können für alle möglichen Elemente Vorhersagen bereitstellen.
Ja, das ist eine Stärke der Online-Inferenz. Alle eingehenden Anfragen werden mit einer Bewertung bewertet. Bei Online-Inferenzen werden Longtail-Verteilungen (mit vielen seltenen Elementen) verarbeitet, z. B. der Platz aller möglichen Sätze, die in Filmrezensionen geschrieben werden.
Sie können Vorhersagen nach der Überprüfung durchführen, bevor sie verwendet werden.
Im Allgemeinen ist es nicht möglich, eine nachträgliche Überprüfung aller Vorhersagen vor ihrer Verwendung durchzuführen, da Vorhersagen auf Anfrage erstellt werden. Sie können jedoch potenziell die aggregierten Vorhersagequalitäten überwachen, um eine gewisse Plausibilitätsprüfung zu ermöglichen. Diese werden dann aber erst dann Alarme auslösen, wenn sich das Feuer bereits ausgebreitet hat.
Sie müssen die Eingabesignale sorgfältig überwachen.
Ja. Signale können sich aufgrund von vorgelagerten Problemen plötzlich ändern und unsere Vorhersagen beeinträchtigen.
Bei der Durchführung von Onlineinferenzen müssen Sie sich keine Gedanken über die Vorhersagelatenz (die Verzögerungszeit für das Zurückgeben von Vorhersagen) machen wie bei der Offline-Inferenz.
Die Latenz von Vorhersagen ist bei Online-Inferenzen oft ein echtes Problem.
Leider können Sie Probleme mit der Vorhersagelatenz nicht unbedingt durch Hinzufügen weiterer Inferenzserver beheben.