Sie können eine der folgenden Inferenzstrategien auswählen:
Offline-Inferenz, d. h., Sie treffen alle möglichen Vorhersagen in einem Batch mit einem MapReduce oder Ähnlichem. Anschließend schreiben Sie die Vorhersagen in eine SSTable oder Bigtable und speisen sie dann in eine Cache-/Suchtabelle ein.
Online-Inferenz, d. h. Vorhersagen auf Anfrage mithilfe eines Servers.
Weitere Informationen zu statischen und dynamischen Inferenzen finden Sie im folgenden Video (2 Minuten).
Statische und dynamische Inferenz
ML-Systemparadigmen: Inferenz
Offline-Inferenz
Treffen Sie alle möglichen Vorhersagen in einem Batch mit MapReduce oder Ähnlichem.
in eine Tabelle schreiben und diese dann in eine Cache-/Suchtabelle einspeisen.
Online-Inferenz
Vorhersagen bei Bedarf mithilfe eines Servers
ML-Systemparadigmen: Inferenz
Offline-Inferenz
Treffen Sie alle möglichen Vorhersagen in einem Batch mit MapReduce oder Ähnlichem.
in eine Tabelle schreiben und diese dann in eine Cache-/Suchtabelle einspeisen.
Zusatz: Sie müssen sich keine Gedanken über die Inferenzkosten machen.
Zusatz: Kann wahrscheinlich Batch-Kontingente nutzen.
Zusatz: Kann vor der Übertragung eine Nachprüfung der Vorhersagen anhand von Daten vornehmen.
ML-Systemparadigmen: Inferenz
Offline-Inferenz
Treffen Sie alle möglichen Vorhersagen in einem Batch mit MapReduce oder Ähnlichem.
in eine Tabelle schreiben und diese dann in eine Cache-/Suchtabelle einspeisen.
Zusatz: Sie müssen sich keine Gedanken über die Inferenzkosten machen.
Zusatz: Kann wahrscheinlich Batch-Kontingente nutzen.
Zusatz: Kann vor der Übertragung eine Nachprüfung der Datenvorhersagen vornehmen.
Nachteil: Kann nur Dinge vorhersagen, über die wir Bescheid wissen – schlecht für Long Tail.
Nachteil: Die Aktualisierungslatenz wird wahrscheinlich in Stunden oder Tagen gemessen.
ML-Systemparadigmen: Inferenz
Online-Inferenz
Vorhersagen bei Bedarf mithilfe eines Servers
Zusatz: Kann jeden neuen Artikel vorhersagen, sobald er verfügbar ist.
ML-Systemparadigmen: Inferenz
Online-Inferenz
Vorhersagen bei Bedarf mithilfe eines Servers
Zusatz: Kann jeden neuen Artikel vorhersagen, sobald er verfügbar ist.
Nachteil: rechenintensiv, latenzempfindlich – kann die Modellkomplexität beeinträchtigen.
Nachteil: Das Monitoring ist anspruchsvoller.
Zusammenfassung der Videovorlesung
Vor- und Nachteile der Offline-Inferenz:
Pro: Sie müssen sich keine Gedanken über Inferenzkosten machen.
Pro: Kann wahrscheinlich Batch-Kontingente oder riesige MapReduce nutzen.
Pro: Kann nach der Verifizierung der Vorhersagen vor der Übertragung durchführen.
Nachteil: Kann nur Dinge vorhersagen, über die wir wissen – schlecht für Longtail.
Nachteil: Die Aktualisierungslatenz wird wahrscheinlich in Stunden oder Tagen gemessen.
Im Folgenden sind die Vor- und Nachteile von Online-Inferenzen aufgeführt:
Pro: Sie können zu jedem neu erhältlichen Artikel eine Vorhersage treffen – sehr gut für einen Long Tail.
Nachteil: Rechenintensiv und latenzempfindlich – kann die Modellkomplexität beeinträchtigen.
