Systemy produkcyjne ML

Systemy uczące się to o wiele więcej niż wdrożenie algorytmu ML. Produkcyjny system ML obejmuje znaczną liczbę komponentów.

Systemy produkcyjne ML

Diagram systemu ML pokazuje tylko
Diagram systemu ML zawierający te komponenty: gromadzenie danych, wyodrębnianie funkcji, narzędzia do zarządzania procesami, weryfikacja danych, konfiguracja, zarządzanie zasobami maszynowymi, monitorowanie i udostępnianie infrastruktury oraz kod ML. Część kodu ML diagramu jest rozwiązana przez pozostałe 9 komponentów.
  • Nie, nie musisz tworzyć wszystkiego samodzielnie.
    • Gdy tylko jest to możliwe, używaj ogólnych komponentów systemu ML.
    • Rozwiązania Google CloudML obejmują obsługę Dataflow i TF
    • Komponenty można też znaleźć na innych platformach, takich jak Spark czy Hadoop.
    • Jak stwierdzić, czego potrzebujesz?
      • Omówienie kilku modeli systemów uczących się i ich wymagań

Podsumowanie wykładu wideo

Do tej pory szkolenia dotyczące systemów uczących się skupiały się na tworzeniu modeli systemów uczących się. Jednak, jak widać na poniższych grafikach, systemy uczące się oparte na rzeczywistym świecie to duże ekosystemy, w których model jest tylko jednym z elementów.

Diagram systemu ML zawierający te komponenty: gromadzenie danych, wyodrębnianie funkcji, narzędzia do zarządzania procesami, weryfikacja danych, konfiguracja, zarządzanie zasobami maszynowymi, monitorowanie i udostępnianie infrastruktury oraz kod ML. Część kodu ML diagramu jest rozwiązana przez pozostałe 9 komponentów.

Rysunek 1. Rzeczywisty system ML.

Kod ML znajduje się w centrum rzeczywistego systemu uczenia się systemów uczących się, ale często zawiera on nie więcej niż 5% całkowitego kodu tego systemu. (To nie jest błąd). Zwróć uwagę, że system produkcyjny systemów uczących się poświęca znaczne zasoby na wprowadzanie danych – ich zbieranie, weryfikowanie i wyodrębnianie z nich funkcji. Pamiętaj też, że aby możliwe było zastosowanie prognoz systemów uczących się w rzeczywistym świecie, konieczna jest infrastruktura obsługująca systemy uczące się.

Na szczęście wiele komponentów z poprzedniej postaci można wykorzystać ponownie. Nie musisz też samodzielnie tworzyć wszystkich komponentów widocznych na rysunku 1.

TensorFlow Extended (TFX) to kompleksowa platforma do wdrażania produkcyjnych potoków ML.

Kolejne moduły pomagają w podejmowaniu decyzji przy tworzeniu produkcyjnego systemu ML.