Ćwiczenie 1. Zacznij od jasnego i prostego

Opisz, czego oczekujesz od modelu systemów uczących się.

Chcemy, aby model systemów uczących się:

Porady, jak odnieść sukces
Na tym etapie sformułowanie może być wartościowe, ale upewnij się, że odzwierciedla ono prawdziwy cel, a nie pośredni. Jeśli nie wiesz, czy tak będzie, zapoznaj się z poprzednimi lekcjami i sprawdź, jakie możliwości dają modele systemów uczących się.

Ćwiczenie 2: Twój idealny wynik

Dodanie modelu ML do systemu powinno przynieść pożądane rezultaty. Jaki jest tego rezultat, niezależnie od samego modelu? Pamiętaj, że ten wynik może całkowicie różnić się od oceny modelu i jego jakości.

Idealny wynik to:

Porady, jak odnieść sukces
Nie musisz ograniczać się do wskaźników, pod których kątem Twoje produkty były już optymalizowane (informacje na ten temat omówimy w następnym ćwiczeniu). Skup się na szerszym celu produktu lub usługi.

Ćwiczenie 3: Wskaźniki sukcesu

Zapisuj dane o sukcesie i niepowodzeniu w systemie ML. Wskaźniki awarii są ważne, czyli jak sprawdzić, czy system ML się nie powiódł? Wskaźniki sukcesu i niepowodzenia powinny być sformułowane niezależnie od oceny oceny modelu. Na przykład nie mów o precyzji, czułości ani AUC, ale o przewidywanych wynikach. Często są one powiązane z idealnym wynikiem określonym powyżej.

Nasze wyznaczniki sukcesu:

Nasz model ML jest uznawany za niepowodzenie, jeśli:

Porady, jak odnieść sukces
  • Czy te dane są wymierne?
  • Jak będziesz je mierzyć?
  • Kiedy będzie można je mierzyć?
    • Ile czasu potrwa, zanim zorientujesz się, czy nowy system ML ma sukces?
  • Uwzględnij długoterminowe koszty inżynierii i konserwacji.
  • Niepowodzenie może nie być spowodowane tylko niespełnieniem wskaźnika sukcesu.

Ćwiczenie 4: Wyniki

Zapisz dane wyjściowe, które ma tworzyć model ML.

Dane wyjściowe naszego modelu wykorzystującego systemy uczące się będą wyglądać tak:

Dane wyjściowe są określone jako:

Porady, jak odnieść sukces
  • Dane wyjściowe muszą być ilościowe z definicją, którą maszyna może wygenerować.
  • Jeśli używasz systemów uczących się z prognozowaniem, czy możesz uzyskać przykładowe dane wyjściowe do wykorzystania w danych treningowych?
    • Jak i z jakiego źródła?
  • Przykładowe dane wyjściowe, takie jak przekształcanie czasu oglądania w centyl, mogą wymagać przeanalizowania.
  • Jeśli trudno jest uzyskać przykładowe dane wyjściowe do wykorzystania podczas trenowania, być może konieczne będzie ponowne zapoznanie się z odpowiedziami na poprzednie ćwiczenia, aby przeformułować problem i cele w sposób umożliwiający wytrenowanie modelu na podstawie Twoich danych.

Ćwiczenie 5: Korzystanie z danych wyjściowych

Zapisz, kiedy dane wyjściowe muszą być pobierane z modelu ML, i jak są używane w Twojej usłudze.

Dane wyjściowe modelu ML zostaną uzyskane, gdy:

Wykorzystamy wynik:

Porady, jak odnieść sukces
Zastanów się, jakie dane będą Ci potrzebne do wykonania prognozy. Jeśli na przykład używasz systemów uczących się do przewidywania czasu podróży w aplikacji do obsługi map, możesz to zapisać w ten sposób: „Dane wyjściowe modelu będą uzyskiwane, gdy użytkownik wybierze miejsce wylotu, cel podróży i środek transportu”.
Zastanów się, w jaki sposób chcesz skorzystać z prognozy dotyczącej produktu.
  • Czy będą one od razu widoczne w interfejsie?
  • Czy konsumpcja będzie przetwarzana przez kolejne logiki biznesowe?
  • Jakie masz wymagania dotyczące opóźnień?
Te wymagania (obsługujące model ML) mogą mieć wpływ na to, jakie informacje mogą być używane do tworzenia prognoz. Na przykład:
  • Opóźnienia w użyciu danych z usług zdalnych mogą uniemożliwiać ich używanie.
  • Jeśli źródła danych są opóźnione w udostępnianiu nowych informacji:
    • Przetworzone logi mogą być generowane tylko raz dziennie.
    • Niektóre informacje nie będą znane, dopóki się nie pojawią (np. zdarzenia konwersji).
Test Oracle: zakładamy, że zawsze masz poprawną odpowiedź. Jak możesz go wykorzystać w tej usłudze?

Ćwiczenie 6: Heurystyka

Opisz, jak możesz rozwiązać ten problem, jeśli nie używasz systemów uczących się. Możesz na przykład użyć tej funkcji.

Gdybyśmy nie używali systemów uczących się:

Porady, jak odnieść sukces
Pomyśl o sytuacji, w której jutro musisz dostarczyć produkt, i możesz zakodować tylko logikę biznesową. Co byście robili?
Kliknij przycisk poniżej, aby wydrukować lub zapisać odpowiedzi w formacie PDF.

Drukuj stronę