Esercizio 1: iniziare in modo chiaro e semplice

Scrivi l'obiettivo del modello di machine learning.

Vogliamo che il modello di machine learning:

Suggerimenti per il successo
A questo punto, l'affermazione può essere qualitativa, ma assicurarsi che si tratti dell'obiettivo reale, non di quello indiretto. In caso di dubbi, dai un'occhiata alle lezioni precedenti e scopri cosa possono fare i modelli di machine learning.

Esercizio 2: il risultato ideale

L'aggiunta del modello ML al sistema dovrebbe produrre un risultato appetibile. Qual è il risultato, a prescindere dal modello stesso? Tieni presente che questo risultato potrebbe essere abbastanza diverso da come valuti il modello e la sua qualità.

Il nostro risultato ideale è:

Suggerimenti per il successo
Non devi limitarti alle metriche per le quali il tuo prodotto è già stato ottimizzato (verranno trattati nel prossimo esercizio). Prova invece a concentrarti sull'obiettivo principale del tuo prodotto o servizio.

Esercizio 3: metriche di successo

Annota le metriche in modo efficace e non efficace con il sistema ML. Le metriche di errore sono importanti, ovvero come puoi sapere se si è verificato un errore nel sistema ML? Sia le metriche di successo che quelle di errore devono essere formulate indipendentemente dalle metriche di valutazione per il modello. Ad esempio, non parlare di precisione, richiamo o AUC, parla invece dei risultati previsti. Spesso queste metriche sono legate al risultato ideale specificato sopra.

Le nostre metriche di successo sono:

Il nostro modello di machine learning è considerato un errore se:

Suggerimenti per il successo
  • Le metriche sono misurabili?
  • Come li misurerai?
  • Quando potrai misurarli?
    • Quanto tempo ci vorrà per sapere se il tuo nuovo sistema di ML è un successo o un errore?
  • Tieni conto dei costi di progettazione e manutenzione a lungo termine.
  • Un errore potrebbe non essere causato solo dal mancato raggiungimento di una metrica più efficace.

Esercizio 4: output

Scrivi l'output che vuoi che venga prodotto dal tuo modello di machine learning.

L'output del nostro modello ML sarà:

L'output viene definito come uno dei seguenti:

Suggerimenti per il successo
  • L'output deve essere quantificabile con una definizione che una macchina può produrre.
  • Se utilizzi il ML predittivo, riesci a ottenere esempi di output da utilizzare per l'addestramento?
    • Come e da quale origine?
  • Potrebbe essere necessario progettare gli esempi di output, ad esempio trasformare il tempo di visualizzazione in un percentile.
  • Se è difficile ottenere output di esempio da utilizzare per l'addestramento, potresti dover rivedere le tue risposte agli esercizi passati per riformulare il problema e gli obiettivi in quelli che ti consentiranno di addestrare un modello sui dati.

Esercizio 5: utilizzo dell'output

Scrivi quando l'output deve essere ottenuto dal modello di machine learning e come viene utilizzato nel prodotto.

L'output del modello ML verrà ottenuto quando:

Il risultato verrà utilizzato per:

Suggerimenti per il successo
Valuta i dati necessari per fare la previsione. Ad esempio, se utilizzi il machine learning per prevedere il tempo di percorrenza in un'app delle mappe, potrebbe essere scritto: "L'output del modello verrà ottenuto quando l'utente seleziona origine, destinazione e modalità di trasporto".
Valuta come utilizzerai il risultato previsto nel tuo prodotto.
  • Verrà presentato immediatamente all'utente nella UI?
  • Verrà consumato dalla logica di business successiva?
  • Quali sono i tuoi requisiti di latenza?
Questi requisiti (requisito di pubblicazione del modello ML) possono influire sulle informazioni che possono essere utilizzate per fare previsioni. Ad esempio:
  • La latenza nell'utilizzo dei dati provenienti da servizi remoti potrebbe renderli inutilizzabili.
  • Se le origini dati hanno un ritardo nel rendere disponibili nuove informazioni:
    • I log elaborati possono essere generati solo una volta al giorno.
    • Alcune informazioni non sono note fino a quando non si verificano (ad esempio eventi di conversione).
The Oracle Test: supponi di avere sempre la risposta corretta. Come lo useresti nel tuo prodotto?

Esercizio 6: euristica

Scrivi come risolveresti il problema se non avessi usato il ML. Ad esempio, quale euristica potresti utilizzare.

Se non utilizzassimo il machine learning, eseguiremo:

Suggerimenti per il successo
Pensa a uno scenario in cui devi consegnare il prodotto domani e puoi strutturare con solo hard la logica di business. Che cosa faresti?
Fai clic sul pulsante qui sotto per stampare o salvare le risposte in formato .pdf.

Stampa pagina