I progetti ML avanzano in fasi con obiettivi, attività e risultati specifici. Una chiara comprensione delle fasi di sviluppo dell'ML aiuta a stabilire le responsabilità di ingegneria, gestire le aspettative degli stakeholder e allocare in modo efficiente le risorse.
Il superamento delle fasi (spesso in modo iterativo) è fondamentale per progettare, assemblare e creare modelli di ML che risolvano i problemi aziendali nel lungo periodo.
A livello generale, l'implementazione di una soluzione di ML è costituita dalle seguenti fasi:
- Ideazione e pianificazione
- Sperimentazione
- Creazione di pipeline
- Messa in produzione
Ideazione e pianificazione
Durante la fase di ideazione e pianificazione, inquadri il problema in termini di una soluzione ML e stimi la fattibilità del progetto.
- Obiettivo: determinare se l'ML è la soluzione migliore al tuo problema.
- Attività: analizza il problema aziendale per comprendere i vincoli del progetto.
- Risultato: un documento di progettazione che descrive come risolvere un problema con una soluzione ML.
Sperimentazione
La sperimentazione è il fulcro del machine learning. Durante questa fase, verifichi che una soluzione ML sia fattibile. Trovare una soluzione è un processo iterativo. Non è raro provare centinaia di esperimenti prima di trovare la giusta combinazione di funzionalità, iperparametri e architettura del modello che risolve il problema.
- Obiettivo: creare un modello che risolva il problema aziendale.
- Attività: sperimenta con funzionalità, iperparametri e architetture dei modelli.
- Risultato: un modello di qualità sufficiente per essere messo in produzione.
Creazione e produzione di pipeline
Durante la fase di creazione e produzione della pipeline, crei pipeline per l'elaborazione dei dati, l'addestramento di un modello e la pubblicazione delle previsioni. Dopodiché, esegui il deployment del modello e delle pipeline in produzione con l'infrastruttura di monitoraggio e logging necessaria.
- Obiettivo: creare e implementare l'infrastruttura per scalare, monitorare e gestire i modelli in produzione.
- Attività: crea pipeline per automatizzare molte delle attività per mantenere aggiornati i modelli in produzione.
- Risultati: pipeline ML convalidate.
Flusso di lavoro ML end-to-end
Il seguente diagramma illustra l'intero flusso di lavoro ML end-to-end, elencando ogni fase, le relative attività e i risultati:
Figura 1. Le quattro fasi principali di un flusso di lavoro ML.
Aspetti da considerare
In ogni fase esistono più sfide. Se non vengono presi in considerazione e pianificati, possono portare a mancate scadenze, ingegneri frustrati e progetti falliti.