Sistemi ML di produzione

C'è molto di più nel machine learning rispetto alla semplice implementazione di un algoritmo di machine learning. Un sistema ML di produzione comporta un numero significativo di componenti.

Sistemi ML di produzione

Diagramma del sistema ML che mostra solo
Diagramma del sistema ML contenente i seguenti componenti: raccolta dati, estrazione di funzionalità, strumenti di gestione dei processi, verifica dei dati, configurazione, gestione delle risorse delle macchine, monitoraggio e pubblicazione dell'infrastruttura e codice ML. La parte del codice ML nel diagramma è sminuita dagli altri nove componenti.
  • No, non devi costruire nulla in autonomia.
    • Quando possibile, riutilizza i componenti di sistema ML generici.
    • Le soluzioni Google Cloud ML includono Dataflow e TF Serving
    • I componenti sono disponibili anche in altre piattaforme come Spark, Hadoop e così via.
    • Come fai a sapere di cosa hai bisogno?
      • Comprendere alcuni paradigmi di sistemi ML e i relativi requisiti

Riepilogo delle lezioni video

Finora il corso sul machine learning si è concentrato sulla creazione di modelli di machine learning. Tuttavia, come suggerisce la seguente figura, i sistemi ML di produzione reali sono grandi ecosistemi di cui il modello è solo una parte.

Diagramma del sistema ML contenente i seguenti componenti: raccolta dati, estrazione di funzionalità, strumenti di gestione dei processi, verifica dei dati, configurazione, gestione delle risorse delle macchine, monitoraggio e pubblicazione dell'infrastruttura e codice ML. La parte del codice ML nel diagramma è sminuita dagli altri nove componenti.

Figura 1. Sistema ML di produzione reale.

Il codice ML è al centro di un sistema di produzione ML reale, ma questa casella rappresenta spesso solo il 5% o meno del codice complessivo di quel sistema di produzione ML totale. (non è un errore di stampa). Tieni presente che un sistema di produzione ML dedica risorse considerevoli per l'input dei dati: la raccolta, la verifica e l'estrazione di funzionalità da quest'ultimo. Inoltre, tieni presente che deve essere in uso un'infrastruttura di gestione per mettere in pratica le previsioni del modello ML nel mondo reale.

Fortunatamente, molti dei componenti della figura precedente sono riutilizzabili. Inoltre, non è necessario costruire autonomamente tutti i componenti della Figura 1.

TensorFlow Extended (TFX) è una piattaforma end-to-end per il deployment di pipeline di produzione ML.

I moduli successivi ti aiuteranno a prendere decisioni di progettazione nella creazione di un sistema ML di produzione.