O machine learning é muito mais do que apenas implementar um algoritmo de ML. Um sistema de ML de produção envolve um número significativo de componentes.
Production ML Systems
Até agora, conversamos sobre isso
Mas e quanto ao restante de um sistema de ML?
Componentes no nível do sistema
- Não é necessário criar tudo por conta própria.
- Reutilize componentes genéricos do sistema de ML sempre que possível.
- As soluções do Google CloudML incluem o Dataflow e o TF Serving
- Componentes também podem ser encontrados em outras plataformas, como Spark, Hadoop etc.
- Como você sabe do que precisa?
- Conhecer alguns paradigmas do sistema de ML e os requisitos deles
Resumo da aula sobre vídeo
Até agora, o Curso intensivo de machine learning tem se concentrado na criação de modelos de ML. No entanto, como a figura a seguir sugere, sistemas de ML de produção real são grandes ecossistemas em que o modelo é apenas uma parte.
Figura 1. Sistema de ML de produção real.
O código de ML está no centro de um sistema de produção de ML real, mas essa caixa geralmente representa apenas 5% ou menos do código geral do sistema de produção de ML total. Isso não é um erro. Observe que um sistema de produção de ML dedica recursos consideráveis para inserir dados: coletá-los, verificá-los e extrair atributos deles. Além disso, observe que uma infraestrutura de exibição precisa estar em vigor para colocar as previsões do modelo de ML em uso prático no mundo real.
Felizmente, muitos dos componentes na figura anterior são reutilizáveis. Além disso, você não precisa criar todos os componentes na Figura 1.
O TensorFlow Extended (TFX) é uma plataforma completa para implantar pipelines de produção de ML.
Os módulos a seguir vão ajudar a orientar suas decisões de design na criação de um sistema de ML de produção.