Fases do desenvolvimento de ML

Os projetos de ML avançam em fases, com metas, tarefas e resultados específicos. Uma compreensão clara das fases de desenvolvimento de ML ajuda a estabelecer responsabilidades de engenharia, gerenciar as expectativas das partes interessadas e alocar recursos com eficiência.

A movimentação pelas fases, geralmente de maneira iterativa, é fundamental para projetar, montar e criar modelos de ML que resolvem problemas de negócios a longo prazo.

De modo geral, a implementação de uma solução de ML consiste nas seguintes fases:

  1. Concepção e planejamento
  2. Experimentação
  3. Criação de pipelines
  4. Produção

Concepção e planejamento

Durante a fase de ideação e planejamento, você enquadra o problema em termos de uma solução de ML e estima a viabilidade do projeto.

  • Objetivo: determinar se o ML é a melhor solução para seu problema.
  • Tarefas: analisar o problema de negócios para entender as restrições do projeto.
  • Resultado: um documento de design descrevendo como resolver um problema com uma solução de ML. Para um exemplo de um documento de design de ML, consulte go/ml-design-doc-example.

Uma transcrição do vídeo está disponível ao assistir em Transmissão. Se a transcrição não aparecer, clique no ícone de transcrição .

Experimentação

A experimentação é a essência do machine learning. Nessa fase, você verifica se uma solução de ML é viável. Encontrar uma solução é um processo iterativo. Não é incomum testar centenas de experimentos antes de encontrar a combinação certa de recursos, hiperparâmetros e arquitetura de modelo que resolva o problema.

  • Meta: criar um modelo que resolva o problema dos negócios.
  • Tarefas: testar recursos, hiperparâmetros e arquiteturas de modelos.
  • Resultado: um modelo com qualidade boa o suficiente para ser colocado em produção.

Uma transcrição do vídeo está disponível ao assistir em Transmissão. Se a transcrição não aparecer, clique no ícone de transcrição .

Criação e produção de pipelines

Durante a fase de criação e produção do pipeline, você cria pipelines para processar dados, treinar um modelo e disponibilizar previsões. Em seguida, você implanta o modelo e os pipelines em produção com a infraestrutura necessária de monitoramento e geração de registros.

  • Objetivo: criar e implementar a infraestrutura para escalonar, monitorar e manter modelos em produção.
  • Tarefas: crie pipelines para automatizar muitas das tarefas a fim de manter modelos atualizados em produção.
  • Resultados: pipelines de ML validados.

Uma transcrição do vídeo está disponível ao assistir em Transmissão. Se a transcrição não aparecer, clique no ícone de transcrição .

Fluxo de trabalho completo de ML

O diagrama a seguir ilustra todo o fluxo de trabalho de ML completo, listando cada fase e as tarefas e resultados:

Fluxo de trabalho completo de ML.

Figura 1. As quatro fases principais de um fluxo de trabalho de ML.

Observação importante

Há vários desafios em cada fase. Não perceber (e se planejar) pode levar a prazos perdidos, engenheiros frustrados e projetos fracassados.