Produção

Para preparar seus pipelines de ML para produção, você precisa fazer o seguinte:

• Provisionar recursos de computação para seus pipelines
• Implementar geração de registros, monitoramento e alertas

Provisionamento de recursos de computação

A execução de pipelines de ML exige recursos de computação, como RAM, CPUs e GPUs/TPUs. Sem a computação adequada, não é possível executar seus pipelines. Portanto, certifique-se a fim de ter cota suficiente para provisionar os recursos necessários que seus pipelines que precisam ser executados na produção.

• Pipelines de disponibilização, treinamento e validação. Esses pipelines exigem TPUs, GPUs ou CPUs. Dependendo do caso de uso, é possível treinar e disponibilizar hardware diferente ou o mesmo hardware. Por exemplo, o treinamento pode acontece em CPUs, mas a veiculação pode usar TPUs ou vice-versa. Em geral, comuns treinar em hardwares maiores e depois servir em hardwares menores.

  Ao escolher o hardware, considere o seguinte:

  • É possível treinar com um hardware mais barato?
  • Mudar para hardware diferente melhoraria o desempenho?
  • Qual é o tamanho do modelo e qual hardware vai otimizar o desempenho dele?
  • Qual hardware é ideal com base na arquitetura do seu modelo?
  .
  Observação: ao trocar de modelo de hardware, considere o tempo e o esforço para migrar o modelo. A troca de hardware pode tornar o modelo mais barato mas o esforço de engenharia para fazer isso pode superar economia, ou os esforços de engenharia podem ser mais bem priorizados funcionar.

• Pipelines de dados. Os pipelines de dados exigem cota para RAM e CPU Você vai precisar estimar como a cota necessária para o pipeline gerar conjuntos de dados de treinamento e teste.

Talvez não seja possível alocar uma cota para cada pipeline. Em vez disso, você pode alocar cotas que os pipelines compartilham. Nesses casos, confirme se você tem cota suficiente para executar todos os pipelines e configurar o monitoramento e fazer uma alteração para evitar que um único pipeline errante consuma toda a cota.

Estimativa de cota

Para estimar a cota necessária para os pipelines de dados e treinamento, encontre projetos semelhantes para basear suas estimativas. Para estimar a cota de veiculação, tente prever as consultas por segundo do serviço. Esses métodos fornecem uma linha de base. Conforme e começar a prototipar uma solução durante a fase de experimentação, você vai para ter uma estimativa de cota mais precisa.

Ao estimar a cota, lembre-se de considerá-la não apenas para sua produção. pipelines, mas também para experimentos em andamento.

Teste seu conhecimento

Ao escolher o hardware para disponibilizar previsões, escolha sempre hardware mais potente do que foi usado para treinar o modelo.

Falso

Correto. Normalmente, o treinamento exige um hardware maior do que a disponibilização.

Verdadeiro

Geração de registros, monitoramento e alertas

Registrar e monitorar o comportamento de um modelo de produção é fundamental. Robust a infraestrutura de monitoramento confirma se os modelos estão sendo disponibilizados previsões de alta qualidade.

Boas práticas de geração de registros e monitoramento ajudam a identificar de modo proativo problemas em ML e mitigar o possível impacto nos negócios. Quando ocorrem problemas, os alertas notificar os membros de sua equipe, e registros abrangentes facilitam o diagnóstico dos a causa raiz do problema.

Implemente a geração de registros e o monitoramento para detectar os seguintes problemas com pipelines de ML:

Pipeline	Monitoramento
Disponibilização	Distorções ou desvios nos dados de serviço em comparação com os dados de treinamento Distorções ou desvios nas previsões Problemas com o tipo de dados, como valores ausentes ou corrompidos Uso de cota Métricas de qualidade do modelo Calcular a qualidade de um modelo de produção é diferente calcular a qualidade de um modelo durante o treinamento. Na produção, não terão necessariamente acesso a informações empíricas para comparar previsões. Em vez disso, você vai precisar criar um de monitoramento para capturar métricas que atuam como proxy para a qualidade do modelo. Por exemplo, em um aplicativo de e-mail, você não saber quais e-mails são spam em tempo real. Em vez disso, você pode monitorar a porcentagem de usuários de e-mail que passam para a pasta "Spam". Se o número pular de 0,5% a 3%, o que indica um possível problema com o modelo. A comparação das mudanças as métricas de proxy são mais esclarecedoras do que os números brutos.
Dados	Distorções e desvios nos valores dos atributos Distorções e desvios nos valores de rótulo Problemas com o tipo de dados, como valores ausentes ou corrompidos Taxa de uso da cota Limite de cota prestes a ser atingido
Treinamento	Tempo de treinamento Falhas no treinamento Uso de cota
Validação	Distorção ou desvio nos conjuntos de dados de teste

Você também vai precisar de geração de registros, monitoramento e alertas para o seguinte:

• Latência. Quanto tempo leva para entregar uma previsão?
• Interrupções: O modelo parou de entregar previsões?

Teste seu conhecimento

Qual das alternativas a seguir é o principal motivo do Logging e do Monitoring? seus pipelines de ML?

Detecte problemas de forma proativa antes que eles afetem os usuários

Monitorar o uso de cotas e recursos

Identificar possíveis problemas de segurança

Todas as alternativas acima

Correto. Registrar e monitorar seus pipelines de ML ajuda a prevenir e diagnosticar problemas antes que se tornem graves.

Como implantar um modelo

Para implantação de modelos, documente o seguinte:

• As aprovações são necessárias para iniciar a implantação e aumentar o lançamento.
• Como colocar um modelo em produção.
• Onde o modelo é implantado, por exemplo, se houver teste ou canário e ambientes de teste.
• O que fazer se uma implantação falhar.
• Como reverter um modelo que já está em produção.

Depois de automatizar o treinamento de modelos, você vai querer validação e implantação. Automatizar implantações distribui responsável, além de reduzir a probabilidade do gargalo de uma implantação uma única pessoa. Também reduz possíveis erros, aumenta a eficiência e confiabilidade, além de permitir rotações de plantão e suporte a SRE.

Normalmente, você implanta novos modelos a um subconjunto de usuários para verificar se o modelo está e se comportam como esperado. Se estiver, continue com a implantação. Se não estiver, você reverte a implantação e começa a diagnosticar e depurar os problemas.