Producción

Para preparar tus canalizaciones de AA para la producción, debes hacer lo siguiente:

• Aprovisionar recursos de procesamiento para tus canalizaciones
• Implementar el registro, la supervisión y las alertas

Aprovisiona recursos de procesamiento

La ejecución de canalizaciones de AA requiere recursos de procesamiento, como RAM, CPU y GPU/TPU. Sin un procesamiento adecuado, no puedes ejecutar tus canalizaciones. Por lo tanto, asegúrate para obtener una cuota suficiente que permita aprovisionar los recursos necesarios para tus canalizaciones que deben ejecutarse en producción.

• Canalizaciones de entrega, entrenamiento y validación. Estas canalizaciones requieren TPU, GPU o CPU. Según tu caso de uso, podrías entrenar y entregar en un hardware diferente o usan el mismo. Por ejemplo, el entrenamiento podría suceden en CPU, pero la entrega puede usar TPU o viceversa. En general, es que es común entrenar en un hardware más grande y, luego, entregarse en uno más pequeño.

  Cuando elijas el hardware, ten en cuenta lo siguiente:

  • ¿Se puede entrenar con un hardware menos costoso?
  • ¿Cambiar a un hardware diferente mejoraría el rendimiento?
  • ¿De qué tamaño es el modelo y qué hardware optimizará su rendimiento?
  • ¿Qué hardware es ideal según la arquitectura de tu modelo?
  Nota: Cuando cambies de modelo entre hardware, ten en cuenta el tiempo y el esfuerzo necesarios. para migrar el modelo. Cambiar de hardware podría hacer que el modelo sea más económico. ejecutar, pero el esfuerzo de ingeniería para hacerlo podría superar los de ahorro o esfuerzo de ingeniería podría priorizarse mejor en otros trabajo.

• Canalizaciones de datos. Las canalizaciones de datos requieren cuota para la RAM y la CPU Tendrás que estimar la cuota que necesita tu canalización para generar conjuntos de datos de entrenamiento y prueba.

Es posible que no asignes cuotas a cada canalización. En cambio, podrías asignan cuotas que comparten las canalizaciones. En esos casos, verifica tiene cuota suficiente para ejecutar todas sus canalizaciones, y configura la supervisión y para evitar que una única canalización consuma toda la cuota.

Estimar la cuota

Para estimar la cuota que necesitarás para las canalizaciones de datos y entrenamiento, busca proyectos similares para basar tus estimaciones. Para estimar la cuota de entrega, intenta lo siguiente: para predecir las consultas por segundo del servicio. Estos métodos proporcionan un modelo de referencia. Como comienzas a crear el prototipo de una solución durante la fase de experimentación, empezarás para obtener una estimación de cuota más precisa.

Cuando estimes la cuota, recuerda tenerla en cuenta no solo para la producción sino también para los experimentos en curso.

Comprueba tu comprensión

Cuando elijas hardware para entregar predicciones, siempre debes y un hardware más potente que el que se usó para entrenar el modelo.

Falso

Correcto. Por lo general, el entrenamiento requiere un hardware más grande que la entrega.

Verdadero

Registro, supervisión y alertas

El registro y la supervisión del comportamiento de un modelo de producción es fundamental. Robust de supervisión confirma que tus modelos ofrecen modelos predicciones de alta calidad.

Las prácticas adecuadas de registro y supervisión ayudan a identificar de forma proactiva los problemas en el AA canalizaciones de datos y mitigar el posible impacto en el negocio. Cuando ocurren problemas, las alertas notifican a los miembros de tu equipo, y los registros completos facilitan el diagnóstico causa raíz del problema.

Debes implementar el registro y la supervisión para detectar los siguientes problemas con canalizaciones de AA:

Canalización	Supervisar
Activo	Sesgos o desvíos en los datos de entrega en comparación con los datos de entrenamiento Sesgos o desvíos en las predicciones Problemas de tipos de datos, como valores faltantes o dañados Uso de cuota Métricas de calidad del modelo Calcular la calidad de un modelo de producción no es lo mismo que para calcular la calidad de un modelo durante el entrenamiento. En producción, no tendrá necesariamente acceso a la verdad fundamental para compararla en función de ellos. En su lugar, deberás escribir valores la instrumentación de supervisión para capturar métricas que actúan como para evaluar la calidad del modelo. Por ejemplo, en una app de correo, no podrás saber qué correo es spam en tiempo real. En su lugar, puedes supervisar el porcentaje de correos electrónicos que los usuarios pasan a la carpeta Spam. Si el número salta del 0.5% al 3%, lo que indica un posible problema con el modelo. Ten en cuenta que comparar los cambios las métricas del proxy son más útiles que las cifras sin procesar.
Datos	Sesgos y desvíos en los valores de los atributos Sesgos y desvíos en los valores de las etiquetas Problemas de tipos de datos, como valores faltantes o dañados Tasa de uso de la cuota Se está por alcanzar el límite de cuota
Capacitación	Tiempo de entrenamiento Errores de entrenamiento Uso de cuota
Validación	Sesgo o desvío en los conjuntos de datos de prueba

También deberás registrar, supervisar y generar alertas sobre lo siguiente:

• Latencia. ¿Cuánto tiempo lleva entregar una predicción?
• Interrupciones. ¿El modelo dejó de entregar predicciones?

Comprueba tu comprensión

¿Cuál de los siguientes es el motivo principal del registro y la supervisión? tus canalizaciones de AA?

Detecta problemas de forma proactiva antes de que afecten a los usuarios.

Realiza un seguimiento del uso de cuotas y recursos

Identificar posibles problemas de seguridad

Todas las opciones anteriores

Correcto. El registro y la supervisión de tus canalizaciones de AA ayudan a prevenir y y diagnosticar problemas antes de que se vuelvan graves.

La implementación de un modelo.

Para la implementación del modelo, debes documentar la siguiente información:

• Las aprobaciones se requieren para comenzar la implementación y aumentar el lanzamiento.
• Cómo poner un modelo en producción
• El lugar en el que se implementa el modelo, por ejemplo, si hay pruebas entornos de prueba.
• Qué hacer si falla una implementación.
• Cómo revertir un modelo que ya está en producción

Luego de automatizar el entrenamiento de modelos, la validación y la implementación. Automatizar las implementaciones distribuye responsabilidad y reduce la probabilidad de que un Deployment se bloquee una sola persona. También reduce los posibles errores, aumenta la eficiencia y confiabilidad, y habilita la rotación de turnos y la asistencia de SRE.

Por lo general, se implementan modelos nuevos en un subconjunto de usuarios para comprobar que se comporten como se espera. Si es así, continúa con la implementación. Si no lo es, revertirás la implementación y comenzarás a diagnosticar y depurar los problemas.