Sistemas de AA de producción: Inferencia estática versus dinámica
La inferencia es el proceso de
hacer predicciones mediante la aplicación de un modelo entrenado para
ejemplos sin etiqueta.
En términos generales, un modelo puede inferir predicciones de dos maneras:
Inferencia estática (también llamada inferencia sin conexión o
inferencia por lotes) significa que el modelo realiza predicciones en muchos
ejemplos sin etiqueta comunes
y, luego, las almacena en caché en algún lugar.
Inferencia dinámica (también llamada inferencia en línea o en tiempo real)
inferencia) significa que el modelo solo hace predicciones a pedido,
como cuando un cliente solicita una predicción.
Para usar un ejemplo extremo, imagina un modelo muy complejo que
tarda una hora en inferir una predicción.
Esta probablemente sería una situación excelente para la inferencia estática:
Figura 4: En la inferencia estática, un modelo genera predicciones,
que luego se almacenan en caché en un servidor.
Supongamos que este mismo modelo complejo usa por error la inferencia dinámica en lugar de
la inferencia estática. Si muchos clientes solicitan predicciones casi al mismo tiempo,
la mayoría de ellos no recibirá
esa predicción por horas o días.
Ahora, considera un modelo que infiere con rapidez, tal vez en 2 milisegundos mediante
el mínimo relativo de recursos de procesamiento. En esta situación, los clientes pueden
recibir predicciones de forma rápida y eficiente a través de la inferencia dinámica, como
sugerido en la Figura 5.
Figura 5: En la inferencia dinámica, un modelo infiere predicciones a pedido.
Inferencia estática
La inferencia estática ofrece ciertas ventajas y desventajas.
Ventajas
No debes preocuparte mucho por el costo de la inferencia.
Se puede realizar una verificación posterior de las predicciones antes de enviarlas.
Desventajas
Solo puede entregar predicciones almacenadas en caché, por lo que es posible que el sistema no
y entregar predicciones para ejemplos de entrada poco comunes.
Es probable que la latencia de actualización se mida en horas o días.
Inferencia dinámica
La inferencia dinámica ofrece ciertas ventajas y desventajas.
Ventajas
Puede inferir una predicción sobre cualquier elemento nuevo a medida que llega, lo que
es ideal para predicciones de cola larga (menos comunes).
Desventajas
Procesamiento intensivo y sensible a la latencia. Esta combinación puede limitar el modelo
complejidad; es decir, podrías tener que crear un modelo más simple que pueda
para inferir las predicciones
más rápido de lo que podría hacerlo un modelo complejo.
Las necesidades de supervisión son más intensivas.
Ejercicios: Verifica tus conocimientos
¿Cuáles son tres de las siguientes cuatro afirmaciones
verdadera de la inferencia estática?
El modelo debe crear predicciones para todas las entradas posibles.
Sí, el modelo debe hacer predicciones para todas las entradas posibles
almacenarlos en una caché
o en una tabla de consulta.
Si el conjunto de factores que el modelo predice está limitado, entonces
la inferencia estática
podría ser una buena opción.
pero en el caso de las entradas de formato libre, como las consultas de los usuarios
de elementos inusuales o raros, la inferencia estática no puede
cobertura completa.
El sistema puede verificar las predicciones inferidas antes de entregar
de ellos.
Sí, este es un aspecto útil de la inferencia estática.
Para una entrada determinada, el modelo puede entregar una predicción más rápidamente.
que la inferencia dinámica.
Sí, la inferencia estática casi siempre puede entregar predicciones más rápido.
que la inferencia dinámica.
Puedes reaccionar rápidamente a los cambios en el mundo.
No, esta es una desventaja de la inferencia estática.
¿Cuál una de las siguientes afirmaciones es
verdadera de la inferencia dinámica?
Puedes proporcionar predicciones para todos los elementos posibles.
Sí, esta es una fortaleza de la inferencia dinámica. Cualquier solicitud que
de usuarios recibirán una puntuación. La inferencia dinámica controla las colas
(las que tienen muchos elementos raros), como el espacio de todas
posibles oraciones escritas en opiniones sobre películas.
Puedes realizar una verificación posterior de las predicciones antes de que
se usan las reglas de firewall.
En general, no es posible realizar una verificación posterior de todas
predicciones antes de que se usen porque las predicciones
se hacen a pedido. Sin embargo, puedes supervisar
cualidades de predicción agregadas para proporcionar cierto nivel de
control de calidad, pero estas activarán alarmas de incendio solo después de
el fuego ya se extendió.
Cuando realices inferencia dinámica, no debes preocuparte.
sobre la latencia de predicción (el tiempo de retraso para devolver predicciones)
al igual que cuando se realiza
inferencia estática.
La latencia de predicción es, a menudo, una preocupación real en la inferencia dinámica.
Lamentablemente, no puedes solucionar los problemas de latencia de predicción
agregando más servidores de inferencia.
