Машинное обучение — это гораздо больше, чем просто реализация алгоритма машинного обучения. Производственная система машинного обучения включает в себя значительное количество компонентов.
Производственные ML-системы
До сих пор мы говорили об этом
Но как насчет остальной части системы машинного обучения?
Компоненты системного уровня
- Нет, вам не нужно строить все самостоятельно.
- По возможности повторно используйте общие компоненты системы машинного обучения.
- Решения Google CloudML включают Dataflow и TF Serving
- Компоненты также можно найти на других платформах, таких как Spark, Hadoop и т. д.
- Откуда вы знаете, что вам нужно?
- Понимать несколько системных парадигм машинного обучения и их требования
Резюме видео-лекции
До сих пор ускоренный курс по машинному обучению был сосредоточен на построении моделей машинного обучения. Однако, как показано на следующем рисунке, реальные производственные системы машинного обучения представляют собой большие экосистемы, частью которых является модель.
Рис. 1. Реальная производственная система машинного обучения.
Код ML лежит в основе реальной производственной системы ML, но этот блок часто представляет только 5% или меньше всего кода всей производственной системы ML. (Это не опечатка.) Обратите внимание, что производственная система машинного обучения выделяет значительные ресурсы на входные данные — их сбор, проверку и извлечение из них функций. Кроме того, обратите внимание, что для практического использования прогнозов модели машинного обучения в реальном мире должна существовать обслуживающая инфраструктура.
К счастью, многие компоненты на предыдущем рисунке можно использовать повторно. Кроме того, вам не нужно создавать все компоненты, показанные на рис. 1, самостоятельно.
TensorFlow Extended (TFX) — это комплексная платформа для развертывания рабочих конвейеров машинного обучения.
Последующие модули помогут направить ваши проектные решения при создании производственной системы машинного обучения.