프로덕션 ML 시스템

단순히 ML 알고리즘을 구현하는 것 외에도 머신러닝에는 더 많은 것이 있습니다. 프로덕션 ML 시스템에는 많은 구성요소가 포함됩니다.

프로덕션 ML 시스템

ML 시스템 다이어그램
데이터 수집, 특성 추출, 프로세스 관리 도구, 데이터 검증, 구성, 머신 리소스 관리, 모니터링 및 제공 인프라, ML 코드 구성요소가 포함된 ML 시스템 다이어그램 다이어그램의 ML 코드 부분은 다른 9개 구성요소로 인해 왜곡됩니다.
  • 아니요, 직접 구축할 필요는 없습니다.
    • 가능하다면 일반 ML 시스템 구성요소를 재사용합니다.
    • Dataflow 및 TF 서빙이 포함된 Google CloudML 솔루션
    • 구성요소는 Spark, Hadoop 등 다른 플랫폼에서도 찾을 수 있습니다.
    • 무엇이 필요한지 어떻게 알 수 있나요?
      • 몇 가지 ML 시스템 패러다임과 요구사항 이해

동영상 강의 요약

지금까지 머신러닝 단기집중과정에서는 ML 모델을 빌드하는 데 집중했습니다. 그러나 다음 그림에서 알 수 있듯이 실제 프로덕션 ML 시스템은 모델이 하나의 부분인 대규모 생태계입니다.

데이터 수집, 특성 추출, 프로세스 관리 도구, 데이터 검증, 구성, 머신 리소스 관리, 모니터링 및 제공 인프라, ML 코드 구성요소가 포함된 ML 시스템 다이어그램 다이어그램의 ML 코드 부분은 다른 9개 구성요소로 인해 왜곡됩니다.

그림 1. 실제 프로덕션 ML 시스템.

ML 코드는 실제 ML 프로덕션 시스템의 중심에 있지만 일반적으로 이 상자는 총 ML 프로덕션 시스템의 전체 코드 중 5% 이하만 나타냅니다. (오답이 아닙니다.) ML 프로덕션 시스템은 수집 데이터에 데이터를 입력, 검증, 특성 추출하는 데 상당한 리소스를 할애합니다. 또한 ML 모델의 예측을 실제로 사용할 수 있도록 서빙 인프라가 마련되어 있어야 합니다.

다행히 위 그림의 많은 구성요소를 재사용할 수 있습니다. 또한 그림 1의 모든 구성요소를 직접 빌드할 필요가 없습니다.

TensorFlow Extended (TFX)는 프로덕션 ML 파이프라인을 배포하기 위한 엔드 투 엔드 플랫폼입니다.

후속 모듈은 프로덕션 ML 시스템을 빌드하는 데 있어 설계 결정을 내리는 데 도움이 됩니다.