추론은 학습된 모델을 적용하여 예측 수행 라벨이 없는 예. 개략적으로 모델은 다음 두 가지 방법 중 하나로 예측을 추론할 수 있습니다.
- 정적 추론 (오프라인 추론 또는 일괄 추론)은 모델이 다량의 데이터를 예측한다는 의미입니다. 일반적인 라벨이 없는 예 해당 예측을 어딘가에 캐시합니다
- 동적 추론 (온라인 추론 또는 실시간 추론이라고도 함) 추론)는 모델이 요청 시에만 예측을 수행한다는 의미입니다. 예를 들어 클라이언트가 예측을 요청하는 경우입니다.
극단적인 예를 사용하기 위해, 매우 복잡한 모델을 상상해 보세요. 예측을 추론하는 데 1시간이 걸립니다 이는 정적 추론에 매우 적합한 상황일 수 있습니다.
이 복잡한 모델이 실수로 대신 동적 추론을 정적 추론입니다. 여러 클라이언트가 비슷한 시간에 예측을 요청하는 경우 대부분은 몇 시간이나 며칠에 대한 예측을 받지 못합니다.
이번에는 2밀리초 이내에 컴퓨팅 리소스의 상대적인 최소량을 의미합니다 이 경우 클라이언트는 모델 학습처럼 동적 추론을 통해 빠르고 효율적으로 예측을 더 높은 성능을 발휘할 수 있습니다.
정적 추론
정적 추론은 몇 가지 장단점을 제공합니다.
장점
- 추론 비용에 관해 크게 걱정할 필요는 없습니다.
- 예측값을 푸시하기 전에 사후 검증이 가능합니다.
단점
- 캐시된 예측만 제공할 수 있으므로 시스템이 예측을 제공할 수 있습니다.
- 업데이트 지연 시간은 대개 몇 시간 또는 며칠 단위로 측정됩니다.
동적 추론
동적 추론은 몇 가지 장단점을 제공합니다.
장점
- 새로 들어오는 모든 항목에 대한 예측을 추론할 수 있습니다. 롱테일 (일반적이지 않은) 예측에 적합합니다.
단점
- 컴퓨팅 집약적이고 지연 시간에 민감합니다. 이 조합으로 인해 모델이 제한될 수 있음 복잡성 즉, 보다 단순한 모델을 빌드해야 할 수도 있고 더 빠르게 예측을 추론할 수 있습니다.
- 모니터링 요구사항이 더 강합니다.
연습문제: 이해도 확인
다음 네 가지 설명 중 세 가지는 무엇인가요?
참인 이유는 무엇일까요?
모델은 가능한 모든 입력에 대한 예측을 생성해야 합니다.
맞습니다. 모델은 가능한 모든 입력에 대해 예측을 수행해야 하고
캐시 또는 조회 테이블에 저장합니다.
모델이 예측하는 항목의 집합이 제한적이면
정적 추론이 좋은 선택일 수 있습니다
하지만
특이하거나 희귀한 아이템의 꼬리 부분이 발견되면 정적 추론은
전체 콘텐츠
시스템은 서빙하기 전에 추론된 예측을 확인할 수 있습니다
있습니다.
그렇습니다. 이는 정적 추론의 유용한 측면입니다.
모델이 특정 입력에 대해 더 빠르게 예측을 제공할 수 있습니다.
동적추론보다 훨씬 더 우수합니다.
예. 정적 추론은 거의 항상 더 빠르게 예측을 제공할 수 있습니다.
더 효율적입니다.
세상의 변화에 빠르게 대응할 수 있습니다.
아니요. 이는 정적 추론의 단점입니다.
다음 중 한 문장은 무엇인가요?
참인 이유는 무엇일까요?
가능한 모든 항목에 대해 예측을 제공할 수 있습니다.
맞습니다. 이것이 동적 추론의 강점입니다.
점수가 부여됩니다. 동적 추론으로 롱테일 처리
희귀 아이템이 많은 배포판)처럼
다음 문장이 포함될 수 있습니다
예측이 반영되기 전에 사후 검증이 가능합니다.
사용됩니다.
일반적으로 모든 계정에 대해 사후 인증을 수행하는 것은 불가능합니다.
이미 예측이 실제로 사용되기 때문에
주문형으로 제공됩니다. 하지만 Ad Exchange에서
예측 품질을 집계하여 일정 수준의
품질 검사가 가능하지만
화재가 이미 확산되고 있습니다.
동적 추론을 수행할 때는
예측 지연 시간 정보 (예측 결과가 반환되는 데 걸리는 시간)
정적 추론을 수행할 때와 같습니다.
예측 지연 시간은 동적 추론에서 상당한 문제가 되는 경우가 많습니다.
안타깝게도 예측 지연 시간 문제를 반드시 해결할 수는 없습니다.
더 많은 추론 서버를 추가할 수 있습니다.