프로덕션 ML 시스템: 질문

이 강의는 데이터에 대해 물어봐야 할 질문에 중점을 둡니다. 살펴봤습니다

각 기능이 유용한가요?

모델을 지속적으로 모니터링하여 모델에 기여하는 특성을 삭제해야 합니다. 모델의 예측 능력에 거의 또는 전혀 영향을 미치지 않습니다. 모델의 입력 데이터가 모델의 동작이 변경할 수 있습니다.

다음과 같은 관련 질문도 생각해 보세요.

  • 특성의 유용성이 특성을 포함하는 비용을 정당화하나요?

모델에 더 많은 특성을 추가하고 싶은 유혹이 생길 수 있습니다. 예를 들어 덧셈이 모델의 예측을 수행하는 새 특성을 발견했다고 가정하겠습니다. 좋습니다. 약간 더 나은 예측이 확실히 예측이 약간 나빠졌습니다. 추가 기능을 사용하면 유지보수의 부담을 줄일 수 있습니다

데이터 소스를 신뢰할 수 있나요?

입력 데이터의 신뢰성에 관해 물어야 할 몇 가지 질문은 다음과 같습니다.

  • 신호를 항상 사용할 수 있나요, 아니면 신뢰할 수 없는 출처인가요? 예를 들면 다음과 같습니다.
    • 부하가 크면 비정상 종료되는 서버에서 신호가 오나요?
    • 매년 8월마다 휴가를 떠나는 사람으로부터 신호가 오나요?
  • 모델의 입력 데이터를 계산하는 시스템이 변경되기도 하나요? 이 경우 다음 단계를 따르세요. <ph type="x-smartling-placeholder">
      </ph>
    • 얼마나 자주 발생하나요?
    • 시스템이 변경되면 어떻게 알 수 있나요?

Google Cloud에서 제공하는 실행할 수도 있습니다 그런 다음 업스트림의 다음 버전으로만 진행합니다. 안전하다고 확신하는 경우에는 데이터를 수집하지 않아도 됩니다.

모델이 피드백 루프의 일부인가요?

모델이 자체 학습 데이터에 영향을 미치는 경우도 있습니다. 예를 들어 일부 모델의 결과는 다시 (직접적 또는 간접적으로) 입력으로 동일한 모델에 적용할 수 있습니다

모델이 다른 모델에 영향을 줄 수 있는 경우도 있습니다. 예를 들어 2개의 주가를 예측하는 모델입니다.

  • 모델 A: 잘못된 예측 모델입니다.
  • 모델 B

모델 A는 버그가 많아 실수로 주식 X를 구입하기로 결정합니다. 이러한 구매는 주식 X의 가격을 상승시킵니다. 모델 B는 가격을 사용합니다. 입력 특성으로 설정하여 모델 B는 일부 잘못된 예측을 할 수 있습니다. 주식 X의 가치에 대한 결론을 내릴 수 있습니다. 따라서 모델 B는 모델 A의 버그 행동에 기초하여 주식 X의 주식을 사고팔 수 있습니다. 결과적으로 모델 B의 행동은 모델 A에 영향을 미쳐 튤립 매니아 또는 슬라이드 인 회사 X의 주식입니다.

연습문제: 학습 내용 점검하기

다음 중 변조에 취약한 세 가지 모델은 무엇일까요? 피드백 루프가 필요할까요?
고속도로 출구의 정체를 예측하는 교통량 예측 모델 을 만들었습니다.
일부 해수욕객은 교통량을 기준으로 계획을 수립할 가능성이 높습니다. 확인할 수 있습니다 해변 인파가 많고 교통량이 많을 것으로 예상되면 많은 사람들이 대체 계획을 세울 수 있습니다. 우울한 해변 이로 인해 트래픽 예측이 완화되고 참석자 수가 늘어나고 이 주기가 반복됩니다.
사용자가 좋아할 만한 소설을 추천하는 도서 추천 모델 인기도 (예: 도서 판매량)에 따라 합니다.
책 추천은 구매를 유도할 가능성이 높으며, 추가 판매는 모델에 입력으로 다시 피드되고, 같은 책을 추천하여 있습니다.
대학 평가 모델: 선택성 - 지원한 학생의 비율 있습니다.
모델 순위가 최고 평점에 더 많은 관심을 유도할 수 있습니다. 입학 지원서의 수가 증가했습니다. 만약 입학하는 학생 수가 계속 달라지기 때문에 입학 비율이 낮아집니다. 이 이러한 학교의 이를 통해 Google은 학생들의 관심 분야 등...
당선자를 예측하는 선거 결과 모델 투표가 마감된 후 2% 의 유권자를 대상으로 시장 경쟁을 실시합니다.
설문조사가 준비될 때까지 모델이 예측을 게시하지 않는 경우 해당 예측이 투표자에게 영향을 미칠 수 없습니다. 있습니다.
주택 가격을 예측하는 크기 (평방미터 단위), 침실 수, 지리적 위치 살펴봤습니다
집의 위치를 빠르게 변경할 수는 없지만 가격 예측에 따른 침실 수 피드백 루프가 발생할 가능성은 크지 않습니다 그러나 규모와 침실 수 (대형 주택)의 상관관계 더 많은 방이 있을 수 있음)을 분리해야 할 수 있습니다.
사람의 웃고 있는지 여부를 감지하는 얼굴 속성 모델 정기적으로 스톡 사진 데이터베이스를 학습하여 매월 자동으로 업데이트됩니다
모델 예측에는 피드백 루프가 없으므로 영향을 주지 않습니다. 하지만 입력의 버전 관리는 데이터가 우려되는 것은 아닙니다. 이러한 월별 업데이트는 잠재적으로 모델에 예상치 못한 영향을 미칠 수 있습니다