아이디어 구상 및 계획 단계에서 ML 솔루션의 요소를 조사합니다. 문제 프레이밍 태스크 중에 ML 솔루션 측면에서 문제를 프레이밍합니다. 머신러닝 문제 프레이밍 소개 과정에서 이러한 단계를 자세히 설명합니다. 계획 작업 중에 솔루션의 실행 가능성을 추정하고, 접근 방식을 계획하고, 성공 측정항목을 설정합니다.
ML이 이론적으로는 좋은 해결책이 될 수도 있지만 실제 실현 가능성을 예측해야 합니다. 예를 들어, 솔루션이 기술적으로는 작동하지만 비실용적이거나 구현이 불가능할 수 있습니다. 프로젝트의 실행 가능성에 영향을 미치는 요인은 다음과 같습니다.
- 데이터 가용성
- 문제 난이도
- 예측 품질
- 기술 요구사항
- 비용
데이터 가용성
ML 모델의 성능은 학습한 데이터의 품질에 따라 결정됩니다. 고품질 예측을 위해서는 많은 고품질 데이터가 필요합니다. 다음 질문을 해결하면 모델 학습에 필요한 데이터가 있는지 판단하는 데 도움이 될 수 있습니다.
수량. 모델을 학습시키기에 충분한 고품질 데이터를 얻을 수 있을까요? 라벨이 있는 예가 드물거나 구하기 어렵거나 너무 비싼가요? 예를 들어 라벨이 지정된 의료 이미지나 희귀어로 번역하는 것은 매우 어려운 일입니다 예측을 잘 수행하려면 분류 모델에 모든 라벨에 대한 수많은 예시가 필요합니다. 학습 데이터 세트에 일부 라벨에 대한 예가 제한되어 있으면 모델이 제대로 예측할 수 없습니다.
서빙 시 기능 사용 가능 여부: 학습에 사용되는 모든 특성을 서빙 시점에 사용할 수 있나요? 팀은 모델을 학습시키기 위해 상당한 시간을 들여 모델을 필요로 하는 며칠 후에야 일부 특성을 사용할 수 있다는 사실을 깨달았습니다.
예를 들어 고객이 URL을 클릭할지 예측하고 학습에 사용되는 특성 중 하나에
user_age가 포함되었다고 가정해 보겠습니다. 하지만 모델이 예측을 제공하면user_age를 사용할 수 없습니다. 사용자가 아직 계정을 만들지 않았기 때문일 수 있습니다.규정. 데이터를 획득하고 사용하기 위한 규정과 현지 법규는 무엇인가요? 예를 들어 일부 요구사항은 특정 유형의 데이터 저장 및 사용에 대한 제한을 설정합니다.
생성형 AI
선행 학습된 생성형 AI 모델은 분야별 태스크에서 뛰어난 성능을 발휘하기 위해 선별된 데이터 세트가 필요한 경우가 많습니다. 다음과 같은 사용 사례에는 데이터 세트가 필요할 수 있습니다.
-
프롬프트 엔지니어링,
매개변수 효율적인 조정,
미세 조정
사용 사례에 따라 모델 출력을 더욱 세분화하려면 10~10,000개의 고품질 예시가 필요할 수 있습니다. 예를 들어 의학적 질문에 대한 답변과 같은 특정 작업에서 뛰어난 성능을 발휘하도록 모델을 미세 조정해야 하는 경우 모델이 물어볼 질문의 유형과 응답해야 하는 답변 유형을 대표하는 고품질 데이터 세트가 필요합니다.
다음 표에는 특정 기법에서 생성형 AI 모델의 출력을 미세 조정하는 데 필요한 예시의 수에 대한 추정치가 나와 있습니다.
-
최신 정보. 사전 학습된 생성형 AI 모델은 고정된 기술 자료를 갖게 됩니다. 모델 도메인의 콘텐츠가 자주 변경되는 경우 다음과 같이 모델을 최신 상태로 유지하는 전략이 필요합니다.
- 미세 조정
- 검색 보강 (RAG)
- 주기적인 사전 학습
| 기법 | 필수 예시 수 |
|---|---|
| 제로샷 프롬프팅 | 0 |
| 퓨샷 프롬프팅 | 약 10~100초 |
| 매개변수 효율적인 조정1 | 약 100~10,000초 |
| 미세 조정 | 약 1,000~10,000초 (또는 그 이상) |
문제 난이도
문제의 난이도는 예측하기 어려울 수 있습니다. 처음에는 그럴듯해 보이는 접근 방식이 실제로는 공개 연구 질문으로 나타날 수 있지만, 실용적이고 실행 가능해 보이는 접근 방식이 비현실적이거나 실현 불가능한 결과일 수도 있습니다. 다음 질문에 답하면 문제의 난이도를 측정하는 데 도움이 될 수 있습니다.
비슷한 문제가 이미 해결되었나요? 예를 들어 조직의 팀이 모델을 빌드하는 데 유사하거나 동일한 데이터를 사용했나요? 조직 외부의 사람이나 팀이 Kaggle 또는 TensorFlow Hub와 같은 유사한 문제를 해결했나요? 그렇다면 모델의 일부를 사용하여 자신의 모델을 빌드할 수 있습니다.
문제의 성격이 어려운가요? 작업에 관한 인간 벤치마크를 알면 문제의 난이도를 알 수 있습니다. 예를 들면 다음과 같습니다.
- 인간은 이미지에서 동물의 유형을 약 95% 의 정확도로 분류할 수 있습니다.
- 인간은 손으로 쓴 숫자를 약 99% 의 정확도로 분류할 수 있습니다.
위의 데이터는 동물을 분류하는 모델을 만드는 것이 손으로 쓴 숫자를 분류하는 모델을 만드는 것보다 더 어렵다는 것을 보여줍니다.
잠재적으로 악의적인 행위자가 있나요? 사람들이 적극적으로 모델을 악용하려고 시도할까요? 이 경우 모델이 오용되기 전에 모델을 업데이트하기 위한 끊임없는 경합에 빠지게 됩니다. 예를 들어 누군가가 모델을 악용하여 합법적으로 보이는 이메일을 작성하는 경우 스팸 필터가 새로운 유형의 스팸을 포착하지 못합니다.
생성형 AI
생성형 AI 모델에는 문제의 난이도를 높일 수 있는 잠재적 취약점이 있습니다
- 입력 소스. 어디에서 입력되나요? 적대적 프롬프트가 학습 데이터, 프리앰블 자료, 데이터베이스 콘텐츠 또는 도구 정보를 유출할 수 있나요?
- 출력 사용. 출력은 어떻게 사용되나요? 모델이 원시 콘텐츠를 출력하나요? 아니면 적합성을 테스트하고 확인하는 중간 단계가 있나요? 예를 들어 플러그인에 원시 출력을 제공하면 여러 가지 보안 문제가 발생할 수 있습니다.
- 미세 조정. 손상된 데이터 세트로 미세 조정하면 모델의 가중치에 부정적인 영향을 미칠 수 있습니다. 이러한 손상으로 인해 모델이 부정확하거나, 악의적이거나, 편향된 콘텐츠를 출력할 수 있습니다. 앞서 언급했듯이 미세 조정에는 고품질 예시를 포함하는 것으로 확인된 데이터 세트가 필요합니다.
예측 품질
모델의 예측이 사용자에게 미치는 영향을 신중하게 고려하고 모델에 필요한 예측 품질을 결정해야 합니다.
필요한 예측 품질은 예측 유형에 따라 다릅니다. 예를 들어 추천 시스템에 필요한 예측 품질은 정책 위반을 신고하는 모델의 예측 품질과 동일하지 않습니다. 잘못된 동영상을 추천하면 사용자 환경이 저하될 수 있습니다. 그러나 플랫폼의 정책을 위반하면 지원 비용이 발생할 수 있으며 최악의 경우 법적 수수료가 발생할 수 있으므로 동영상을 잘못 신고할 수 있습니다.
잘못된 예측은 비용이 매우 많이 들기 때문에 모델의 예측 품질이 매우 높아야 할까요? 일반적으로 필요한 예측 품질이 높을수록 문제가 어렵습니다. 안타깝게도 품질을 개선하려고 하면 프로젝트의 수익이 감소하는 경우가 많습니다. 예를 들어 모델의 정밀도를 99.9% 에서 99.99% 로 높이면 프로젝트 비용이 10배 증가할 수 있습니다.
그림 2. 일반적으로 ML 프로젝트에는 필요한 예측 품질이 증가함에 따라 더 많은 리소스가 필요합니다.
생성형 AI
생성형 AI 출력을 분석할 때는 다음 사항을 고려하세요.
-
사실 정확성. 생성형 AI 모델은 유창하고 일관성 있는 콘텐츠를 생성할 수 있지만 이것이 사실이라는 것이 보장되지는 않습니다. 생성형 AI 모델의 거짓 진술을 혼동이라고 합니다.
예를 들어 생성형 AI 모델은 잘못된 텍스트 요약, 수학 문제의 오답 또는 세상에 대한 거짓 진술을 혼동하고 생성할 수 있습니다. 많은 사용 사례에서는 LLM 생성 코드와 같은 프로덕션 환경에서 사용하기 전에 생성형 AI 출력을 사람이 검증해야 합니다.
기존 ML과 마찬가지로 사실의 정확성에 대한 요구사항이 높을수록 개발 및 유지 비용이 높아집니다.
- 출력 품질. 편향되거나 표절, 유해한 콘텐츠와 같은 잘못된 출력은 법적, 재정적 결과(또는 윤리적 영향)로 어떤 영향을 미치나요?
기술 요구사항
모델에는 실행 가능성에 영향을 미치는 여러 가지 기술 요구사항이 있습니다. 다음은 프로젝트의 실행 가능성을 확인하기 위해 해결해야 하는 주요 기술 요구사항입니다.
- 지연 시간. 지연 시간 요구사항은 무엇인가요? 예측을 얼마나 빨리 제공해야 할까요?
- 초당 쿼리 수 (QPS). QPS 요구사항은 무엇인가요?
- RAM 사용량. 학습 및 서빙을 위한 RAM 요구사항은 무엇인가요?
- 플랫폼. 모델은 온라인 (RPC 서버로 전송된 쿼리), WebML (웹브라우저 내), ODML (스마트폰 또는 태블릿) 또는 오프라인(예측이 테이블에 저장됨) 중 어디에서 실행되나요?
해석 가능성. 예측은 해석 가능해야 하나요? 예를 들어 제품은 '특정 콘텐츠가 스팸으로 표시된 이유는 무엇인가요?' 또는 '동영상이 플랫폼의 정책을 위반한 것으로 확인된 이유는 무엇인가요?'와 같은 질문에 답해야 하나요?
재학습 빈도. 모델의 기본 데이터가 급격하게 변경되면 자주 또는 지속적인 재학습이 필요할 수 있습니다. 하지만 빈번한 재학습으로 인해 모델의 예측을 업데이트할 때의 이점보다 많은 비용이 발생할 수 있습니다.
대부분의 경우 기술 사양을 준수하기 위해 모델의 품질을 포기해야 할 수 있습니다. 이 경우 프로덕션 단계로 이동하기에 충분한 모델을 계속 생성할 수 있는지 확인해야 합니다.
생성형 AI
생성형 AI로 작업할 때는 다음 기술 요구사항을 고려하세요.
- 플랫폼. 다양한 크기로 제공되는 선행 학습된 모델이 많으므로 다양한 컴퓨팅 리소스를 사용하여 여러 플랫폼에서 작동할 수 있습니다. 예를 들어 선행 학습된 모델의 범위는 데이터 센터 확장에서부터 휴대전화에 맞게 조정되는 것까지 다양합니다. 모델 크기를 선택할 때는 제품 또는 서비스의 지연 시간, 개인 정보 보호, 품질 제약조건을 고려해야 합니다. 이러한 제약 조건은 충돌할 수 있습니다. 예를 들어 개인 정보 보호 제약조건으로 인해 추론이 사용자 기기에서 실행되어야 할 수 있습니다. 하지만 기기에 좋은 결과를 생성하는 연산 리소스가 부족하므로 출력 품질이 낮을 수 있습니다.
- 지연 시간. 모델 입력 및 출력 크기가 지연 시간에 영향을 미칩니다. 특히 출력 크기는 입력 크기보다 지연 시간에 더 많은 영향을 미칩니다. 모델은 입력을 병렬화할 수 있지만 출력을 순차적으로만 생성할 수 있습니다. 즉, 500단어 또는 10단어 입력을 수집하는 데는 지연 시간이 같을 수 있지만 500단어 요약을 생성하는 것은 10단어 요약을 생성하는 것보다 훨씬 더 오래 걸립니다.
- 도구 및 API 사용. 작업을 완료하기 위해 모델이 인터넷 검색, 계산기 사용 또는 이메일 클라이언트에 액세스하는 등의 도구와 API를 사용해야 하나요? 일반적으로 작업을 완료하는 데 필요한 도구가 많을수록 실수가 전파되고 모델의 취약점이 증가할 가능성이 커집니다.
비용
ML 구현에 비용을 투자할 가치가 있나요? ML 솔루션이 창출하거나 절감하는 비용보다 구현 및 유지보수 비용이 많이 드는 경우 대부분의 ML 프로젝트는 승인되지 않습니다. ML 프로젝트에는 인적 비용과 머신 비용이 모두 발생합니다.
인적 비용. 프로젝트가 개념 증명부터 프로덕션 단계로 넘어가려면 얼마나 많은 인원이 필요할까요? ML 프로젝트가 발전함에 따라 일반적으로 비용도 증가합니다 예를 들어 ML 프로젝트는 프로토타입을 만드는 것보다 프로덕션에 즉시 사용 가능한 시스템을 배포하고 유지관리하는 데 더 많은 사람이 필요합니다. 각 단계에서 프로젝트에 필요한 역할의 수와 종류를 예측해 보세요.
머신 비용. 모델을 학습시키고, 배포하고, 유지관리하려면 많은 컴퓨팅과 메모리가 필요합니다 예를 들어 모델 학습 및 예측 제공을 위한 TPU 할당량과 데이터 파이프라인에 필요한 인프라가 필요할 수 있습니다. 라벨이 지정된 데이터를 가져오거나 데이터 라이선스 요금을 지불해야 할 수 있습니다. 모델을 학습시키기 전에 장기적으로 ML 특성을 빌드하고 유지관리하는 데 드는 머신 비용을 추정하는 것이 좋습니다.
추론 비용. 모델은 창출된 수익보다 더 많은 비용이 드는 수백 또는 수천 개의 추론을 해야 하나요?
주의사항
앞서 언급한 주제와 관련된 문제가 발생하면 ML 솔루션을 구현하기가 어려울 수 있지만 마감일이 촉박하면 문제가 커질 수 있습니다. 문제에 대해 인식된 난이도에 따라 충분한 시간을 계획하고 예산을 책정한 다음, 비 ML 프로젝트보다 훨씬 더 많은 오버헤드 시간을 예약해 보세요.