예측형 질문을 사용하여 문제가 가장 잘 해결되는지 확인한 후 ML 또는 생성형 AI 접근 방식을 사용하면 문제를 ML의 관점에서 프레이밍할 준비가 된 것입니다. 다음 작업을 완료하여 문제를 ML 용어로 프레이밍합니다.
- 이상적인 결과와 모델의 목표를 정의합니다.
- 모델의 출력을 식별합니다.
- 성공 측정항목을 정의합니다.
이상적인 결과와 모델의 목표 정의
ML 모델과 관계없이 이상적인 결과는 무엇인가요? 다시 말해 제품이나 기능이 수행하기를 원하는 작업을 정확히 어떻게 수행합니까? 이것도 목표 설정에서 이전에 정의한 문 섹션으로 이동합니다.
수행할 작업을 명시적으로 정의하여 모델의 목표와 이상적인 결과를 연결합니다. 지정할 수도 있습니다 다음 표에는 이상적인 결과와 가상의 앱에 대한 모델의 목표:
| 앱 | 이상적인 결과 | 모델의 목표 |
|---|---|---|
| 날씨 앱 | 한 지역의 강수량을 6시간 단위로 계산합니다. | 특정 지리적 지역의 강수량(6시간)을 예측합니다. |
| 패션 앱 | 다양한 셔츠 디자인을 생성합니다. | 텍스트와 이미지를 사용하여 세 가지 종류의 셔츠 디자인을 생성합니다. 여기서 텍스트는 스타일과 색상을 명시하고 이미지는 셔츠 (티셔츠, 버튼업, 폴로) |
| 동영상 앱 | 유용한 동영상을 추천합니다. | 사용자가 동영상을 클릭할지 예측합니다. |
| 메일 앱 | 스팸을 감지합니다. | 이메일이 스팸인지 여부를 예측합니다. |
| 금융 앱 | 여러 뉴스 매체의 금융 정보를 요약합니다. | 주요 금융 트렌드에 대한 50단어의 요약본을 이전 7일 |
| 지도 앱 | 이동 시간 계산 | 두 지점 사이를 이동하는 데 걸리는 시간을 예측합니다. |
| 뱅킹 앱 | 허위 거래 식별 | 카드 소지자가 거래를 진행했는지 예측합니다. |
| 식당 앱 | 레스토랑의 메뉴로 요리를 식별합니다. | 식당 유형을 예측합니다. |
| 전자상거래 앱 | 회사 제품에 대한 고객 지원 답변을 생성합니다. | 감정 분석 및 조직의 기술 자료입니다. |
필요한 출력 식별
모델 유형 선택은 특정 컨텍스트와 모델의 제약 조건에 따라 해결할 수 있습니다. 모델의 출력은 얻을 수 있습니다. 따라서 가장 먼저 답변해야 할 질문은 '문제를 해결하려면 어떤 유형의 출력이 필요한가요?'
무언가를 분류하거나 숫자 예측을 해야 하는 경우 아마도 예측 ML을 사용합니다 새 콘텐츠를 생성하거나 출력을 생성해야 하는 경우 자연어 이해와 관련되어 있다면 생성형 AI를 사용하게 될 것입니다.
다음 표에는 예측 ML 및 생성형 AI 출력이 나와 있습니다.
| ML 시스템 | 출력 예 | |
|---|---|---|
| 분류 | 바이너리 | 이메일을 스팸 또는 스팸 아님으로 분류 |
| 멀티클래스 단일 라벨 | 이미지로 동물을 분류합니다. | |
| 멀티클래스 멀티 라벨 | 이미지로 모든 동물을 분류합니다. | |
| 숫자 | 일차원 회귀 | 동영상 조회수를 예측합니다. |
| 다차원 회귀 | 혈압, 심박수, 콜레스테롤 수치 예측 개인입니다. |
| 모델 유형 | 출력 예 |
|---|---|
| 텍스트 |
기사를 요약하세요. 고객 리뷰에 답글 달기 문서를 영어에서 중국어로 번역합니다. 제품 설명을 작성합니다. 법률 문서를 분석합니다.
|
| 이미지 |
마케팅 이미지를 생성합니다. 사진에 시각 효과를 적용합니다. 다양한 제품 디자인 생성
|
| 오디오 |
특정 억양으로 대화를 생성합니다.
예를 들어 특정 장르의 짧은 음악작품을 만듭니다.
재즈
|
| 동영상 |
실감 나는 동영상을 생성하세요.
동영상을 분석하고 시각 효과를 적용합니다.
|
| 멀티모달 | 텍스트 자막이 있는 동영상 등 여러 유형의 출력을 생성합니다. |
분류
분류 모델은 입력 데이터가 속하는 카테고리(예: 입력 데이터가 A, B 또는 C로 분류되어야 합니다.
그림 1. 예측을 수행하는 분류 모델
모델의 예측에 따라 앱에서 결정을 내릴 수 있습니다. 예를 들어 예측이 카테고리 A인 경우 X를 수행합니다. 예측이 카테고리 B인 경우 do, Y; 예측이 카테고리 C이면 Z를 실행합니다. 경우에 따라 예측이 앱의 출력입니다.
그림 2. 제품 코드에 사용되는 분류 모델의 출력은 결정을 내릴 수 있습니다.
회귀
회귀 모델은 숫자 값입니다.
그림 3. 숫자 예측을 하는 회귀 모델
모델의 예측에 따라 앱에서 결정을 내릴 수 있습니다. 예를 들어 예측이 범위 A 내에 속하는 경우 X를 실행합니다. 예측이 범위 내에 있는 경우 B, Y; 예측이 범위 C 내에 있으면 Z를 수행합니다. 경우에 따라 앱의 출력입니다.
그림 4. 제품 코드에 사용되는 회귀 모델의 출력은 결정이 내려질 수 있습니다
다음 상황을 살펴보세요.
캐시 예상 인기도를 기준으로 동영상을 선정할 수 있습니다 다시 말해, 모델이 예측한 동영상이 인기를 얻게 될 것으로 예상되면 사용자에게 신속하게 서비스를 제공하기를 원합니다. 받는사람 그렇게 하면 더 효과적이고 비용이 많이 드는 캐시를 사용하게 됩니다. 다른 동영상에서는 다른 캐시를 사용하게 됩니다. 캐싱 기준은 다음과 같습니다.
- 동영상의 조회수가 50회 이상 발생할 것으로 예상되면 있습니다.
- 동영상의 조회수가 30~50회일 것으로 예상되면 있습니다.
- 동영상의 조회수가 30회 미만일 것으로 예상되면 있습니다.
회귀 모델이 올바른 접근 방식이라고 생각합니다. 왜냐하면 숫자 값 - 조회수 그러나 회귀를 학습시킬 때 이 모델이 앞서 살펴본 것과 동일한 손실 - 예측 28 및 32 조회수가 30회인 동영상의 경우 다시 말해서, 앱이 비록 예측이 28과 32일 때 서로 다른 행동을 보이면 모델은 예측이 똑같이 양호합니다.
그림 5. 회귀 모델 학습
회귀 모델은 제품 정의 임곗값을 인식하지 못합니다. 따라서 앱의 동작이 변경되기 때문에 회귀 모델의 예측이 필요한 경우 분류 모델을 사용해야 합니다.
이 시나리오에서 분류 모델은 올바른 동작을 생성하고 분류 모델은 예측에 더 높은 손실을 생성하기 때문에 28과 32입니다. 어떤 의미에서 분류 모델은 기본적으로 임곗값을 생성합니다.
이 시나리오에서는 두 가지 중요한 점을 강조합니다.
결정 예측. 가능한 경우 앱이 어떤 결정을 내릴지 예측하기 있습니다. 이 동영상 예에서 분류 모델은 동영상을 분류한 범주가 '캐시 없음'인지, "저렴함 캐시' 'expensive 캐시'를 사용할 수 있습니다. 모델에서 앱의 동작을 숨기면 앱이 잘못된 동작을 생성할 수 있습니다.
문제의 제약 조건을 이해합니다. 앱이 이러한 임계값에 기반한 조치를 취할 수 있도록 있습니다.
- 동적 임곗값: 임곗값이 동적이면 회귀 모델 사용 앱 코드에서 기준점 한도를 설정합니다. 이렇게 하면 모델이 합리적인 선택을 하도록 하는 동시에 임곗값을 학습합니다.
- 고정 임곗값: 임곗값이 고정된 경우 분류 모델을 사용합니다. 기준점 한도에 따라 데이터 세트에 라벨을 지정합니다.
일반적으로 대부분의 캐시 프로비저닝은 동적이며 기준점이 변경됩니다. 확인할 수 있습니다 특히 캐싱 문제이기 때문에 가장 좋은 선택입니다 그러나 많은 문제의 경우 임곗값이 수정되어 분류 모델이 최상의 솔루션이 될 것입니다.
다른 예를 살펴보겠습니다. 날씨 앱을 빌드하려는 경우
이상적인 결과는 향후 6시간 동안 비가 얼마나 내릴지 사용자에게 알리는 것입니다.
precipitation_amount. 라벨을 예측하는 회귀 모델을 사용할 수 있습니다
| 이상적인 결과 | 이상적인 라벨 |
|---|---|
| 다음 지역에서 사용자에게 비가 얼마나 내릴지 알려주세요. 다음 6시간 동안요. | precipitation_amount
|
날씨 앱 예시에서는 라벨이 이상적인 결과를 직접 제시합니다.
그러나 경우에 따라
이상적인 결과와 라벨을 지정합니다 예를 들어 동영상 앱에서 이상적인 결과는
유용한 동영상을 추천합니다. 하지만 데이터 세트에는
useful_to_user.
| 이상적인 결과 | 이상적인 라벨 |
|---|---|
| 유용한 동영상을 추천합니다. | ? |
따라서 프록시 라벨을 찾아야 합니다.
프록시 라벨
프록시 라벨은
라벨을 지정합니다 프록시 라벨은
직접 측정할 수 있습니다 동영상 앱에서는
사용자가 동영상이 유용하다고 생각하는지 여부를 측정합니다. 만약
데이터 세트에 useful 특성이 있으며 사용자가 발견한 모든 동영상을 표시했습니다.
데이터 세트가 하지 않기 때문에
유용성을 대체할 수 있습니다.
유용성을 나타내는 프록시 라벨은 사용자가 공유하거나 좋아할지에 대한 여부일 수 있습니다. 있습니다.
| 이상적인 결과 | 프록시 라벨 |
|---|---|
| 유용한 동영상을 추천합니다. | shared OR liked |
프록시 라벨은 사용자가 원하는 것을 직접 측정하지 않으므로 주의해야 합니다. 예측하기 위한 것입니다 예를 들어 다음 표에는 잠재적 문제가 요약되어 있습니다. 유용한 동영상 추천의 프록시 라벨:
| 프록시 라벨 | 문제 |
|---|---|
| 사용자가 '좋아요'를 클릭할지 예측 버튼을 클릭합니다. | 대부분의 사용자는 '좋아요'를 클릭하지 않습니다. |
| 동영상이 인기를 얻게 될지 예측합니다. | 맞춤설정되지 않음. 일부 사용자는 인기 동영상을 좋아하지 않을 수 있습니다. |
| 사용자가 동영상을 공유할지 예측합니다. | 동영상을 공유하지 않는 사용자도 있습니다. 동영상을 공유하는 이유는 싫어할 수도 있습니다. |
| 사용자가 재생을 클릭할지 예측합니다. | 클릭베이트를 최대화합니다. |
| 동영상을 시청하는 시간을 예측합니다. | 짧은 동영상보다 긴 동영상을 차등적으로 선호합니다. |
| 사용자가 동영상을 다시 시청하는 횟수를 예측합니다. | '재시청 가능성' 우선 재시청이 불가능한 장르 대신 |
어떠한 프록시 라벨도 이상적인 결과를 완벽하게 대체하지는 못합니다. 모두 잠재적인 문제가 있는지 확인하세요 가장 문제가 적은 것을 선택하세요 살펴보겠습니다
이해도 확인
생성
대부분의 경우 자체 생성 모델을 학습시키지 않습니다. 자체 생성 모델을 학습시키면 방대한 양의 학습 데이터와 컴퓨팅 리소스가 필요합니다. 대신 선행 학습된 생성 모델을 맞춤설정합니다. 생성 모델을 사용하여 다음 중 하나 이상을 사용해야 할 수 있습니다. 기술:
정류. 생성 시 라벨이 지정된 합성 데이터 세트를 생성하는 작은 모델을 학습시키는 데 사용하는 큰 모델에서 시작하는 것이 좋습니다. 생성형 모델은 일반적으로 거대하며 메모리 또는 메모리와 같은 있습니다. 정제를 통해 더 작고 리소스 집약적인 모델을 사용하여 더 큰 모델의 성능을 추정할 수 있습니다.
미세 조정 또는 매개변수 효율적인 조정입니다. 특정 작업에서 모델의 성능을 개선하려면 사용자가 생성한 출력 유형의 예시가 포함된 데이터 세트로 모델을 만들 수 있습니다.
프롬프트 엔지니어링. 받는사람 모델이 특정 작업을 수행하도록 하거나 특정 형식으로 출력을 생성할 때 모델에 원하는 작업을 출력 형식을 지정할 방법을 설명할 수 있습니다. 즉, 프롬프트에는 작업 수행 방법에 대한 자연어 안내가 포함될 수 있습니다 예시 또는 예시 예시가 있어야 합니다.
예를 들어 기사에 대한 짧은 요약을 원할 경우 있습니다.
Produce 100-word summaries for each article.모델이 특정 읽기 수준에 맞는 텍스트를 생성하도록 하려면 다음과 같이 입력할 수 있습니다.
All the output should be at a reading level for a 12-year-old.모델이 출력을 특정 형식으로 제공하도록 하려면 출력 형식을 지정하는 방법을 설명합니다(예: ' 결과를 표로 가져오는 것"을 하거나 방법을 배워보겠습니다 예를 들어 다음과 같이 입력할 수 있습니다.
Translate words from English to Spanish. English: Car Spanish: Auto English: Airplane Spanish: Avión English: Home Spanish:______
정제 및 미세 조정은 모델의 매개변수입니다. 프롬프트 엔지니어링 모델의 매개변수를 업데이트하지 않습니다. 대신 프롬프트 엔지니어링은 모델이 프롬프트의 맥락에서 원하는 출력을 생성하는 방법을 학습합니다.
경우에 따라 테스트 데이터 세트로 생성된 모델의 출력을 알려진 값과 비교하여 모델의 요약이 사람이 생성한 요약과 비슷하거나 모델의 요약이 양호할 수 있습니다
생성형 AI는 예측 ML 구현에도 사용할 수 있음 데이터 애널리스트가 사용할 수 있습니다. 예를 들어 자연어에 대한 깊은 지식으로 인해 대규모 언어 모델 (LLM) 예측 ML보다 텍스트 분류 작업을 더 잘 수행할 수 있는 경우가 많습니다. 학습합니다.
성공 측정항목 정의
ML 구현 여부를 결정하는 데 사용할 측정항목 정의 확인합니다 성공 측정항목은 참여도, 사용자가 자신에게 적합한 동영상을 보는 등 유용하죠. 성공 측정항목은 정확성, 정확도, 재현율 또는 AUC.
예를 들어 날씨 앱의 성공 및 실패 측정항목은 다음과 같이 정의될 수 있습니다. 다음과 같습니다.
| 성공 | 사용자는 Chrome에서 '비가 올까?' 게재 빈도 50% 증가 이전보다 훨씬 낫습니다. |
|---|---|
| 실패 | 사용자는 Chrome에서 '비가 올까?' 기능을 있습니다. |
동영상 앱 측정항목은 다음과 같이 정의할 수 있습니다.
| 성공 | 사용자가 사이트에서 보내는 시간은 평균 20% 더 많습니다. |
|---|---|
| 실패 | 평균적으로 사용자가 사이트에 머무는 시간도 이전보다 짧아졌습니다. |
야심 찬 성공 측정항목을 정의하는 것이 좋습니다. 높은 포부는 격차를 야기할 수 있습니다 큰 영향을 줄 수 있습니다 예를 들어 사용자가 평균 사이트에 머문 시간이 전보다 10% 더 많아졌을 때 성공도, 실패도 아닙니다. 불확실한 격차가 중요한 것은 아닙니다.
중요한 것은 해당 모델이 더 가깝게 접근하거나 성공의 정의입니다. 예를 들어 모델의 다음 질문을 고려해 보세요. 모델을 개선하면 정의된 성공 기준에 더 가까워질 수 있는지 궁금할 수 있습니다 예를 들어 모델은 예측 가능한 이는 성공 기준에 더 가까워지는 데 도움이 되지 않습니다. 완벽한 모델이라 하더라도 성공 기준을 충족하지 못할 것입니다. 정의할 수 있습니다 반면 모델은 평가 측정항목이 낮을 수 있지만 성공 기준에 더 가까워졌다는 것은 모델을 개선하면 더 큰 성과를 거둘 수 있다는 성공에 한 걸음 더 다가갈 수 있습니다.
다음은 모델의 가치를 판단할 때 고려해야 하는 측정기준입니다. 개선:
충분하지 않지만 계속 진행합니다. 이러한 모델은 예측 불가능한 시간이 지남에 따라 크게 개선될 수 있습니다.
확인하고 계속 진행합니다. 모델을 프로덕션 환경에서 향후 더 개선될 수 있습니다
충분히 만족스럽지만 더 나아질 수 없습니다. 모델이 프로덕션 단계에 있음 가능한 한 좋은 상태라고 할 수 있습니다.
충분히 만족스럽지 못하며 앞으로도 없을 것입니다. 이러한 모델은 예측 불가능한 교육을 많이 하지 않으면 아마도 거기에 도달할 수 없을 것입니다.
모델 개선을 결정할 때 리소스 증가, 엔지니어링 시간 및 컴퓨팅 비용과 같은 데이터 세트로 인해 있습니다.
성공 및 실패 측정항목을 정의한 후에는 측정할 수 있습니다 예를 들어 6개의 성공 측정항목을 측정하고 일, 6주 또는 6개월 후의 비용이 청구됩니다.
장애 측정항목을 분석할 때는 시스템 실패 이유를 확인해야 합니다. 대상 예를 들어 모델이 사용자가 클릭할 동영상을 예측할 수 있지만 사용자 참여를 유도하는 클릭베이트 제목을 추천하여 하차 위치 날씨 앱 예에서 모델은 비가 내리지만 너무 넓은 지리적 지역에 걸쳐 있습니다.
이해도 확인
의류를 더 많이 판매하려는 패션 회사가 있습니다. 누군가는 ML을 사용하여 회사가 어떤 의류를 제조해야 할지를 결정합니다. 그들은 스스로 모델을 학습시켜 어떤 종류의 옷이 유행하는지 확인합니다. 후(After) 카탈로그에 적용하여 어떤 옷을 만들지요.
문제를 ML 관점에서 어떻게 표현해야 할까요?
이상적인 결과: 제조할 제품을 결정합니다.
모델의 목표: 어떤 의류 상품이 들어가 있는지 예측 있습니다.
모델 출력: 이진 분류, in_fashion,
not_in_fashion
성공 측정항목: 의류를 70% 이상 판매 있습니다.
이상적인 결과: 원단 및 물품의 주문량을 결정합니다.
모델의 목표: 각 상품의 제조량을 예측합니다.
모델 출력: 이진 분류, make,
do_not_make
성공 측정항목: 의류를 70% 이상 판매 있습니다.