이 페이지에는 생성형 AI 용어집이 포함되어 있습니다. 모든 용어집 용어를 보려면 여기를 클릭하세요.
A
자동 회귀 모델
자체적인 이전 예측을 기반으로 예측을 추론하는 model입니다. 예를 들어 자동 회귀 언어 모델은 이전에 예측한 토큰을 기반으로 다음 토큰을 예측합니다. 모든 Transformer 기반 대규모 언어 모델은 자동 회귀 기능입니다.
반대로 GAN 기반 이미지 모델은 단계를 반복하지 않고 단일 정방향 전달로 생성하기 때문에 일반적으로 자동 회귀가 아닙니다. 그러나 특정 이미지 생성 모델은 이미지를 단계별로 생성하므로 자동 회귀가 가능합니다.
C
사고 사슬 프롬프팅
대규모 언어 모델 (LLM)이 이유를 단계별로 설명하도록 권장하는 프롬프트 엔지니어링 기법입니다. 예를 들어 다음 프롬프트를 살펴보겠습니다. 특히 두 번째 문장에 주의해야 합니다.
시속 0~60마일을 7초 내에 운행하는 자동차에서 운전자는 몇 g의 힘을 느껴야 할까요? 답변에 관련된 모든 계산을 표시합니다.
LLM의 응답은 다음과 같을 수 있습니다.
- 0, 60, 7 값을 적절한 위치에 연결하여 물리학 공식 시퀀스를 표시합니다.
- 이러한 공식을 선택한 이유와 다양한 변수의 의미를 설명하십시오.
사고 연쇄 프롬프트는 LLM이 모든 계산을 수행해야 하므로 더 정답이 될 수 있습니다. 또한 사용자는 사고 연쇄 프롬프트를 통해 LLM의 단계를 조사하여 답변이 적절한지 판단할 수 있습니다.
케이스가
직접적인 프롬프트
제로샷 프롬프팅의 동의어입니다.
증류
한 model (model라고 함)의 크기를 더 작은 모델 (model이라고 함)으로 축소하여 원래 모델의 예측을 최대한 충실하게 에뮬레이션하는 프로세스입니다. 작은 모델은 큰 모델 (교사)에 비해 두 가지 주요 이점이 있으므로 정제가 유용합니다.
- 추론 시간 단축
- 메모리 및 에너지 사용량 감소
그러나 학생의 예측은 일반적으로 교사의 예측만큼 좋지 않습니다.
정제는 학생 및 교사 모델의 예측 결과 간 차이를 기반으로 손실 함수를 최소화하도록 학생 모델을 학습시킵니다.
정제를 다음 용어와 비교 및 대조합니다.
F
퓨샷 프롬프팅
대규모 언어 모델이 응답하는 방법을 보여주는 두 개 이상('몇 가지') 예시가 포함된 프롬프트 예를 들어 다음과 같은 긴 프롬프트에는 대규모 언어 모델이 쿼리에 답하는 방식을 보여주는 예시 두 개가 포함되어 있습니다.
| 프롬프트 1개의 요소 | Notes |
|---|---|
| 지정된 국가의 공식 통화는 무엇인가요? | LLM이 답변해야 하는 질문입니다. |
| 프랑스: EUR | 한 가지 예. |
| 영국: GBP | 또 다른 예가 있습니다. |
| 인도: | 실제 쿼리입니다. |
퓨샷 프롬프팅은 일반적으로 제로샷 프롬프팅 및 원샷 프롬프팅보다 더 바람직한 결과를 생성합니다. 그러나 퓨샷 프롬프팅에는 더 긴 프롬프트가 필요합니다.
퓨샷 프롬프트는 프롬프트 기반 학습에 적용되는 퓨샷 학습의 한 형태입니다.
미세 조정
선행 학습된 모델에서 특정 사용 사례에 맞게 매개변수를 미세 조정하기 위해 수행되는 두 번째 작업별 학습 과정입니다. 예를 들어 일부 대규모 언어 모델의 전체 학습 시퀀스는 다음과 같습니다.
- 사전 학습: 모든 영어 Wikipedia 페이지와 같은 방대한 일반 데이터 세트를 대상으로 대규모 언어 모델을 학습시킵니다.
- 미세 조정: 의료 쿼리에 응답과 같은 특정 작업을 수행하도록 선행 학습된 모델을 학습시킵니다. 미세 조정에는 일반적으로 특정 작업에 중점을 둔 수백 또는 수천 개의 예가 포함됩니다.
또 다른 예로, 대형 이미지 모델의 전체 학습 시퀀스는 다음과 같습니다.
- 사전 학습: Wikimedia Commons의 모든 이미지와 같은 방대한 일반 이미지 데이터 세트로 대규모 이미지 모델을 학습시킵니다.
- 미세 조정: 범고래 이미지 생성과 같은 특정 작업을 수행하도록 선행 학습된 모델을 학습시킵니다.
미세 조정에는 다음과 같은 전략을 원하는 대로 조합하여 사용할 수 있습니다.
- 선행 학습된 모델의 모든 기존 매개변수 수정 이를 전체 미세 조정이라고도 합니다.
- 선행 학습된 모델의 기존 매개변수 중 일부만 수정하고(일반적으로 출력 레이어에 가장 가까운 레이어) 다른 기존 매개변수는 변경하지 않고 (일반적으로 입력 레이어에 가장 가까운 레이어) 유지합니다. 매개변수 효율적인 조정을 참조하세요.
- 일반적으로 출력 레이어에 가장 가까운 기존 레이어 위에 레이어를 추가합니다.
미세 조정은 전이 학습의 한 형태입니다. 따라서 미세 조정에서는 선행 학습된 모델을 학습시키는 데 사용된 것과 다른 손실 함수 또는 다른 모델 유형을 사용할 수 있습니다. 예를 들어 선행 학습된 대형 이미지 모델을 미세 조정하여 입력 이미지에서 새 수를 반환하는 회귀 모델을 만들 수 있습니다.
미세 조정과 다음 용어를 비교 및 대조해 보세요.
G
생성형 AI
공식적인 정의가 없는 새롭게 떠오르는 혁신적인 분야 그렇지만 대부분의 전문가는 생성형 AI 모델이 다음 모든 요소를 갖춘 콘텐츠를 생성 ('생성')할 수 있다는 데 동의합니다.
- 복잡한
- 일관된
- 원본
예를 들어 생성형 AI 모델은 정교한 에세이나 이미지를 만들 수 있습니다.
LSTM 및 RNN을 비롯한 일부 초기 기술도 독창적이고 일관된 콘텐츠를 생성할 수 있습니다. 일부 전문가는 이러한 초기 기술을 생성형 AI로 여기고, 다른 전문가들은 진정한 생성형 AI가 이전 기술이 생산할 수 있는 것보다 더 복잡한 출력이 필요하다고 생각합니다.
예측 ML과 대비되는 개념입니다.
I
컨텍스트 내 학습
퓨샷 프롬프팅의 동의어입니다.
명령 조정
생성형 AI 모델의 안내 준수 기능을 향상시키는 미세 조정의 한 형태입니다. 명령 조정에는 일반적으로 다양한 태스크를 다루는 일련의 명령 프롬프트에 대한 모델 학습이 포함됩니다. 그러면 결과로 얻은 명령 조정 모델은 다양한 태스크에서 제로샷 프롬프트에 유용한 응답을 생성하는 경향이 있습니다.
비교 및 대비:
O
원샷 프롬프팅
프롬프트: 대규모 언어 모델의 응답 방식을 보여주는 예시 하나가 포함되어 있습니다. 예를 들어 다음 프롬프트에는 대규모 언어 모델이 쿼리에 어떻게 응답해야 하는지를 보여주는 예시가 포함되어 있습니다.
| 프롬프트 1개의 요소 | Notes |
|---|---|
| 지정된 국가의 공식 통화는 무엇인가요? | LLM이 답변해야 하는 질문입니다. |
| 프랑스: EUR | 한 가지 예. |
| 인도: | 실제 쿼리입니다. |
원샷 프롬프트를 다음 용어와 비교 및 대조해 보세요.
P
매개변수 효율적인 조정
전체 미세 조정보다 더 효율적으로 대규모 선행 학습된 언어 모델 (PLM)을 미세 조정하는 일련의 기법입니다. 매개변수 효율적인 조정은 일반적으로 전체 미세 조정보다 훨씬 적은 매개변수를 미세 조정하지만, 일반적으로 전체 미세 조정에서 빌드된 대규모 언어 모델만큼 (또는 거의 비슷한) 대규모 언어 모델을 생성합니다.
매개변수 효율적인 조정과 다음을 비교 및 대조하세요.
매개변수 효율적인 조정은 매개변수 효율적 미세 조정이라고도 합니다.
PLM(PLM)
선행 학습된 언어 모델의 약어입니다.
선행 학습된 모델
이미 학습된 모델 또는 모델 구성요소 (예: 임베딩 벡터)입니다. 선행 학습된 임베딩 벡터를 신경망에 피드하는 경우도 있습니다. 모델이 선행 학습된 임베딩에 의존하지 않고 임베딩 벡터를 직접 학습시키는 경우도 있습니다.
선행 학습된 언어 모델이라는 용어는 사전 학습을 거친 대규모 언어 모델을 의미합니다.
사전 학습
대규모 데이터 세트에서의 모델 초기 학습입니다. 일부 선행 학습된 모델은 엉뚱한 거대 모델이므로 일반적으로 추가 학습을 통해 세분화해야 합니다. 예를 들어 ML 전문가는 Wikipedia의 모든 영어 페이지와 같은 방대한 텍스트 데이터 세트에서 대규모 언어 모델을 사전 학습시킬 수 있습니다. 사전 학습 후에 결과 모델을 다음 기법을 통해 더욱 세분화할 수 있습니다.
프롬프트
모델이 특정 방식으로 동작하도록 조정하기 위해 대규모 언어 모델에 입력으로 입력된 텍스트입니다. 프롬프트는 문구처럼 짧거나 임의로 길 수 있습니다 (예: 소설의 전체 텍스트). 프롬프트는 다음 표에 표시된 카테고리를 포함하여 여러 카테고리로 분류됩니다.
| 프롬프트 카테고리 | 예 | Notes |
|---|---|---|
| 문제 | 비둘기는 얼마나 빨리 날 수 있을까요? | |
| 지침 | 광고용 사이트에 대한 재미있는 시 쓰기 | 대규모 언어 모델에 작업을 수행하도록 요청하는 프롬프트 |
| 예 | 마크다운 코드를 HTML로 번역합니다. 예:
마크다운: * 목록 항목 HTML: <ul> <li>목록 항목</li> </ul> |
이 프롬프트 예의 첫 번째 문장은 지침입니다. 프롬프트의 나머지 부분이 예입니다. |
| 역할 | 물리학 박사 학위에 이르는 머신러닝 학습에서 경사하강법을 사용하는 이유를 설명합니다. | 문장의 첫 번째 부분은 안내이고, '물리학 박사에게 전달'이라는 문구는 역할 부분입니다. |
| 완료할 모델의 부분 입력 | 영국 총리가 거주하고 있는 | 부분 입력 프롬프트는 이 예시에서와 같이 갑자기 끝나거나 밑줄로 끝날 수 있습니다. |
생성형 AI 모델은 텍스트, 코드, 이미지, 임베딩, 동영상 등 거의 모든 것을 사용하여 메시지에 응답할 수 있습니다.
프롬프트 기반 학습
임의의 텍스트 입력 (프롬프트)에 대한 응답으로 동작을 조정할 수 있는 특정 모델의 기능입니다. 일반적인 프롬프트 기반 학습 패러다임에서 대규모 언어 모델은 텍스트를 생성하여 프롬프트에 응답합니다. 예를 들어 사용자가 다음과 같은 프롬프트를 입력한다고 가정해 보겠습니다.
뉴턴의 제3 운동 법칙을 요약합니다.
프롬프트 기반 학습을 지원하는 모델은 이전 프롬프트에 응답하도록 특별히 학습되지 않았습니다. 대신 모델은 물리학에 관한 많은 사실, 일반적인 언어 규칙, 일반적으로 유용한 답변을 구성하는 요소에 관해 많은 것을 '알고 있습니다'. 이 지식으로 유용한 답변을 제공하기에 충분합니다. 추가적인 인간 피드백 ('답변이 너무 복잡했어요.' 또는 '반응이 무엇인가요?')을 사용하면 일부 프롬프트 기반 학습 시스템은 점차적으로 답변의 유용성을 개선할 수 있습니다.
프롬프트 디자인
프롬프트 엔지니어링의 동의어입니다.
프롬프트 엔지니어링
대규모 언어 모델에서 원하는 응답을 유도하는 프롬프트를 만드는 기술 인간이 프롬프트 엔지니어링을 수행합니다. 프롬프트를 잘 구조화하는 것은 대규모 언어 모델에서 유용한 응답을 보장하는 데 필수적인 부분입니다. 프롬프트 엔지니어링은 다음을 포함한 여러 요인에 따라 달라집니다.
- 대규모 언어 모델을 사전 학습하고 미세 조정하는 데 사용되는 데이터 세트입니다.
- 모델이 응답을 생성하는 데 사용하는 temperature 및 기타 디코딩 매개변수
유용한 프롬프트 작성에 관한 자세한 내용은 프롬프트 설계 소개를 참고하세요.
프롬프트 설계는 프롬프트 엔지니어링의 동의어입니다.
프롬프트 조정
시스템이 실제 프롬프트 앞에 추가하는 '프리픽스'를 학습하는 매개변수 효율적인 조정 메커니즘.
프롬프트 조정의 한 가지 변형(프리픽스 조정이라고도 함)은 모든 레이어 앞에 프리픽스를 붙이는 것입니다. 반면에 대부분의 프롬프트 조정은 입력 레이어에만 접두사를 추가합니다.
R
인간의 피드백을 통한 강화 학습 (RLHF)
인간 평가자의 의견을 사용하여 모델 응답 품질 개선 예를 들어 RLHF 메커니즘에서 사용자에게 👍 또는 ⌥ 이모티콘으로 모델의 응답 품질을 평가하도록 요청할 수 있습니다. 그러면 시스템은 해당 의견에 따라 향후 응답을 조정할 수 있습니다.
역할 프롬프트
생성형 AI 모델 응답의 타겟층을 식별하는 프롬프트의 선택적 부분입니다. 대규모 언어 모델이 역할 프롬프트가 없는 경우 질문하는 사람에게 유용할 수도 있고 유용하지 않을 수도 있습니다. 역할 프롬프트를 사용하면 대규모 언어 모델이 특정 대상에게 더 적절하고 유용한 방식으로 대답할 수 있습니다. 예를 들어 다음 프롬프트에서 역할 프롬프트 부분은 굵게 표시됩니다.
- 경제학 박사 학위를 위해 이 자료를 요약해 주세요.
- 10살 아이에게 조수가 어떻게 작용하는지 설명합니다.
- 2008년 금융 위기를 설명합니다. 어린 아이나 골든 리트리버에게 하는 것처럼 이야기하세요.
T
기온
모델 출력의 무작위성 수준을 제어하는 초매개변수. 온도가 높을수록 임의 출력이 증가하고, 온도가 낮을수록 임의 출력이 줄어듭니다.
최적의 온도를 선택하는 것은 특정 애플리케이션과 원하는 모델 출력 속성에 따라 다릅니다. 예를 들어 광고 소재 결과물을 생성하는 애플리케이션을 만들 때 온도를 높일 수 있습니다. 반대로 이미지 또는 텍스트를 분류하는 모델을 만들면 모델의 정확성과 일관성을 개선하기 위해 온도를 낮출 수 있습니다.
온도는 주로 softmax와 함께 사용됩니다.
Z
제로샷 프롬프팅
대규모 언어 모델의 응답 방법의 예를 제공하지 않는 프롬프트 예를 들면 다음과 같습니다.
| 프롬프트 1개의 요소 | Notes |
|---|---|
| 지정된 국가의 공식 통화는 무엇인가요? | LLM이 답변해야 하는 질문입니다. |
| 인도: | 실제 쿼리입니다. |
대규모 언어 모델은 다음 중 하나로 응답할 수 있습니다.
- 루피 기호
- 인도 루피(INR)
- ₹
- 인도 루피
- 루피
- 인도 루피
모두 정답이지만 특정 형식을 선호할 수도 있습니다.
제로샷 프롬프팅을 다음 용어와 비교 및 대조해 보세요.