머신러닝 용어집: 생성형 AI

이 페이지에는 생성형 AI 용어집 용어가 포함되어 있습니다. 모든 용어집 용어를 보려면 여기를 클릭하세요.

A

자동 회귀 모델

#language
#image
#생성형AI

자체 이전 예측을 기반으로 예측을 추론하는 model입니다. 예를 들어 자동 회귀 언어 모델은 이전에 예측된 토큰을 기반으로 다음 토큰을 예측합니다. 모든 Transformer 기반 대규모 언어 모델은 자동 회귀를 지원합니다.

반대로 GAN 기반 이미지 모델은 단계를 반복하지 않고 단일 정방향 전달로 이미지를 생성하므로 일반적으로 자동 회귀성이 없습니다. 그러나 특정 이미지 생성 모델은 이미지를 단계적으로 생성하기 때문에 자동 회귀가 가능합니다.

C

사고 사슬 프롬프팅

#language
#생성형AI

대규모 언어 모델 (LLM)이 이유를 단계별로 설명하도록 유도하는 프롬프트 엔지니어링 기법입니다. 예를 들어 두 번째 문장에 특히 주의를 기울이며 다음 프롬프트를 살펴보겠습니다.

시속 0마일에서 60마일까지 7초 내에 운행하는 자동차에서 운전자가 경험하는 중력은 얼마인가요? 답에 모든 관련 계산을 표시합니다.

LLM의 응답은 다음과 같을 수 있습니다.

  • 일련의 물리 공식을 표시하고 적절한 위치에 값 0, 60, 7을 연결합니다.
  • 왜 그런 공식을 선택했는지, 다양한 변수들이 무엇을 의미하는지 설명하십시오.

일련의 사고 프롬프팅을 통해 LLM은 모든 계산을 수행해야 하므로 보다 정확한 답을 얻을 수 있습니다. 또한 생각 사슬 프롬프팅을 통해 사용자는 LLM의 단계를 검토하여 답변이 적절한지 판단할 수 있습니다.

채팅

#language
#생성형AI

ML 시스템과의 대화를 주고받는 내용(일반적으로 대규모 언어 모델) 채팅의 이전 상호작용(입력한 내용 및 대규모 언어 모델의 응답 방식)이 채팅의 후속 부분에 대한 컨텍스트가 됩니다.

챗봇은 대규모 언어 모델의 애플리케이션입니다.

문맥화된 언어 임베딩

#language
#생성형AI

원어민이 할 수 있는 방식으로 단어와 구문을 '이해'하는 임베딩입니다. 컨텍스트화된 언어 임베딩은 복잡한 구문, 시맨틱스, 컨텍스트를 이해할 수 있습니다.

예를 들어 영어 단어 cow의 임베딩을 고려해 보겠습니다. word2vec와 같은 이전 임베딩은 소에서 황소까지의 임베딩 공간에서 ewe (암컷 양)에서 ram (수 양)까지의 거리 또는 암컷에서 수컷까지의 거리와 유사한 영어 단어를 나타낼 수 있습니다. 문맥화된 언어 임베딩은 한 걸음 더 나아가 영어 사용자가 종종 소 또는 황소를 의미하는 cow라는 단어를 사용한다는 점을 인지합니다.

환경설정 기간

#language
#생성형AI

모델이 지정된 프롬프트에서 처리할 수 있는 토큰 수입니다. 컨텍스트 기간이 클수록 모델이 프롬프트에 일관되고 일관된 응답을 제공하는 데 사용할 수 있는 정보가 더 많아집니다.

D

직접 프롬프팅

#language
#생성형AI

제로샷 프롬프팅의 동의어입니다.

정제

#생성형AI

한 model (model라고 함)의 크기를 원래 모델의 예측을 최대한 충실하게 에뮬레이션하는 더 작은 모델 (model이라고 함)로 줄이는 프로세스입니다. 작은 모델이 큰 모델 (교사)에 비해 두 가지 주요 이점이 있으므로 정제가 유용합니다.

  • 추론 시간 단축
  • 메모리 및 에너지 사용량 감소

그러나 학생의 예측은 일반적으로 교사의 예측만큼 좋지 않습니다.

정제는 학생 모델과 교사 모델의 예측 출력 간의 차이를 기반으로 손실 함수를 최소화하도록 학생 모델을 학습시킵니다.

정제와 다음 용어를 비교 및 대조하세요.

F

퓨샷 프롬프팅

#language
#생성형AI

대규모 언어 모델의 응답 방식을 보여주는 프롬프트가 두 개 이상('몇 개') 포함되어 있습니다. 예를 들어 다음과 같은 긴 프롬프트에는 대규모 언어 모델의 쿼리에 답변하는 방법을 보여주는 두 개의 예가 포함되어 있습니다.

프롬프트 하나에 포함되는 요소 Notes
지정된 국가의 공식 통화는 무엇인가요? LLM이 답변하기를 원하는 질문입니다.
프랑스: EUR 한 가지 예.
영국: GBP 또 다른 예가 있습니다.
인도: 실제 쿼리입니다.

퓨샷 프롬프팅은 일반적으로 제로샷 프롬프팅 및 원샷 프롬프팅보다 더 바람직한 결과를 생성합니다. 그러나 퓨샷 프롬프팅에는 더 긴 프롬프트가 필요합니다

퓨샷 프롬프팅은 프롬프트 기반 학습에 적용되는 퓨샷 학습의 한 형태입니다.

미세 조정

#language
#image
#생성형AI

특정 사용 사례에 맞게 매개변수를 미세 조정하기 위해 선행 학습된 모델에서 수행되는 두 번째 작업별 학습 패스입니다. 예를 들어 일부 대규모 언어 모델의 전체 학습 시퀀스는 다음과 같습니다.

  1. 사전 학습: 모든 영어 Wikipedia 페이지와 같은 방대한 일반 데이터 세트를 사용해 대규모 언어 모델을 학습시킵니다.
  2. 미세 조정: 의료 쿼리에 대한 응답과 같은 특정 작업을 수행하도록 선행 학습된 모델을 학습시킵니다. 미세 조정에는 일반적으로 특정 작업에 중점을 둔 수백 또는 수천 개의 예가 포함됩니다.

또 다른 예로, 큰 이미지 모델의 전체 학습 시퀀스는 다음과 같습니다.

  1. 사전 학습: Wikimedia Commons의 모든 이미지와 같은 방대한 일반 이미지 데이터 세트로 대규모 이미지 모델을 학습시킵니다.
  2. 미세 조정: 범고래 이미지 생성과 같은 특정 작업을 수행하도록 선행 학습된 모델을 학습시킵니다.

미세 조정에는 다음 전략을 원하는 대로 조합하여 사용할 수 있습니다.

  • 선행 학습된 모델의 기존 매개변수 모두 수정 이를 전체 미세 조정이라고도 합니다.
  • 선행 학습된 모델의 기존 매개변수 중 일부(일반적으로 출력 레이어에 가장 가까운 레이어)만 수정하고 다른 기존 매개변수는 변경하지 않고 (일반적으로 입력 레이어에 가장 가까운 레이어) 수정 매개변수 효율적인 조정을 참조하세요.
  • 일반적으로 출력 레이어에 가장 가까운 기존 레이어 위에 레이어를 더 추가합니다.

미세 조정은 전이 학습의 한 형태입니다. 따라서 미세 조정은 선행 학습된 모델을 학습시키는 데 사용된 것과 다른 손실 함수 또는 다른 모델 유형을 사용할 수 있습니다. 예를 들어 선행 학습된 대형 이미지 모델을 미세 조정하여 입력 이미지에서 새 수를 반환하는 회귀 모델을 만들 수 있습니다.

미세 조정을 다음 용어와 비교 및 대조해 보세요.

G

생성형 AI

#language
#image
#생성형AI

공식적인 정의가 없는 혁신적인 분야가 새롭게 떠오르고 있습니다. 하지만 대부분의 전문가는 생성형 AI 모델이 다음과 같은 모든 콘텐츠를 생성 ('생성')할 수 있다는 데 동의합니다

  • 복잡함
  • 일관성
  • 원본

예를 들어 생성형 AI 모델로 정교한 에세이나 이미지를

LSTM 및 RNN을 비롯한 일부 초기 기술도 독창적이고 일관된 콘텐츠를 생성할 수 있습니다. 일부 전문가들은 이러한 초기 기술을 생성형 AI로 여기지만, 다른 전문가들은 진정한 생성형 AI를 위해서는 기존 기술이 생산할 수 있는 것보다 더 복잡한 출력이 필요하다고 생각합니다.

예측 ML과 대비되는 개념입니다.

I

컨텍스트 내 학습

#language
#생성형AI

퓨샷 프롬프팅의 동의어입니다.

명령 조정

#생성형AI

생성형 AI 모델의 안내 준수 기능을 개선하는 미세 조정의 한 형태입니다. 명령 조정에는 일반적으로 다양한 작업을 포괄하는 일련의 명령 프롬프트에서 모델을 학습시키는 작업이 포함됩니다. 그러면 명령이 조정된 결과 모델이 다양한 태스크에서 제로샷 프롬프트에 유용한 응답을 생성하는 경향이 있습니다.

비교 및 대조:

L

LoRA

#language
#생성형AI

Low-Rank Adaptability의 약어입니다.

낮은 순위 적응성 (LoRA)

#language
#생성형AI

대규모 언어 모델 매개변수의 하위 집합만 미세 조정하는 매개변수 효율적인 조정을 수행하기 위한 알고리즘입니다. LoRA는 다음과 같은 이점을 제공합니다.

  • 모델의 모든 매개변수를 미세 조정해야 하는 기법보다 빠르게 미세 조정합니다.
  • 미세 조정된 모델에서 추론의 계산 비용을 줄입니다.

LoRA로 조정된 모델은 예측 품질을 유지하거나 개선합니다.

LoRA를 사용하면 모델의 여러 특수 버전을 사용할 수 있습니다.

월

모델 계단식

#생성형AI

특정 추론 쿼리에 이상적인 model을 선택하는 시스템입니다.

매우 큰 (많은 매개변수)에서 훨씬 더 작은 (매개변수가 적은)에 이르는 모델 그룹을 생각해 보세요. 규모가 매우 큰 모델은 소규모 모델보다 추론 시간에 더 많은 컴퓨팅 리소스를 소비합니다. 그러나 매우 큰 모델은 일반적으로 작은 모델보다 더 복잡한 요청을 추론할 수 있습니다. 모델 단계식에서는 추론 쿼리의 복잡성을 결정한 후 추론을 수행할 적절한 모델을 선택합니다. 모델 단계화의 주요 동기는 일반적으로 더 작은 모델을 선택하고 더 복잡한 쿼리에는 더 큰 모델만 선택하여 추론 비용을 줄이는 것입니다.

작은 모델이 휴대전화에서 실행되고 이 모델의 더 큰 버전은 원격 서버에서 실행된다고 가정해 보겠습니다. 우수한 모델 계단식은 더 작은 모델이 간단한 요청을 처리할 수 있도록 하고 원격 모델만 호출하여 복잡한 요청을 처리할 수 있도록 하여 비용과 지연 시간을 줄여줍니다.

모델 라우터도 참고하세요.

모델 라우터

#생성형AI

model에서 model에 이상적인 model을 결정하는 알고리즘입니다. 모델 라우터는 그 자체가 일반적으로 주어진 입력에 대해 최상의 모델을 선택하는 방법을 점진적으로 학습하는 머신러닝 모델입니다. 하지만 모델 라우터는 때로는 머신러닝이 아닌 단순한 알고리즘일 수 있습니다

O

원샷 프롬프팅

#language
#생성형AI

대규모 언어 모델의 응답 방식을 보여주는 하나의 예시가 포함된 프롬프트 예를 들어 다음 프롬프트에는 대규모 언어 모델의 쿼리 응답 방식을 보여주는 예시가 포함되어 있습니다.

프롬프트 하나에 포함되는 요소 Notes
지정된 국가의 공식 통화는 무엇인가요? LLM이 답변하기를 원하는 질문입니다.
프랑스: EUR 한 가지 예.
인도: 실제 쿼리입니다.

원샷 프롬프팅을 다음 용어와 비교 및 대조해 보세요.

P

매개변수 효율적인 조정

#language
#생성형AI

전체 미세 조정보다 더 효율적으로 대규모 선행 학습된 언어 모델 (PLM)을 미세 조정하는 일련의 기법입니다. 매개변수 효율적인 조정은 일반적으로 전체 미세 조정보다 훨씬 적은 매개변수를 미세 조정하지만 일반적으로 전체 미세 조정에서 빌드된 대규모 언어 모델만큼 (또는 거의 비슷한) 대규모 언어 모델을 생성합니다.

매개변수 효율적인 조정과 다음을 비교 및 대조하세요.

매개변수 효율적인 조정은 매개변수 효율적인 미세 조정이라고도 합니다.

제품 관리자

#language
#생성형AI

선행 학습된 언어 모델의 약어입니다.

선행 학습된 모델

#language
#image
#생성형AI

이미 학습된 모델 또는 모델 구성요소 (예: 임베딩 벡터)입니다. 선행 학습된 임베딩 벡터를 신경망에 입력하는 경우도 있습니다. 경우에 따라 모델이 선행 학습된 임베딩에 의존하지 않고 임베딩 벡터를 직접 학습시킵니다.

선행 학습된 언어 모델이라는 용어는 사전 학습을 거친 대규모 언어 모델을 의미합니다.

사전 학습

#language
#image
#생성형AI

대규모 데이터 세트에서 모델의 초기 학습입니다. 일부 선행 학습된 모델은 복잡한 거대 모델이며 일반적으로 추가 학습을 통해 미세 조정되어야 합니다. 예를 들어 ML 전문가는 위키백과의 모든 영어 페이지와 같은 방대한 텍스트 데이터 세트에 대해 대규모 언어 모델을 사전 학습시킬 수 있습니다. 사전 학습 후 결과 모델은 다음 기법을 통해 더 세분화할 수 있습니다.

프롬프트

#language
#생성형AI

모델이 특정 방식으로 동작하도록 조정하기 위해 대규모 언어 모델에 입력으로 입력된 모든 텍스트입니다. 프롬프트는 문구만큼 짧을 수도 있고 임의로 길어질 수도 있습니다 (예: 소설의 전체 텍스트). 프롬프트는 다음 표를 비롯한 여러 카테고리로 분류됩니다.

프롬프트 카테고리 예 Notes
문제 비둘기는 얼마나 빨리 날 수 있을까요?
안내 광고용 사이트에 대한 재미있는 시 쓰기 대규모 언어 모델에 작업을 수행하도록 요청하는 프롬프트
예 마크다운 코드를 HTML로 변환합니다. 예:
마크다운: * 목록 항목
HTML: <ul> <li>목록 항목</li> </ul>		 이 프롬프트 예의 첫 번째 문장은 지침입니다. 프롬프트의 나머지 부분이 예입니다.
역할 물리학 박사 학위까지, 머신러닝 학습에서 경사하강법이 사용되는 이유 설명 문장의 첫 번째 부분은 지침입니다. '물리학 박사에게 전달'이라는 문구는 역할 부분입니다.
모델을 완료하기 위한 부분 입력 영국 총리가 거주하고 있는 국가는 부분 입력 프롬프트는 이 예시와 같이 갑자기 끝나거나 밑줄로 끝날 수 있습니다.

생성형 AI 모델은 텍스트, 코드, 이미지, 임베딩, 동영상 등 거의 모든 것을 사용하여 프롬프트에 응답할 수 있습니다.

프롬프트 기반 학습

#language
#생성형AI

특정 모델의 기능으로, 임의의 텍스트 입력 (프롬프트)에 대한 응답으로 동작을 조정할 수 있습니다. 일반적인 프롬프트 기반 학습 패러다임에서 대규모 언어 모델은 프롬프트에 텍스트를 생성하여 응답합니다. 예를 들어 사용자가 다음과 같은 프롬프트를 입력했다고 가정해 보겠습니다.

뉴턴의 운동 제3법칙을 요약하세요.

프롬프트 기반 학습을 지원하는 모델은 이전 프롬프트에 대답하도록 특별히 학습되지 않았습니다. 대신 모델은 물리학에 관한 많은 사실, 일반적인 언어 규칙에 관한 많은 사실, 일반적으로 유용한 답변을 구성하는 요소에 관해 많은 것을 '알고 있습니다'. 이러한 지식만으로도 유용한 답변을 얻을 수 있습니다. 추가적인 인간 피드백 ('그 답이 너무 복잡합니다' 또는 '반응이 무엇인가요?')을 사용하면 일부 프롬프트 기반 학습 시스템에서 답변의 유용성을 점차 개선할 수 있습니다.

프롬프트 설계

#language
#생성형AI

프롬프트 엔지니어링의 동의어입니다.

프롬프트 엔지니어링

#language
#생성형AI

대규모 언어 모델에서 원하는 응답을 유도하는 프롬프트를 만드는 기술입니다. 인간이 프롬프트 엔지니어링을 수행합니다. 대규모 언어 모델에서 유용한 응답을 얻으려면 잘 구조화된 프롬프트를 작성하는 것이 필수입니다. 프롬프트 엔지니어링은 다음과 같은 다양한 요인에 따라 달라집니다

  • 대규모 언어 모델을 사전 학습하고 미세 조정하는 데 사용하는 데이터 세트입니다.
  • 모델이 응답을 생성하는 데 사용하는 temperature 및 기타 디코딩 매개변수

유용한 프롬프트 작성에 대한 자세한 내용은 프롬프트 설계 소개를 참조하세요.

프롬프트 설계는 프롬프트 엔지니어링의 동의어입니다.

프롬프트 조정

#language
#생성형AI

시스템이 실제 프롬프트 앞에 추가하는 '프리픽스'를 학습하는 매개변수 효율적인 조정 메커니즘.

프롬프트 조정의 한 가지 변형(프리픽스 조정이라고도 함)은 모든 레이어 앞에 프리픽스를 붙이는 것입니다. 반면에 대부분의 프롬프트 조정은 입력 레이어에 프리픽스만 추가합니다.

R

인간 피드백 기반 강화 학습 (RLHF)

#생성형AI
#rl

평가자의 의견을 사용하여 모델 응답 품질 개선 예를 들어 RLHF 메커니즘은 사용자에게 👍 또는 YOUTUBE 이모티콘으로 모델의 응답 품질을 평가해 달라고 요청할 수 있습니다. 그러면 시스템은 이 의견에 따라 향후 응답을 조정할 수 있습니다.

역할 프롬프팅

#language
#생성형AI

생성형 AI 모델의 응답의 타겟층을 식별하는 프롬프트의 선택적 부분입니다. 대규모 언어 모델은 역할 프롬프트 없이 질문하는 사람에게 유용할 수도 있고 유용하지 않을 수도 있습니다. 역할 프롬프트를 사용하면 대규모 언어 모델이 특정 타겟층에 더 적절하고 유용한 방식으로 대답할 수 있습니다. 예를 들어 다음 프롬프트에서 역할 프롬프트 부분은 굵게 표시되어 있습니다.

  • 경제학 박사의 경우 이 자료를 요약하세요.
  • 10살의 조수가 어떻게 작용하는지 설명.
  • 2008년 금융 위기를 설명해 줘. 어린 아이나 골든 리트리버에게 말해보세요.

S

소프트 프롬프트 조정

#language
#생성형AI

리소스를 많이 사용하지 않고 미세 조정을 하지 않고 특정 태스크를 위해 대규모 언어 모델을 조정하는 기법입니다. 소프트 프롬프트 조정은 모델의 모든 가중치를 재학습하는 대신 프롬프트를 자동으로 조정하여 동일한 목표를 달성합니다.

텍스트 프롬프트에서 소프트 프롬프트 조정은 일반적으로 토큰 임베딩을 프롬프트에 추가하고 역전파를 사용하여 입력을 최적화합니다.

'하드' 프롬프트에는 토큰 임베딩 대신 실제 토큰이 포함됩니다.

T

기온

#language
#image
#생성형AI

모델 출력의 무작위성 수준을 제어하는 초매개변수 온도가 높을수록 무작위 출력이 더 많은 반면 온도가 낮을수록 임의 출력이 줄어듭니다.

최적의 온도를 선택하는 방법은 특정 애플리케이션 및 모델 출력의 기본 특성에 따라 달라집니다. 예를 들어 창의적인 결과물을 생성하는 애플리케이션을 만들 때 온도를 높일 수 있습니다. 반대로 모델의 정확성과 일관성을 향상시키기 위해 이미지 또는 텍스트를 분류하는 모델을 빌드할 때는 온도를 낮추는 것이 좋습니다.

온도는 주로 소프트맥스와 함께 사용됩니다.

Z

제로샷 프롬프팅

#language
#생성형AI

대규모 언어 모델의 응답 방식에 대한 예시를 제공하지 않는 프롬프트 예를 들면 다음과 같습니다.

프롬프트 하나에 포함되는 요소 Notes
지정된 국가의 공식 통화는 무엇인가요? LLM이 답변하기를 원하는 질문입니다.
인도: 실제 쿼리입니다.

대규모 언어 모델은 다음 중 하나로 응답할 수 있습니다.

  • 루피 기호
  • INR
  • ₹
  • 인도 루피
  • 루피
  • 인도 루피

모두 정답입니다. 특정 형식을 선호할 수도 있습니다.

제로샷 프롬프팅을 다음 용어와 비교 및 대조하세요.