머신러닝 용어집: 시퀀스 모델

이 페이지에는 시퀀스 모델 용어집 용어가 포함되어 있습니다. 모든 용어집 용어를 보려면 여기를 클릭하세요.

B

Bigram

#seq

#language

N=2인 N-그램입니다.

E

발산 경사 문제

#seq

심층신경망 (특히 순환 신경망)의 경사가 놀라울 정도로 가파르게 (높음)되는 경향입니다. 가파른 경사로 인해 심층신경망의 각 노드의 가중치가 크게 업데이트되는 경우가 많습니다.

경사 발산 문제가 있는 모델은 학습이 어렵거나 불가능해집니다. 그래디언트 클리핑으로 이 문제를 완화할 수 있습니다.

경사 소실 문제와 비교해 보세요.

F

CANNOT TRANSLATE

#seq

셀을 통한 정보 흐름을 조절하는 장기 단기 기억 셀의 일부입니다. 삭제 게이트는 셀 상태에서 삭제할 정보를 결정하여 컨텍스트를 유지합니다.

G

경사 제한

#seq

경사하강법을 사용하여 모델을 학습할 때 경사의 최댓값을 인위적으로 제한 (클리핑)하여 경사 발산 문제를 완화하는 데 일반적으로 사용되는 메커니즘입니다.

L

장단기 메모리 (LSTM)

#seq

필기 인식, 기계 번역, 이미지 캡션과 같은 애플리케이션에서 데이터 시퀀스를 처리하는 데 사용되는 순환 신경망의 셀 유형입니다. LSTM은 RNN의 이전 셀의 새로운 입력과 컨텍스트를 기반으로 기록을 내부 메모리 상태에 유지하여 긴 데이터 시퀀스로 인해 RNN을 학습시킬 때 발생하는 기울기 소실 문제를 해결합니다.

LSTM

#seq

Long Short-Term Memory의 약어입니다.

구매 불가

N-그램

#seq

#language

N 단어의 순서가 지정된 시퀀스. 예를 들어 truly madly는 2-그램입니다. 순서는 의미가 있으므로 madly TrueView는 truly madly와는 다른 2-그램입니다.

구매 불가	이 종류의 N-그램에 대한 이름	예
2	바이그램 또는 2-그램	이동, 이동, 점심 식사, 저녁 식사
3	트라이그램 또는 3-그램	시각장애인 쥐 세 마리를 너무 많이 먹었고
4	4-그램	공원 산책하기, 바람에 먼지 묻히기, 소년이 렌틸콩을 먹었어

많은 자연어 이해 모델이 N-그램을 사용하여 사용자가 다음에 입력하거나 말할 단어를 예측합니다. 예를 들어 사용자가 three 블라인드를 입력했다고 가정하겠습니다. 트라이그램을 기반으로 하는 NLU 모델은 사용자가 다음에 mice를 입력할 것으로 예측할 수 있습니다.

N-그램을 순서가 지정되지 않은 단어 집합인 단어 집합과 비교해 보세요.

R

순환 신경망(RNN)

#seq

의도적으로 여러 번 실행되는 신경망으로, 각 실행의 일부가 다음 실행으로 전달됩니다. 특히 이전 실행의 히든 레이어는 다음 실행 시 동일한 히든 레이어에 대한 입력의 일부를 제공합니다. 순환 신경망은 시퀀스를 평가할 때 특히 유용하므로 히든 레이어가 시퀀스의 이전 부분에 대한 신경망의 이전 실행으로부터 학습할 수 있습니다.

예를 들어 다음 그림은 4회 실행되는 순환 신경망을 보여줍니다. 첫 번째 실행에서 히든 레이어에 학습된 값이 두 번째 실행에서 동일한 히든 레이어에 대한 입력의 일부가 됩니다. 마찬가지로 두 번째 실행에서 히든 레이어에 학습된 값이 세 번째 실행에서 동일한 히든 레이어에 입력의 일부가 됩니다. 순환 신경망(RNN)은 이러한 방식으로 개별 단어의 단순한 의미가 아닌 전체 시퀀스의 의미를 점진적으로 학습시키고 예측합니다.

RNN

#seq

recurrentNeural Networks의 약어입니다.

S

시퀀스 모델

#seq

입력에 순차 종속 항목이 있는 모델입니다. 예를 들어 이전에 시청한 동영상 시퀀스에서 다음에 시청할 동영상을 예측합니다.

T

시간 단계

#seq

순환 신경망 내의 '언롤' 셀 1개. 예를 들어 다음 그림은 세 개의 시간 단계 (아래 첨자 t-1, t, t+1로 라벨이 지정됨)를 보여줍니다.

트라이그램

#seq

#language

N=3인 N-그램입니다.

V

경사 소실 문제

#seq

일부 심층신경망의 초기 히든 레이어 경사가 놀랍게 평평한 (낮음)되는 경향입니다. 경사가 점점 낮을수록 심층신경망의 노드 가중치 변화가 점점 작아지므로 학습이 거의 또는 전혀 전혀 이루어지지 않습니다. 경사 소실 문제가 있는 모델은 학습이 어렵거나 불가능해집니다. 장기 단기 메모리 셀에서 이 문제를 해결합니다.

경사 발산 문제와 비교해 보세요.