협업 필터링은 다른 여러 사용자의 관심분야를 기반으로 특정 사용자의 관심분야를 예측하는 작업입니다. 예를 들어 영화 추천 작업을 살펴보겠습니다. 50만 명의 사용자와 각 사용자가 본 영화 목록 (1,000,000편의 영화 중)이 있다고 가정해 보겠습니다. YouTube의 목표는 사용자에게 영화를 추천하는 것입니다.
이 문제를 해결하려면 어떤 영화가 서로 비슷한지 판단하는 방법이 필요합니다. 유사한 영화가 가까이에 있도록 생성된 저차원 공간에 영화를 삽입하면 이러한 목표를 달성할 수 있습니다.
임베딩을 학습하는 방법을 설명하기 전에 먼저 임베딩에 필요한 유형의 유형과 임베딩 학습을 위한 학습 데이터를 표현하는 방법을 알아보겠습니다.
1차원 숫자 선으로 영화 정렬
임베딩에 관한 직관력을 키우려면 종이 위에 다음 영화를 1차원 수직선에 정렬하여 서로 가장 가까운 영화가 서로 가장 밀접하게 관련되도록 해 보세요.
| 영화 | 평점 | 설명 |
|---|---|---|
| 블루 | 오른쪽 | 프랑스의 미망인이 교통사고로 남편과 딸을 잃은 후 슬픔에 빠집니다. |
| 다크 나이트 라이즈 | 13세 미만 부모 동반가 | DC 코믹스 유니버스를 배경으로 하는 다크 나이트의 속편으로, 배트맨이 핵폭발로부터 고담시를 지키기 위해 고군분투합니다. |
| 해리 포터와 마법사의 돌 | PG | 고아가 된 소년은 자신이 마법사라는 사실을 발견하고 호그와트 마법학교에 입학해 사악한 볼데르트 경을 상대로 첫 전투를 벌입니다. |
| 인크레더블 | PG | 교외에서 민간인으로 생활하게 된 슈퍼히어로 가족이 은퇴 생활에서 벗어나 슈드히어로와 킬러 로봇의 희생을 막습니다. |
| 슈렉 | PG | 사랑스러운 도깨비와 그의 당나귀 병변이 용에 의해 성에 갇힌 피오나 공주를 구하기 위한 임무에 착수했습니다. |
| 스타워즈 | PG | 루크 스카이워커와 한 솔로가 Android 두 대와 함께 레아 공주를 구하고 은하계를 구합니다. |
| 벨빌의 세쌍둥이 | 13세 미만 부모 동반가 | 자전거 경주 선수가 투르 드 프랑스 경기 도중 납치당하자 그의 할머니와 몸무게가 많은 강아지가 노인 재즈 가수 3인의 도움을 받아 해외로 여행을 떠났습니다. |
| 메멘토 | 오른쪽 | 기억 상실증 환자가 자신의 몸에 문신을 남기며 아내의 살인 사건을 해결하기 위해 고군분투합니다. |
가능한 한 가지 (매우 불완전한) 해결책을 보려면 더하기 아이콘을 클릭하세요.
그림 1. 가능한 1차원 정렬
이 삽입은 영화가 아동과 성인 중 어느 쪽을 대상으로 하는지 파악하는 데 도움이 되지만 영화를 추천할 때 캡처해야 하는 측면이 더 많이 있습니다. 이 예를 한 단계 더 발전시켜 두 번째 임베딩 차원을 추가해 보겠습니다.
2차원 공간에서 영화 정렬하기
이전과 동일한 연습을 하되 이번에는 2차원 공간에서 동일한 영화를 정렬합니다.
다른 해결 방법을 보려면 더하기 아이콘을 클릭하세요.
그림 2. 2차원 정렬의 예
이러한 2차원 임베딩을 통해 아동과 성인 중 어느 쪽을 대상으로 하는지 여부와 블록버스터 영화와 예술 영화 중 어느 쪽에 가까운지 여부에 따라 영화가 근처에 있고 이와 비슷한 것으로 추론되는 영화 간의 거리를 정의합니다. 물론 이러한 기능은 중요한 영화의 많은 특성 중 두 가지에 불과합니다.
더 일반적으로는 이러한 영화를 임베딩 공간에 매핑했으며, 여기서 각 단어는 2차원 좌표로 표현됩니다. 예를 들어 이 공간에서 '슈렉'은 (-1.0, 0.95)와 '세 가지 색: 블루'는 (0.65, -0.2)에 매핑됩니다. 일반적으로 d차원 임베딩을 학습할 때 각 영화는 한 차원의 좌표를 나타내는 실수 값 d개로 표현됩니다.
이 예에서는 각 측정기준에 이름을 지정했습니다. 임베딩을 학습할 때 개별 차원은 이름으로 학습되지 않습니다. 임베딩을 보고 차원에 의미적 의미를 할당할 수 있지만 그러지 못하는 경우도 있습니다. 이러한 각 차원을 간혹 잠재 차원이라고 하는데 잠재 차원이 나타내는 특징이 데이터상에 명확하게 드러나는 것이 아니라 유추되는 것이기 때문입니다.
궁극적으로는 특정 차원에서 특정 영화의 값이 아닌 의미 있는 임베딩 공간의 영화 간 거리를 나타냅니다.