Đo lường mức độ tương đồng qua các mục nhúng

Bây giờ, bạn đã có các phần nhúng cho bất kỳ cặp ví dụ nào. Một phép đo tương đồng có giám sát sẽ lấy các giá trị nhúng này và trả về một số đo lường mức độ tương đồng của chúng. Hãy nhớ rằng các phần nhúng là vectơ số. Để tìm mức độ tương đồng giữa hai vectơ $A = [a_1,a_2,...,a_n]$ và $B = [b_1,b_2,...,b_n]$, hãy chọn một trong ba phương pháp đo lường mức độ tương đồng sau:

Đo lường	Ý nghĩa	Công thức	Khi mức độ tương đồng tăng lên, chỉ số này...
Khoảng cách Euclide	Khoảng cách giữa hai đầu của vectơ	$\sqrt{(a_1-b_1)^2+(a_2-b_2)^2+...+(a_N-b_N)^2}$	Giảm
Cosin	Cosin của góc $\theta$ giữa các vectơ	$\frac{a^T b}{|a| \cdot |b|}$	Tăng
Tích vô hướng	Cos nhân với độ dài của cả hai vectơ	$a_1b_1+a_2b_2+...+a_nb_n$ $=|a||b|cos(\theta)$	Tăng. Cũng tăng theo độ dài của vectơ.

Chọn một chỉ số đo lường mức độ tương đồng

Ngược lại với cosine, tích vô hướng tỷ lệ thuận với độ dài vectơ. Điều này rất quan trọng vì các ví dụ xuất hiện rất thường xuyên trong tập dữ liệu huấn luyện (ví dụ: video phổ biến trên YouTube) thường có vectơ nhúng có độ dài lớn. Nếu bạn muốn thu thập thông tin về mức độ phổ biến, hãy chọn tích vô hướng. Tuy nhiên, nguy cơ là các ví dụ phổ biến có thể làm sai lệch chỉ số tương đồng. Để cân bằng độ lệch này, bạn có thể tăng độ dài lên lũy thừa $\alpha\ < 1$ để tính tích vô hướng là $|a|^{\alpha}|b|^{\alpha}\cos(\theta)$.

Để hiểu rõ hơn về cách độ dài vectơ thay đổi mức đo tương đồng, hãy chuẩn hoá độ dài vectơ thành 1 và lưu ý rằng ba mức đo này trở nên tương ứng với nhau.

Chứng minh: Tỷ lệ của các chỉ số tương đồng

Sau khi chuẩn hoá a và b sao cho $||a||=1$ và $||b||=1$, ba chỉ số này có liên quan với nhau như sau:

• Khoảng cách Euclide = $||a-b|| = \sqrt{||a||^2 + ||b||^2 - 2a^{T}b} = \sqrt{2-2\cos(\theta_{ab})}$.
• Tích vô hướng = $|a||b| \cos(\theta_{ab}) = 1\cdot1\cdot \cos(\theta_{ab}) = cos(\theta_{ab})$.
• Cosin = $\cos(\theta_{ab})$.

Do đó, cả ba chỉ số tương đồng đều tương đương nhau vì chúng tỷ lệ thuận với $cos(\theta_{ab})$.

Xem xét các biện pháp đo lường mức độ tương đồng

Một chỉ số tương đồng định lượng mức độ tương đồng giữa một cặp ví dụ so với các cặp ví dụ khác. Hai loại, thủ công và giám sát, được so sánh dưới đây:

Loại	Cách tạo	Phù hợp nhất cho	Tác động
Thủ công	Kết hợp dữ liệu tính năng theo cách thủ công.	Tập dữ liệu nhỏ có các tính năng dễ dàng kết hợp.	Cung cấp thông tin chi tiết về kết quả tính toán mức độ tương đồng. Nếu dữ liệu tính năng thay đổi, bạn phải cập nhật phương pháp đo lường mức độ tương đồng theo cách thủ công.
Chịu sự giám sát	Đo khoảng cách giữa các bản nhúng do DNN có giám sát tạo ra.	Tập dữ liệu lớn có các tính năng khó kết hợp.	Không cung cấp thông tin chi tiết về kết quả. Tuy nhiên, DNN có thể tự động thích ứng với dữ liệu đặc điểm thay đổi.