Nhúng: Dịch sang không gian có chiều rộng thấp hơn

embedding là không gian có kích thước tương đối thấp mà bạn có thể dịch sang vectơ chiều cao. Để thảo luận về khía cạnh cấp cao so với dữ liệu có kích thước thấp, hãy xem phần Danh mục Dữ liệu .

Việc nhúng giúp dễ dàng hơn trong việc thực hiện công nghệ học máy trên vectơ đặc trưng, chẳng hạn như dưới dạng các vectơ thưa thớt biểu thị các món ăn được thảo luận trong phần trước. Tốt nhất là một video nhúng sẽ thu được một số ngữ nghĩa của đầu vào bằng cách đặt đầu vào giống nhau hơn về ý nghĩa cùng nhau trong không gian nhúng. Ví dụ: một nhúng tốt sẽ đặt từ "ô tô" gần với "garage" hơn thay vì "voi". Bạn có thể huấn luyện một nhúng và được tái sử dụng trên các mô hình.

Để có ý tưởng về cách nhúng vectơ biểu thị thông tin, hãy xem xét biểu diễn một chiều các món ăn bánh mì kẹp xúc xích, pizza, món rau trộn, shawarma và borscht, trên thang đo "ít giống bánh mì kẹp" thành "giống như một chiếc bánh sandwich". "Bánh mì kẹp thịt" là phương diện duy nhất.

Hình 3. Dọc theo trục độ khó quên, từ ít đến nhiều nhất: borscht, rau trộn, pizza, bánh mì kẹp xúc xích, shawarma.
Hình 3. Đồ ăn theo phong cách "bánh sandwich".

Vị trí trên dòng này bánh táo strudel bị ngã? Có thể đặt giá trị trong khoảng từ hot dog đến shawarma. Nhưng Apple strudel dường như cũng có thêm một chiều độ ngọt món ăn là gì) hoặc món tráng miệng (món tráng miệng giống như món ăn đó) tuỳ chọn này rất khác so với các tuỳ chọn khác. Hình sau đây minh hoạ phương thức này bằng cách thêm "món tráng miệng" phương diện:

Hình 4. Cùng một hình ảnh như trước, nhưng có trục tung là món tráng miệng. Bánh strudel táo là giữa bánh mì kẹp xúc xích và shawarma nhưng cực kỳ cao trục hoành nhưng cao hơn trục món tráng miệng.
Hình 4. Thực phẩm được xây dựng dựa trên cả "bánh sandwich" và "món tráng miệng".

Một mục nhúng đại diện cho từng mục trong không gian n chiều bằng n dấu phẩy động (thường trong khoảng –1 đến 1 hoặc 0 đến 1). Ví dụ: nội dung nhúng trong Hình 4 đại diện cho từng món ăn trong không gian hai chiều với hai toạ độ. Mặt hàng "apple strudel" nằm trong góc phần tư trên bên phải của đồ thị và có thể được gán điểm (0,5, 0,3), còn "bánh mì kẹp xúc xích" nằm ở góc phần tư dưới cùng bên phải của biểu đồ và có thể được gán điểm (0,2, -0,5).

Trong một nhúng, bạn có thể tính khoảng cách giữa hai mục bất kỳ về mặt toán học, và có thể được hiểu là hai chỉ số tương đối giống nhau mục. Hai vật ở gần nhau, chẳng hạn như shawarma và hot dog trong Hình 4, có liên quan chặt chẽ hơn hai vật ở xa nhau hơn khác, chẳng hạn như apple strudel và borscht.

Ngoài ra, cũng xin lưu ý rằng trong không gian 2D trong Hình 4, apple strudel xa hơn rất nhiều từ shawarma và hot dog so với trong không gian 1D, phù hợp với trực giác: apple strudel không giống bánh mì kẹp xúc xích hoặc món shawarma nóng chó và shawarmas với nhau.

Bây giờ, hãy xem xét borscht, loại này có chất lỏng cao hơn nhiều so với các vật phẩm khác. Chiến dịch này gợi ý đến phương diện thứ ba, tính lỏng (độ lỏng của thực phẩm). Khi thêm phương diện đó, các mục có thể được trình bày ở chế độ 3D theo cách sau:

Hình 5. Hình ảnh tương tự như trước, nhưng với trục thứ ba của thanh khoản trực giao với hai điểm còn lại và borscht di chuyển xa dọc theo trục đó.
Hình 5. Thực phẩm được lên kế hoạch theo "bánh sandwich" "món tráng miệng", và "tính thanh khoản".

Nơi nào trong không gian 3D này sẽ tangyuan đi? Bây giờ soupy, như kẹo borscht, và một món tráng miệng ngọt ngào như bánh strudel táo và chắc chắn là không phải bánh mì kẹp. Dưới đây là một vị trí có thể có:

Hình 6. Cùng một hình ảnh như trước, nhưng với Lộc Nguyên được đặt cao ở trên món tráng miệng và tính lỏng, và ít bánh kẹp.
Hình 6. Thêm tang Nguyên vào hình ảnh trước, bật "món tráng miệng" và "tính thanh khoản" và ít "sandwichness".

Lưu ý lượng thông tin được thể hiện trong ba chiều này. Bạn có thể tưởng tượng các phương diện khác, như thịt hoặc nướng.

Không gian nhúng thực tế

Như bạn đã thấy trong các ví dụ về thực phẩm ở trên, ngay cả một không gian đa chiều nhỏ cung cấp quyền tự do nhóm các mục tương tự về mặt ngữ nghĩa với nhau và duy trì mặt hàng không giống nhau nhưng cách xa nhau. Vị trí (khoảng cách và hướng) trong vectơ có thể mã hoá ngữ nghĩa trong một khả năng nhúng phù hợp. Ví dụ: như sau hình ảnh trực quan của các mục nhúng thực tế minh hoạ các mối quan hệ hình học giữa các từ chỉ một quốc gia và thủ đô của quốc gia đó. Bạn có thể thấy rằng khoảng cách từ "Canada" đến "Ottawa" giống với khoảng cách từ "Thổ Nhĩ Kỳ" đến "Ankara".

Hình 7. Ba ví dụ về cách nhúng từ biểu thị từ mối quan hệ về mặt hình học: giới tính (nam/nữ và vua/nữ hoàng đại khái cùng độ dài), thì động từ (đi bộ/đi bộ và bơi/bơi) khoảng có cùng chiều dài), và các thành phố thủ đô (Thổ Nhĩ Kỳ/Ankara và Việt Nam/Hà Nội là có thời lượng gần như nhau).
Hình 7. Việc nhúng có thể tạo ra những điểm tương đồng đáng chú ý.

Không gian nhúng có ý nghĩa sẽ giúp mô hình học máy phát hiện các mẫu trong quá trình huấn luyện.

Bài tập

Trong bài tập này, bạn sẽ sử dụng kỹ thuật Nhúng Công cụ Projector giúp trực quan hoá một từ trong đó có tên là word2vec biểu thị hơn 70.000 từ tiếng Anh bằng số trong không gian vectơ.

Nhiệm vụ 1

Thực hiện các tác vụ sau rồi trả lời câu hỏi bên dưới.

  1. Mở công cụ Nhúng máy chiếu.

  2. Trong bảng điều khiển bên phải, hãy nhập từ atom vào trường Tìm kiếm. Sau đó nhấp vào từ atom trong các kết quả bên dưới (trong 4 kết quả khớp). Thông tin màn hình sẽ trông giống như Hình 8.

    Hình 8. Ảnh chụp màn hình công cụ Nhúng máy chiếu, có "atom" đã nhập vào trường tìm kiếm (được khoanh tròn bằng màu đỏ). Hình ảnh trực quan trong tâm của công cụ giờ đây chú thích một trong các điểm bằng từ 'nguyên tử', và cũng thêm chú thích dạng chữ cho các điểm lân cận. Trong phần 'Gần nhất điểm list, các từ 'atoms' (nguyên tử), 'molecule' (phân tử) và 'electrons' được liệt kê là từ gần nhất trong không gian vectơ so với 'atom'.
    Hình 8. Công cụ nhúng máy chiếu, có từ "atom" đã thêm trong trường Tìm kiếm (được khoanh tròn màu đỏ).

  3. Một lần nữa, trong bảng điều khiển bên phải, nhấp vào nút Isolate 101 points (ở trên trường Tìm kiếm) để hiển thị 100 từ gần nhất so với atom. Màn hình của bạn sẽ có dạng như Hình 9.

    Hình 9. Ảnh chụp màn hình công cụ Nhúng máy chiếu, nay có "Cô lập 101 điểm" đã nhấp vào (nút được khoanh tròn màu đỏ). Hình ảnh trực quan từ Hình 8 giờ đã được cập nhật để chỉ hiển thị từ 'atom' và 100 từ gần nhất trong không gian vectơ, bao gồm các từ 'nguyên tử', "nucleus" và "particle".
    Hình 9. Công cụ nhúng máy chiếu, nay có tính năng "Cách ly 101 điểm" được nhấp (được khoanh tròn bằng màu đỏ).

Bây giờ, hãy xem lại các từ được liệt kê trong phần Điểm gần nhất trong không gian ban đầu. Bạn sẽ mô tả những từ này như thế nào?

Nhấp vào đây để xem câu trả lời của chúng tôi

Phần lớn các từ gần nhất là những từ thường liên quan đến có từ atom, chẳng hạn như ở dạng số nhiều "atoms", và các từ "electron", "phân tử", và "hạt nhân".

Nhiệm vụ 2

Thực hiện các tác vụ sau rồi trả lời câu hỏi bên dưới:

  1. Nhấp vào nút Hiển thị tất cả dữ liệu trong bảng điều khiển bên phải để đặt lại dữ liệu trực quan hoá từ Nhiệm vụ 1.

  2. Trong bảng điều khiển bên phải, hãy nhập từ uranium vào trường Tìm kiếm. Màn hình của bạn sẽ trông giống như Hình 10.

    Hình 10. Ảnh chụp màn hình công cụ Nhúng máy chiếu, có "uranium" đã nhập vào trường tìm kiếm. Hình ảnh trực quan ở giữa công cụ này chú thích một trong các điểm bằng từ 'uranium', đồng thời cũng thêm chú thích từ cho các điểm lân cận. Trong phần "Điểm gần nhất" danh sách, các từ 't than', 'đồng vị', 'niken', 'oxit', 'quặng', 'kẽm' và "mangan" được liệt kê dưới dạng các từ gần nhất trong không gian vectơ để "uranium".
    Hình 10. Công cụ nhúng máy chiếu, có từ "uranium" đã thêm vào trường Tìm kiếm.

Xem lại các từ được liệt kê trong phần Điểm gần nhất trong không gian ban đầu. Cách thức những từ này có khác với các từ gần nhất với atom không?

Nhấp vào đây để xem câu trả lời của chúng tôi

Uran là một chất phóng xạ cụ thể nguyên tố hoá học, và nhiều từ gần nhất là các nguyên tố khác, như kẽm, mangan, đồng và nhôm.

Nhiệm vụ 3

Thực hiện các tác vụ sau rồi trả lời câu hỏi bên dưới:

  1. Nhấp vào nút Hiển thị tất cả dữ liệu trong bảng điều khiển bên phải để đặt lại dữ liệu trực quan hoá từ Nhiệm vụ 2.

  2. Trong bảng điều khiển bên phải, hãy nhập từ cam vào trường Tìm kiếm. Thông tin màn hình sẽ có dạng như Hình 11.

    Hình 11. Ảnh chụp màn hình công cụ Nhúng máy chiếu, có màu "cam" đã nhập vào trường tìm kiếm. Hình ảnh trực quan ở giữa công cụ chú thích một trong các điểm bằng từ 'cam', đồng thời thêm từ chú thích cho các điểm lân cận. Trong phần "Điểm gần nhất" danh sách, các từ 'vàng', 'xanh', 'xanh', 'tím' và 'màu sắc' được liệt kê khi các từ gần nhất trong không gian vectơ so với 'cam'.
    Hình 11. Công cụ nhúng máy chiếu, có từ "cam" đã thêm vào trường Tìm kiếm.

Xem lại các từ được liệt kê trong phần Điểm gần nhất trong không gian ban đầu. Bạn nhận thấy điều gì về các loại từ cũng như các loại từ xuất hiện ở đây không xuất hiện ở đây?

Nhấp vào đây để xem câu trả lời của chúng tôi

Gần như tất cả các từ gần nhất đều là các màu khác, chẳng hạn như "vàng", "xanh lục" "xanh dương", "tím", và "đỏ". Chỉ một trong các từ gần nhất ("nước ép") tham chiếu đến nghĩa khác của từ này (trái cây cam quýt). Các loại trái cây khác bạn có thể muốn thấy, chẳng hạn như "apple" và "chuối", không có trong danh sách cụm từ gần nhất.

Ví dụ này minh hoạ một trong những thiếu sót chính của tính năng nhúng tĩnh như word2vec. Tất cả các nghĩa có thể có của một từ được thể hiện bằng một từ duy nhất điểm trong không gian vectơ, để khi bạn phân tích sự tương đồng cho "màu cam", đó là không thể tách riêng các điểm gần nhất cho một ký hiệu cụ thể của từ đó, chẳng hạn như "cam" (trái cây) nhưng không phải "cam" (màu sắc).
Trước
Giới thiệu (5 phút)
Tiếp
Nhận lượt nhúng (10 phút)