Nhúng: Bài tập tương tác

Tiện ích sau đây (dựa trên Embedding Projector của TensorFlow) làm phẳng 10.000 vectơ tĩnh word2vec thành một không gian 3D. Quá trình thu gọn các chiều này có thể gây nhầm lẫn, bởi vì có thể các điểm gần nhau nhất trong không gian đa chiều ban đầu sẽ xuất hiện cách xa nhau hơn trong hình chiếu 3D. Các điểm n gần nhất được đánh dấu bằng màu tím, với n là điểm được người dùng chọn trong Isolate __ points. Thanh bên ở bên phải xác định những điểm dữ liệu láng giềng gần nhất.

Trong các thử nghiệm này, bạn sẽ được thực hành với các vectơ từ word2vec trong tiện ích trên.

Nhiệm vụ 1

Hãy thử tìm 20 điểm dữ liệu láng giềng gần nhất với các điểm sau và xem vị trí của các nhóm này trong đám mây.

• iii, third và three
• tao và way
• orange, yellow và juice

Bạn nhận thấy gì về những kết quả này?

Nhấp vào đây để xem câu trả lời của chúng tôi

Mặc dù iii, third, và three tương đồng về mặt ngữ nghĩa, nhưng những từ này xuất hiện trong các bối cảnh khác nhau trong văn bản và có vẻ như không nằm gần nhau trong không gian nhúng này. Trong word2vec, iii gần iv hơn so với third.

Tương tự, mặc dù way là bản dịch trực tiếp của tao, nhưng những từ này thường xuất hiện với các nhóm từ hoàn toàn khác nhau trong tập dữ liệu được dùng, do đó, hai vectơ này cách nhau rất xa.

Các điểm dữ liệu láng giềng gần nhất đầu tiên của orange là các màu sắc, nhưng juice và peel (liên quan đến nghĩa của từ orange là một loại trái cây) lại xuất hiện là điểm dữ liệu láng giềng gần nhất thứ 14 và 18. Tuy nhiên, prince ở trong cụm từ Hoàng tử xứ Orange, lại là điểm dữ liệu thứ 17. Trong hình chiếu này, các từ gần với orange nhất là yellow và các màu sắc khác, trong khi trong số các từ gần nhất với juice không có orange.

Nhiệm vụ 2

Hãy thử hình dung một số đặc điểm của dữ liệu huấn luyện. Ví dụ: hãy thử tìm 100 điểm dữ liệu láng giềng gần nhất với các từ sau, rồi xem vị trí của các nhóm này trong đám mây:

• boston, paris, tokyo, delhi, moscow, và seoul (đây là câu đố mẹo)
• jane, sarah, john, peter, rosa và juan

Nhấp vào đây để xem câu trả lời của chúng tôi

Đa số các điểm dữ liệu láng giềng gần nhất với boston là các thành phố khác ở Hoa Kỳ. Đa số các điểm dữ liệu gần nhất với paris là các thành phố khác ở Châu Âu. Dường như tokyo và delhi không có kết quả giống nhau: một từ thì gắn kết với các thành phố là tụ điểm du lịch trên khắp thế giới, trong khi từ còn lại gắn kết với india và các từ có liên quan. seoul hoàn toàn không xuất hiện trong tập hợp vectơ từ đã được rút gọn này.

Có vẻ như trong tập dữ liệu này có nhiều tài liệu liên quan đến địa lý quốc gia Hoa Kỳ, một số tài liệu liên quan đến địa lý khu vực châu Âu và không có nhiều thông tin chi tiết về các quốc gia hoặc khu vực khác.

Tương tự, dường như tập dữ liệu này chứa nhiều tên tiếng Anh dành cho nam giới, một số tên tiếng Anh dành cho nữ và rất ít tên bằng các ngôn ngữ khác. Xin lưu ý rằng Don Rosa là người từng viết và vẽ minh hoạ truyện tranh Scrooge McDuck cho Disney, có thể đây là lý do mà "scrooge" và "mcduck" là những điểm dữ liệu láng giềng gần nhất của "rosa".

Thực tế thì các vectơ từ do word2vec huấn luyện trước đã được huấn luyện dựa trên các tin bài trên Google News cho đến năm 2013.

Nhiệm vụ 3

Các mục nhúng không chỉ giới hạn ở từ ngữ. Hình ảnh, âm thanh và những dữ liệu khác cũng có thể được nhúng. Đối với nhiệm vụ này:

1. Hãy mở Embedding Projector của TensorFlow.
2. Trong thanh bên ở bên trái có tiêu đề là Dữ liệu, hãy chọn Mnist bằng hình ảnh. Thao tác này sẽ tạo hình chiếu cho các mục nhúng của cơ sở dữ liệu MNIST gồm các chữ số viết tay.
3. Nhấp để dừng xoay và chọn một hình ảnh duy nhất. Phóng to và thu nhỏ nếu cần.
4. Xem thanh bên ở bên phải để biết những điểm dữ liệu láng giềng gần nhất. Bạn có thấy điều gì bất ngờ không?

• Vì sao một số chữ số 7 lại có điểm dữ liệu láng giềng gần nhất là các chữ số 1? Vì sao một số chữ số 8 lại có điểm dữ liệu láng giềng gần nhất là chữ số 9?
• Điều gì khiến hình ảnh ở rìa không gian chiếu có vẻ khác biệt so với hình ảnh ở chính giữa không gian chiếu?

Hãy nhớ rằng mô hình tạo ra các mục nhúng này đang nhận dữ liệu hình ảnh, tức là các pixel, và chọn thể hiện bằng vectơ số đối với từng hình ảnh. Mô hình này không tự động tạo ra mối liên kết về mặt tư duy giữa hình ảnh chữ số viết tay và chính chữ số đó.

Nhấp vào đây để xem câu trả lời của chúng tôi

Do có những điểm tương đồng về hình dạng, điểm dữ liệu biểu diễn bằng vectơ của một số chữ số 7 mỏng và hẹp hơn sẽ được đặt gần với các vectơ tương ứng với các chữ số 1 viết tay. Điều tương tự cũng xảy ra đối với một số chữ số 8 và 9, và cả một số chữ số 5 và 3.

Có vẻ như các chữ số viết tay ở bên ngoài không gian chiếu được xác định rõ ràng là một trong chín chữ số hơn và khác biệt rõ ràng với các chữ số khác.

Các thuật ngữ chính:

• Vectơ nhúng
• Không gian nhúng