Tetap teratur dengan koleksi
Simpan dan kategorikan konten berdasarkan preferensi Anda.
Bayangkan Anda sedang mengembangkan aplikasi rekomendasi makanan. Di aplikasi tersebut,
pengguna dapat memasukkan makanan favorit mereka, lalu aplikasi ini akan menyarankan makanan
serupa yang mungkin mereka sukai. Anda ingin mengembangkan model machine learning (ML)
yang dapat memprediksi kemiripan makanan, sehingga aplikasi Anda dapat memberikan
rekomendasi berkualitas tinggi ("Karena Anda suka panekuk, kami merekomendasikan krep").
Untuk melatih model tersebut, Anda menyeleksi sebuah set data berisi 5.000 item makanan populer, termasuk borscht,
hot dog,
salad,
pizza,
dan shawarma.
Gambar 1. Sampel item makanan yang termasuk dalam set data makanan.
Anda membuat fitur meal yang berisi representasi
setiap item makanan yang
dienkode one-hot dalam set data.
Encoding mengacu pada proses
memilih representasi numerik awal dari data untuk melatih model.
Gambar 2. Enkode one-hot pada borscht, hot dog, dan shawarma.
Setiap vektor enkode one-hot memiliki panjang 5.000 entri (satu entri untuk setiap
item menu dalam set data). Elipsis pada diagram merepresentasikan
4.995 entri yang tidak ditampilkan.
Potensi masalah dalam representasi data sparse
Setelah meninjau enkode one-hot ini, Anda menyadari beberapa masalah terkait
representasi data tersebut.
Jumlah bobot. Jika vektor input sangat banyak,
jaringan neural
akan memiliki jumlah bobot yang sangat besar.
Jika M adalah jumlah entri dalam enkode one-hot Anda, dan N
adalah jumlah node pada lapisan pertama jaringan setelah input, artinya model harus melatih
bobot sebesar MxN untuk lapisan tersebut.
Jumlah titik data. Makin besar bobot dalam model Anda, makin banyak data
yang perlu dilatih secara efektif.
Jumlah komputasi. Makin besar bobotnya, makin banyak komputasi yang diperlukan
untuk melatih dan menggunakan model. Tanpa disadari, Anda bisa saja melampaui kemampuan hardware
Anda.
Jumlah memori. Makin besar bobot dalam model Anda, makin banyak memori yang
dibutuhkan pada akselerator yang melatih dan menayangkannya. Dalam hal ini, peningkatan
skala secara efisien sangatlah sulit.
Sulitnya mendukung
machine learning di perangkat (ODML).
Jika Anda berencana menjalankan model ML di perangkat lokal (alih-alih menayangkannya),
Anda harus fokus untuk memperkecil model Anda, dan sebaiknya
kurangi juga jumlah bobotnya.
Dalam modul ini, Anda akan mempelajari cara membuat embedding, yakni representasi
data sparse berdimensi lebih rendah, yang menangani masalah ini.
[null,null,["Terakhir diperbarui pada 2025-05-20 UTC."],[[["\u003cp\u003eThis module explains how to create embeddings, which are lower-dimensional representations of sparse data that address the problems of large input vectors and lack of meaningful relations between vectors in one-hot encoding.\u003c/p\u003e\n"],["\u003cp\u003eOne-hot encoding creates large input vectors, leading to a huge number of weights in a neural network, requiring more data, computation, and memory.\u003c/p\u003e\n"],["\u003cp\u003eOne-hot encoding vectors lack meaningful relationships, failing to capture semantic similarities between items, like the example of hot dogs and shawarmas being more similar than hot dogs and salads.\u003c/p\u003e\n"],["\u003cp\u003eEmbeddings offer a solution by providing dense vector representations that capture semantic relationships and reduce the dimensionality of data, improving efficiency and performance in machine learning models.\u003c/p\u003e\n"],["\u003cp\u003eThis module assumes familiarity with introductory machine learning concepts like linear regression, categorical data, and neural networks.\u003c/p\u003e\n"]]],[],null,["# Embeddings\n\n| **Estimated module length:** 45 minutes\n| **Learning objectives**\n|\n| - Visualize vector representations of word embeddings, such as [word2vec](https://wikipedia.org/wiki/Word2vec).\n| - Distinguish encoding from embedding.\n| - Describe contextual embedding.\n| **Prerequisites:**\n|\n| This module assumes you are familiar with the concepts covered in the\n| following modules:\n|\n| - [Introduction to Machine Learning](/machine-learning/intro-to-ml)\n| - [Linear regression](/machine-learning/crash-course/linear-regression)\n| - [Working with categorical data](/machine-learning/crash-course/categorical-data)\n| - [Neural networks](/machine-learning/crash-course/neural-networks)\n\nImagine you're developing a food-recommendation application, where\nusers input their favorite meals, and the app suggests similar meals\nthat they might like. You want to develop a machine learning (ML) model\nthat can predict food similarity, so your app can make high quality\nrecommendations (\"Since you like pancakes, we recommend crepes\").\n\nTo train your model, you curate a dataset of 5,000 popular\nmeal items, including ,\n,\n,\n,\nand .\n**Figure 1.** Sampling of meal items included in the food dataset.\n\nYou create a `meal` feature that contains a\n[**one-hot encoded**](/machine-learning/glossary#one-hot-encoding)\nrepresentation of each of the meal items in the dataset.\n[**Encoding**](/machine-learning/glossary#encoder) refers to the process of\nchoosing an initial numerical representation of data to train the model on.\n**Figure 2.** One-hot encodings of borscht, hot dog, and shawarma. Each one-hot encoding vector has a length of 5,000 (one entry for each menu item in the dataset). The ellipsis in the diagram represents the 4,995 entries not shown.\n\nPitfalls of sparse data representations\n---------------------------------------\n\nReviewing these one-hot encodings, you notice several problems with this\nrepresentation of the data.\n\n- **Number of weights.** Large input vectors mean a huge number of [**weights**](/machine-learning/glossary#weight) for a [**neural network**](/machine-learning/glossary#neural-network). With M entries in your one-hot encoding, and N nodes in the first layer of the network after the input, the model has to train MxN weights for that layer.\n- **Number of datapoints.** The more weights in your model, the more data you need to train effectively.\n- **Amount of computation.** The more weights, the more computation required to train and use the model. It's easy to exceed the capabilities of your hardware.\n- **Amount of memory.** The more weights in your model, the more memory that is needed on the accelerators that train and serve it. Scaling this up efficiently is very difficult.\n- **Difficulty of supporting on-device machine learning (ODML).** If you're hoping to run your ML model on local devices (as opposed to serving them), you'll need to be focused on making your model smaller, and will want to decrease the number of weights.\n\nIn this module, you'll learn how to create **embeddings**, lower-dimensional\nrepresentations of sparse data, that address these issues.\n| **Key terms:**\n|\n| - [One-hot encoding](/machine-learning/glossary#one-hot-encoding)\n| - [Neural network](/machine-learning/glossary#neural-network)\n- [Weight](/machine-learning/glossary#weight) \n[Help Center](https://support.google.com/machinelearningeducation)"]]
![Gambar 2. Atas: visualisasi enkode one-hot untuk borscht.
Vektor [1, 0, 0, 0, ..., 0] ditampilkan di atas enam kotak,
masing-masing disejajarkan dari kiri
ke kanan dengan salah satu nomor vektor. Dari kiri ke kanan, kotak tersebut
berisi gambar berikut: borscht, hot dog, salad, pizza, [kosong],
shawarma. Tengah: visualisasi enkode one-hot untuk hot dog.
Vektor [0, 1, 0, 0, ..., 0] ditampilkan di atas enam kotak, masing-masing
disejajarkan dari kiri ke kanan dengan salah satu nomor vektor. Kotak tersebut berisi
gambar yang sama dari kiri ke kanan seperti visualisasi
borscht di atas. Bawah: visualisasi enkode one-hot untuk shawarma. Vektor
[0, 0, 0, 0, ..., 1] ditampilkan di atas enam kotak, masing-masing disejajarkan
dari kiri ke kanan dengan salah satu nomor vektor. Kotak tersebut berisi
gambar yang sama dari kiri ke kanan seperti visualisasi borscht dan
hot dog.](https://developers.google.cn/static/machine-learning/crash-course/embeddings/images/food_images_one_hot_encodings.png?authuser=4&hl=id)