Halaman tutorial Cloud Search ini menunjukkan cara menyiapkan sumber data dan konektor konten untuk mengindeks data. Untuk memulai dari awal tutorial ini, lihat tutorial memulai Cloud Search
Membuat konektor
Ubah direktori kerja Anda ke direktori cloud-search-samples/end-to-end/connector
dan jalankan perintah ini:
mvn package -DskipTests
Perintah ini akan mendownload dependensi yang diperlukan untuk membuat konektor konten dan mengompilasi kode.
Membuat kredensial akun layanan
Konektor memerlukan kredensial akun layanan untuk memanggil Cloud Search API. Untuk membuat kredensial:
- Kembali ke Google Cloud Console.
- Di navigasi sebelah kiri, klik Credentials. Halaman "Kredensial" akan muncul.
- Klik menu drop-down + CREATE KREDENTIALS dan pilih Service account. Halaman "Create service account" akan muncul.
- Di kolom Nama akun layanan, masukkan "tutorial".
- Catat nilai ID akun Layanan (tepat setelah nama akun Layanan). Nilai ini digunakan nanti.
- Klik CREATE. Dialog "Izin akun layanan (opsional)" akan muncul.
- Klik LANJUTKAN. Dialog "Beri pengguna akses ke akun layanan ini (opsional)" akan muncul.
- Klik SELESAI. Layar "Credentials" akan muncul.
- Di bagian Akun Layanan, klik email akun layanan. Halaman "detail akun layanan" akan ditampilkan.
- Di bagian Keys, klik menu drop-down ADD KEY dan pilih Create new key. Dialog "Create private key" akan muncul.
- Klik CREATE.
- (opsional) Jika dialog "Do you want to allow downloads on console.cloud.google.com?” muncul, klik Allow.
- File kunci pribadi disimpan ke komputer Anda. Catat lokasi file yang didownload. File ini digunakan untuk mengonfigurasi konektor konten sehingga dapat mengautentikasi dirinya sendiri saat memanggil API Google Cloud Search.
Menginisialisasi dukungan pihak ketiga
Sebelum dapat memanggil API Cloud Search lainnya, Anda harus melakukan inisialisasi dukungan pihak ketiga untuk Google Cloud Search.
Guna melakukan inisialisasi dukungan pihak ketiga untuk Cloud Search:
Project platform Cloud Search Anda berisi kredensial akun layanan. Namun, untuk menginisialisasi dukungan pihak ketiga, Anda harus membuat kredensial aplikasi web. Untuk mengetahui petunjuk cara membuat kredensial aplikasi web, lihat Membuat kredensial. Setelah menyelesaikan langkah ini, Anda akan memiliki file client ID dan rahasia klien.
Gunakan Google's OAuth 2 playground untuk mendapatkan token akses:
- Klik setelan dan centang User your own auth credentials.
- Masukkan client ID dan rahasia klien dari langkah 1.
- Klik Close.
- Di kolom cakupan, ketik
https://www.googleapis.com/auth/cloud_search.settings
, lalu klik Authorize. Playground OAuth 2 menampilkan kode otorisasi. - Klik Exchange otorisasi kode untuk token. Token ditampilkan.
Guna melakukan inisialisasi dukungan pihak ketiga untuk Cloud Search, gunakan perintah curl berikut. Pastikan untuk mengganti
[YOUR_ACCESS_TOKEN]
dengan token yang diperoleh pada langkah 2.curl --request POST \ 'https://cloudsearch.googleapis.com/v1:initializeCustomer' \ --header 'Authorization: Bearer [YOUR_ACCESS_TOKEN]' \ --header 'Accept: application/json' \ --header 'Content-Type: application/json' \ --data '{}' \ --compressed
Jika berhasil, isi respons berisi instance
operation
. Contoh:{ name: "operations/customers/01b3fqdm/lro/AOIL6eBv7fEfiZ_hUSpm8KQDt1Mnd6dj5Ru3MXf-jri4xK6Pyb2-Lwfn8vQKg74pgxlxjrY" }
Jika tidak berhasil, hubungi dukungan Cloud Search.
Gunakan operations.get untuk memverifikasi bahwa dukungan pihak ketiga telah diinisialisasi:
curl \ 'https://cloudsearch.googleapis.com/v1/operations/customers/01b3fqdm/lro/AOIL6eBv7fEfiZ_hUSpm8KQDt1Mnd6dj5Ru3MXf-jri4xK6Pyb2-Lwfn8vQKg74pgxlxjrY?key= [YOUR_API_KEY]' \ --header 'Authorization: Bearer [YOUR_ACCESS_TOKEN]' \ --header 'Accept: application/json' \ --compressed
Setelah inisialisasi pihak ketiga selesai, inisialisasi akan berisi kolom
done
yang ditetapkan ketrue
. Contoh:{ name: "operations/customers/01b3fqdm/lro/AOIL6eBv7fEfiZ_hUSpm8KQDt1Mnd6dj5Ru3MXf-jri4xK6Pyb2-Lwfn8vQKg74pgxlxjrY" done: true }
Membuat sumber data
Selanjutnya, buat sumber data di konsol Admin. Sumber data menyediakan namespace untuk mengindeks konten menggunakan konektor.
- Buka konsol Google Admin.
- Klik ikon Aplikasi. Halaman "Administrasi aplikasi" akan muncul.
- Klik Google Workspace. Halaman "Administrasi Google Workspace aplikasi" akan muncul.
- Scroll ke bawah, lalu klik Cloud Search. Halaman "Setelan untuk Google Workspace" akan muncul.
- Klik Sumber data pihak ketiga. Halaman "Sumber Data" akan muncul.
- Klik lingkaran kuning +. Dialog "Tambahkan sumber data baru" akan muncul.
- Di kolom Nama tampilan, ketik "tutorial".
- Di kolom Alamat email akun layanan, masukkan alamat email akun layanan yang dibuat di bagian sebelumnya. Jika Anda tidak tahu alamat email akun layanan, cari nilai di halaman akun layanan.
- Klik TAMBAHKAN. Dialog "Sumber data berhasil dibuat" akan muncul.
- Klik *OK. Perhatikan ID Sumber untuk sumber data yang baru dibuat. ID Sumber digunakan untuk mengonfigurasi konektor konten.
Membuat token akses pribadi untuk GitHub API
Konektor memerlukan akses terautentikasi ke GitHub API agar memiliki kuota yang cukup. Untuk memudahkan, konektor memanfaatkan token akses pribadi, bukan OAuth. Token pribadi memungkinkan otentikasi sebagai pengguna dengan sekumpulan izin terbatas yang mirip dengan OAuth.
- Login ke GitHub.
- Di pojok kanan atas, klik foto profil Anda. Sebuah menu {i>drop-down <i}akan muncul.
- Klik Setelan.
- Klik Setelan developer.
- Klik Token akses pribadi.
- Klik Buat token akses pribadi.
- Di kolom Catatan, masukkan "Tutorial Cloud Search".
- Periksa cakupan public_repo.
- Klik Generate Token.
- Catat token yang dibuat. Digunakan oleh konektor untuk memanggil GitHub API dan memberikan kuota API untuk melakukan pengindeksan.
Mengonfigurasi konektor
Setelah membuat kredensial dan sumber data, perbarui konfigurasi konektor untuk menyertakan nilai berikut:
- Dari command line, ubah direktori menjadi
cloud-search-samples/end-to-end/connector/
. - Buka file
sample-config.properties
dengan editor teks. - Tetapkan parameter
api.serviceAccountPrivateKeyFile
ke jalur file kredensial layanan yang Anda download sebelumnya. - Tetapkan parameter
api.sourceId
ke ID sumber data yang Anda buat sebelumnya. - Setel parameter
github.user
ke nama pengguna GitHub Anda. - Tetapkan parameter
github.token
ke token akses yang Anda buat sebelumnya. - Simpan file.
Memperbarui skema
Konektor mengindeks konten terstruktur dan tidak terstruktur. Sebelum mengindeks data, Anda harus memperbarui skema untuk sumber data. Jalankan perintah berikut untuk memperbarui skema:
mvn exec:java -Dexec.mainClass=com.google.cloudsearch.tutorial.SchemaTool \
-Dexec.args="-Dconfig=sample-config.properties"
Menjalankan konektor
Untuk menjalankan konektor dan mulai mengindeks, jalankan perintah:
mvn exec:java -Dexec.mainClass=com.google.cloudsearch.tutorial.GithubConnector \
-Dexec.args="-Dconfig=sample-config.properties"
Konfigurasi default untuk konektor adalah mengindeks satu repositori dalam organisasi googleworkspace
. Mengindeks repositori memerlukan waktu sekitar 1 menit.
Setelah pengindeksan awal, konektor akan terus melakukan polling untuk perubahan pada repositori yang perlu ditampilkan dalam indeks Cloud Search.
Meninjau kode
Bagian yang tersisa memeriksa cara konektor dibuat.
Memulai aplikasi
Titik entri ke konektor adalah class GithubConnector
. Metode
main
membuat instance IndexingApplication
SDK
dan memulainya.
ListingConnector
yang disediakan oleh SDK menerapkan strategi traversal yang memanfaatkan antrean Cloud Search untuk melacak status item dalam indeks. Kunci ini didelegasikan ke GithubRepository
, yang diimplementasikan oleh konektor contoh, untuk mengakses konten dari GitHub.
Melintasi repositori GitHub
Selama traversal penuh, metode getIds()
dipanggil untuk mendorong item yang mungkin perlu diindeks ke dalam antrean.
Konektor dapat mengindeks beberapa repositori atau organisasi. Untuk meminimalkan dampak kegagalan, satu repositori GitHub akan dilalui pada satu waktu. Sebuah checkpoint ditampilkan dengan hasil traversal yang berisi daftar repositori yang akan diindeks dalam panggilan berikutnya ke getIds()
. Jika terjadi error, pengindeksan akan dilanjutkan di repositori saat ini, bukan memulai dari awal.
Metode collectRepositoryItems()
menangani traversal satu repo GitHub. Metode ini menampilkan kumpulan ApiOperations
yang mewakili item yang akan dikirim ke antrean. Item dikirim sebagai nama resource dan nilai hash yang mewakili status item saat ini.
Nilai hash digunakan dalam traversal berikutnya pada repositori GitHub. Nilai ini memberikan pemeriksaan ringan untuk menentukan apakah konten telah berubah tanpa harus mengupload konten tambahan. Konektor tersebut mengantrekan semua item secara membabi buta. Jika item baru atau nilai hash telah berubah, item tersebut akan tersedia untuk polling dalam antrean. Jika tidak, item akan dianggap tidak dimodifikasi.
Memproses antrean
Setelah traversal penuh selesai, konektor mulai mengumpulkan antrean untuk item yang perlu diindeks. Metode getDoc()
dipanggil untuk setiap item yang diambil dari antrean. Metode ini membaca
item dari GitHub dan mengonversinya menjadi representasi yang tepat
untuk pengindeksan.
Saat konektor berjalan pada data live yang dapat diubah kapan saja, getDoc()
juga memverifikasi bahwa item dalam antrean masih valid dan menghapus item apa pun dari indeks yang sudah tidak ada lagi.
Untuk setiap objek GitHub yang diindeks oleh konektor, metode indexItem()
yang sesuai menangani pembuatan representasi item untuk Cloud Search. Misalnya, untuk membangun representasi item konten:
Selanjutnya, deploy antarmuka penelusuran.