Sumber data eksternal adalah sumber data yang dapat Anda kueri langsung dari BigQuery, meskipun data tersebut tidak disimpan di penyimpanan BigQuery. Misalnya, Anda mungkin memiliki data di database Google Cloud lain, di file di Cloud Storage, atau di produk cloud yang berbeda sama sekali yang ingin Anda analisis di BigQuery, tetapi Anda tidak yang telah siap untuk bermigrasi.
Kasus penggunaan untuk sumber data eksternal mencakup hal berikut:
- Untuk workload extract-load-transform (ELT), memuat dan membersihkan data Anda dalam satu penerusan dan menulis hasil yang telah dibersihkan ke penyimpanan BigQuery, menggunakan kueri
CREATE TABLE ... AS SELECT. - Menggabungkan tabel BigQuery dengan data yang sering berubah dari sumber data eksternal. Dengan membuat kueri sumber data eksternal secara langsung, Anda tidak perlu memuat ulang data ke penyimpanan BigQuery setiap kali data berubah.
Sebagai pelanggan Ads Data Hub, Anda dapat memanfaatkan fitur BigQuery ini untuk mengambil data pihak pertama dengan mudah dari sumber lain, seperti S3 dan Azure, lalu menggabungkannya ke data iklan Google dalam kueri Anda.
Untuk mengetahui detail selengkapnya tentang cara menghubungkan sumber data eksternal ke BigQuery, lihat Pengantar sumber data eksternal.
Batasan
- Lokasi berikut ini didukung. Jika data AWS atau Azure Anda berada di region yang tidak didukung, Anda juga dapat mempertimbangkan untuk menggunakan BigQuery Data Transfer Service.
- AWS - AS Timur (N. Virginia) (
aws-us-east-1) - Azure - AS Timur 2 (
azure-eastus2)
- AWS - AS Timur (N. Virginia) (
- Tugas yang dijalankan pada data dari koneksi BigQuery:
- tunduk pada persyaratan agregasi yang sama seperti pekerjaan lainnya di Ads Data Hub
- harus mematuhi kebijakan Google
Amazon S3
Berikut adalah ringkasan umum tentang langkah-langkah yang diperlukan untuk mengekspor data dari Amazon S3 ke BigQuery untuk digunakan di Ads Data Hub. Lihat Menghubungkan ke Amazon S3 untuk mengetahui detail selengkapnya.
- Membuat kebijakan IAM AWS untuk BigQuery. Setelah kebijakan dibuat, Nama Resource Amazon (ARN) dapat ditemukan di halaman Detail kebijakan.
- Buat peran IAM AWS untuk BigQuery menggunakan kebijakan yang dibuat pada langkah sebelumnya.
- Membuat koneksi di BigQuery. Buat koneksi di project BigQuery yang aksesnya dimiliki Ads Data Hub—misalnya, project admin Anda. Identitas Google BigQuery, yang akan digunakan pada langkah berikutnya, ditampilkan di halaman Info koneksi.
- Menambahkan hubungan kepercayaan ke peran AWS. Di halaman AWS IAM, edit peran yang dibuat pada langkah sebelumnya:
- Ubah durasi sesi maksimum menjadi 12 jam.
- Tambahkan kebijakan kepercayaan ke peran AWS menggunakan identitas Google BigQuery yang dibuat di langkah sebelumnya.
- Muat data ke set data BigQuery.
- Buat kueri data di Ads Data Hub. Pelajari cara bergabung dengan data pihak pertama.
- Opsional: Jadwalkan pemuatan data berkelanjutan di BigQuery.
Azure Blob Storage
Berikut adalah ringkasan umum tentang langkah-langkah yang diperlukan untuk mengekspor data dari Azure Blob Storage ke BigQuery untuk digunakan di Ads Data Hub. Baca artikel Menghubungkan ke Blob Storage untuk mengetahui detail selengkapnya.
- Buat aplikasi di tenant Azure Anda.
- Membuat koneksi di BigQuery.
- ID Tenant adalah ID direktori dari langkah sebelumnya.
- Federated Application (Client) ID adalah Aplikasi (client) ID dari langkah sebelumnya.
- Identitas Google BigQuery akan digunakan pada langkah berikutnya.
- Tambahkan kredensial gabungan di Azure.
- Untuk ID subjek, gunakan identitas Google BigQuery dari langkah sebelumnya.
- Menetapkan peran ke aplikasi Azure BigQuery, yang memberikan akses ke Storage Blob Data Reader.
- Muat data ke set data BigQuery.
- Buat kueri data di Ads Data Hub. Pelajari cara bergabung dengan data pihak pertama.
- Opsional: Jadwalkan pemuatan data berkelanjutan di BigQuery.