Mulai

Jika Anda bekerja sama dengan kontak dukungan atau penjualan untuk menyiapkan akses ke Transfer Data v2.0, Anda akan diberi nama bucket. Anda harus memberikan Grup Google kepada kontak penjualan Anda, yang memungkinkan Anda mengontrol akses ke file data di Google Cloud Storage.

Anda dapat memilih untuk mengakses data menggunakan utilitas atau menulis kode Anda sendiri.

Mengakses data menggunakan gsutil

Alat gsutil adalah aplikasi command line, ditulis dalam Python, yang memungkinkan Anda mengakses data tanpa harus melakukan {i>coding<i} apa pun. Anda dapat menggunakan gsutil sebagai bagian dari skrip atau file batch daripada membuat aplikasi kustom.

Untuk memulai gsutil, baca gsutil dokumentasi tambahan. Alat ini akan meminta kredensial Anda saat pertama kali Anda menggunakannya, lalu menyimpannya untuk digunakan nanti.

Contoh gsutil

Anda dapat mencantumkan semua file menggunakan gsutil sebagai berikut:

gsutil ls gs://[bucket_name]/[object name/file name]

gsutil menggunakan banyak sintaksis yang sama dengan UNIX, termasuk karakter pengganti tanda bintang (*), sehingga Anda dapat menampilkan daftar semua file NetworkImpression:

gsutil ls gs://[bucket_name]/dcm_account6837_impression_*

Mendownload file juga mudah:

gsutil cp gs://[bucket_name]/dcm_account6837_impression_2015120100.log.gz

Anda dapat menyalin file dari bucket Google DT yang tersebar ke Bucket GCS Google API Anda sendiri menggunakan skrip shell Unix. Ada dua opsi:

  • Di gsutil, jika Anda menggunakan Sistem Unix, jalankan perintah berikut untuk semua bucket Anda setiap hari:

    $ day=$(date --date="1 days ago" +"%m-%d-%Y")
$ gsutil -m cp gs://{<dcmhashid_A>,<dcmhashid_B>,etc.}/*$day*.log.gz gs://<client_bucket>/

  • Atau, solusi yang sedikit lebih rumit adalah menggunakan file bash:

    #!/bin/bash

set -x

buckets={dfa_-hasid_A dfa_-hashid_B,...} #include all hash ids
day=$(date --date="1 days ago" +"%m-%d-%Y")
for b in ${buckets[@]}; do /
    gsutil -m cp gs://$b/*$day*.log.gz gs:/// /
done

Mengakses data secara terprogram

Google Cloud Storage memiliki API dan sampel untuk banyak pemrograman bahasa yang memungkinkan Anda mengakses data secara terprogram. Berikut adalah langkah-langkah khusus untuk Transfer Data v2.0 yang harus Anda lakukan untuk membuat integrasi yang berfungsi.

Dapatkan akun layanan

Untuk mulai menggunakan Transfer Data v2.0, Anda harus terlebih dahulu penggunaan alat penyiapan, yang akan memandu Anda membuat project di Konsol API Google, mengaktifkan API, dan membuat kredensial.

Untuk menyiapkan akun layanan baru, lakukan hal berikut:

  1. Klik Create credentials > Service account key.
  2. Pilih apakah akan mendownload kunci publik/pribadi akun layanan sebagai file P12 standar, atau sebagai file JSON yang dapat dimuat oleh klien Google API library.

Pasangan kunci umum/pribadi baru Anda dibuat atau didownload ke komputer Anda, dan berfungsi sebagai satu-satunya salinan untuk kunci ini. Anda bertanggung jawab untuk menyimpannya dengan aman.

Pastikan untuk tetap membuka jendela ini karena Anda memerlukan email akun layanan di langkah berikutnya.

Menambahkan akun layanan ke grup Anda

  • Buka Google Grup
  • Klik Grup Saya dan pilih grup yang Anda gunakan untuk mengelola akses ke Bucket Cloud Storage DT v2.0
  • Klik Kelola
  • Jangan klik Undang Anggota.
  • Klik Langsung tambahkan anggota
  • Salin email akun layanan dari langkah sebelumnya ke dalam kotak anggota
  • Pilih Tidak ada email
  • Klik tombol Tambahkan

Saya tidak sengaja mengklik Undang Anggota

Cakupan

Cakupan apa pun yang diteruskan ke Cloud Storage harus Bersifat Hanya Baca

Misalnya, saat menggunakan library klien Java, cakupan yang benar untuk digunakan adalah: 

StorageScopes.DEVSTORAGE_READ_ONLY