Mulai

Jika Anda bekerja sama dengan kontak dukungan atau penjualan untuk menyiapkan akses ke Transfer Data v2.0, Anda akan diberi nama bucket. Anda harus memberikan kontak penjualan Google Grup yang memungkinkan Anda mengontrol akses ke file data Anda di Google Cloud Storage.

Anda dapat memilih untuk mengakses data Anda menggunakan utilitas atau menulis kode Anda sendiri.

Mengakses data menggunakan gsutil

Alat gsutil adalah aplikasi command line, ditulis dalam Python, yang memungkinkan Anda mengakses data tanpa harus melakukan {i>coding<i} apa pun. Anda dapat menggunakan gsutil sebagai bagian dari skrip atau file batch daripada membuat aplikasi kustom.

Untuk memulai gsutil, baca gsutil dokumentasi tambahan. Alat ini akan meminta kredensial Anda saat pertama kali menggunakannya dan kemudian menyimpannya untuk digunakan di kemudian hari.

contoh gsutil

Anda dapat mencantumkan semua file menggunakan gsutil sebagai berikut:

gsutil ls gs://[bucket_name]/[object name/file name]

gsutil menggunakan banyak sintaksis yang sama dengan UNIX, termasuk karakter pengganti tanda bintang (*), sehingga Anda dapat mencantumkan semua file NetworkImpression:

gsutil ls gs://[bucket_name]/dcm_account6837_impression_*

Download file juga mudah:

gsutil cp gs://[bucket_name]/dcm_account6837_impression_2015120100.log.gz

Anda dapat menyalin file dari bucket DT Google yang tersebar ke Bucket GCS Google API Anda sendiri menggunakan skrip shell Unix, ada dua opsi:

  • Di gsutil, jika Anda menggunakan Sistem Unix, jalankan hal berikut untuk semua bucket Anda setiap hari:

    $ day=$(date --date="1 days ago" +"%m-%d-%Y")
$ gsutil -m cp gs://{<dcmhashid_A>,<dcmhashid_B>,etc.}/*$day*.log.gz gs://<client_bucket>/

  • Atau, solusi yang sedikit lebih rumit adalah dengan menggunakan file bash:

    #!/bin/bash

set -x

buckets={dfa_-hasid_A dfa_-hashid_B,...} #include all hash ids
day=$(date --date="1 days ago" +"%m-%d-%Y")
for b in ${buckets[@]}; do /
    gsutil -m cp gs://$b/*$day*.log.gz gs:/// /
done

Mengakses data secara terprogram

Google Cloud Storage memiliki API dan sampel untuk berbagai pemrograman bahasa yang memungkinkan Anda mengakses data secara terprogram. Berikut adalah langkah-langkah khusus Transfer Data v2.0 yang harus Anda ambil untuk membuat integrasi yang berjalan.

Dapatkan akun layanan

Untuk mulai menggunakan Transfer Data v2.0, Anda harus terlebih dahulu penggunaan alat penyiapan, yang akan memandu Anda membuat project di Konsol API Google, mengaktifkan API, dan membuat kredensial.

Untuk menyiapkan akun layanan baru, lakukan hal berikut:

  1. Klik Create credentials > Kunci akun layanan.
  2. Pilih apakah akan mendownload kunci publik/pribadi akun layanan sebagai file P12 standar, atau sebagai file JSON yang dapat dimuat oleh klien Google API library.

Pasangan kunci umum/pribadi baru Anda dibuat atau didownload ke komputer Anda, dan berfungsi sebagai satu-satunya salinan untuk kunci ini. Anda bertanggung jawab untuk menyimpannya dengan aman.

Pastikan untuk tetap membuka jendela ini karena Anda memerlukan email akun layanan di langkah berikutnya.

Menambahkan akun layanan ke grup Anda

  • Buka Google Grup
  • Klik Grup Saya dan pilih grup yang Anda gunakan untuk mengelola akses ke Bucket Cloud Storage DT v2.0 Anda
  • Klik Kelola
  • Jangan klik Undang Anggota!
  • Klik Langsung tambahkan anggota
  • Salin email akun layanan dari langkah sebelumnya ke kotak anggota
  • Pilih Tidak ada email
  • Klik tombol Tambahkan

Saya tidak sengaja mengklik Undang Anggota

Cakupan

Cakupan apa pun yang diteruskan ke Cloud Storage harus Bersifat Hanya Baca

Misalnya, saat menggunakan pustaka klien Java, cakupan yang benar untuk digunakan adalah: 

StorageScopes.DEVSTORAGE_READ_ONLY