Başlarken

Veri Aktarımı 2.0 sürümüne erişimi ayarlamak için satış veya destek temsilcinizle birlikte çalışırken, size bir paket adı verilir. Satış temsilcinize, Google Cloud Storage'daki veri dosyalarınıza erişimi kontrol etmenizi sağlayan bir Google grubu sağlamanız gerekir.

Verilerinize bir yardımcı program kullanarak erişmeyi seçebilirsiniz İsterseniz kendi kodunuzu yazabilirsiniz.

gsutil'i kullanarak verilere erişme

gsutil aracı, Python'da yazılmış bir komut satırı uygulamasıdır ve kod yazmanıza gerek kalmadan verilerinize erişmenizi sağlar. Örneğin, özel uygulamalar oluşturmak yerine gsutil'i bir komut dosyasının veya toplu dosyanın parçası olarak kullanabilirsiniz.

gsutil'i kullanmaya başlamak için gsutil dokümanlarına göz atın. Araç, ilk seferde kimlik bilgilerinizi girmenizi ister bunları kullanabilir ve daha sonra kullanmak üzere saklayabilirsiniz.

gsutil örnekleri

gsutil'i kullanarak tüm dosyalarınızı aşağıdaki gibi listeleyebilirsiniz:

gsutil ls gs://[bucket_name]/[object name/file name]

gsutil, UNIX ile aynı söz dizimini kullanır (joker karakter de dahil) yıldız (*) kullanarak tüm NetworkImpression dosyalarını listeleyebilirsiniz:

gsutil ls gs://[bucket_name]/dcm_account6837_impression_*

Dosya indirmek de kolaydır:

gsutil cp gs://[bucket_name]/dcm_account6837_impression_2015120100.log.gz

Farklı dağılmış DT Google paketlerindeki dosyalarınızı kendi Google API GCS Paketinize kopyalayabilirsiniz Unix kabuk komut dosyası kullanıyorsanız iki seçenek vardır:

  • gsutil'de Unix Sistemi kullanıyorsanız tüm paketleriniz için günlük olarak aşağıdaki komutu çalıştırın:

    $ day=$(date --date="1 days ago" +"%m-%d-%Y")
$ gsutil -m cp gs://{<dcmhashid_A>,<dcmhashid_B>,etc.}/*$day*.log.gz gs://<client_bucket>/

  • Biraz daha zorlayıcı bir çözüm, bash dosyası kullanmaktır:

    #!/bin/bash

set -x

buckets={dfa_-hasid_A dfa_-hashid_B,...} #include all hash ids
day=$(date --date="1 days ago" +"%m-%d-%Y")
for b in ${buckets[@]}; do /
    gsutil -m cp gs://$b/*$day*.log.gz gs:/// /
done

Verilere programatik olarak erişme

Google Cloud Storage, verilerinize programatik bir şekilde erişmenize olanak tanıyan birçok programlama dili için API'lere ve örneklere sahiptir. Aşağıdakiler Veri Aktarımı 2.0 sürümüne özel adımları içerir. en iyi uygulamaları paylaşacağım.

Hizmet hesabı alma

Data Transfer v2.0'ı kullanmaya başlamak için önce kurulum aracını kullanmanız gerekir. Bu araç, Google API Konsolu'nda proje oluşturma, API'yi etkinleştirme ve kimlik bilgileri oluşturma konusunda size rehberlik eder.

Yeni bir hizmet hesabı oluşturmak için aşağıdakileri yapın:

  1. Kimlik bilgisi oluştur > Hizmet hesabı anahtarı'nı tıklayın.
  2. Hizmet hesabının ortak/özel anahtarının standart P12 dosyası veya bir Google API istemcisi tarafından yüklenebilen bir JSON dosyası olarak kitaplığını tanıtır.

Yeni herkese açık/özel anahtar çiftiniz oluşturulur ve makinenize indirilir; bu anahtarın tek kopyası olarak işlev görür. Bu bilgilerin depolanmasından siz sorumlu olursunuz. .

Bu pencereyi açık tutmayı unutmayın. Hizmet hesabı e-postasına ihtiyacınız olacak. adım adım anlatacağız.

Grubunuza hizmet hesabı ekleme

  • Google Gruplar'a gidin
  • Gruplarım'ı tıklayın ve erişimi yönetmek için kullandığınız grubu seçin DT v2.0 Cloud Storage Paketinize ekleyin
  • Yönet'i tıklayın.
  • Üye davet et'i tıklamayın.
  • Üyeleri doğrudan ekle'yi tıklayın.
  • Önceki adımdaki hizmet hesabı e-postasını üyeler kutusuna kopyalayın
  • E-posta yok'u seçin
  • Ekle düğmesini tıklayın

Yanlışlıkla Üye Davet Et'i tıkladım

Kapsam

Cloud Storage'a iletilen tüm kapsamlar salt okuma erişimine sahip olmalıdır

Örneğin, Java istemci kitaplığı kullanılırken doğru kapsam şudur: 

StorageScopes.DEVSTORAGE_READ_ONLY