Lorsque vous configurez l'accès au transfert de données v2.0 avec votre conseiller commercial ou d'assistance, vous obtenez un nom de bucket. Vous devez fournir à votre contact commercial groupe Google, qui vous permet de contrôler l'accès à vos fichiers de données dans Google Cloud Storage.
Vous pouvez choisir d'accéder à vos données à l'aide d'un utilitaire. ou écrire votre propre code.
Accéder aux données avec gsutil
L'outil gsutil est une application de ligne de commande écrite en Python, vous permet d'accéder à vos données sans codage. Toi pourriez, par exemple, utiliser gsutil dans le cadre d'un script ou d'un fichier de traitement par lot au lieu créer des applications personnalisées.
Pour commencer à utiliser gsutil, consultez la page gsutil documentation. L'outil vous demandera vos identifiants la première fois vous les utilisez, puis les stockez pour une utilisation ultérieure.
Exemples avec gsutil
Pour répertorier tous vos fichiers à l'aide de gsutil, procédez comme suit:
gsutil ls gs://[bucket_name]/[object name/file name]
gsutil utilise en grande partie la même syntaxe que UNIX, y compris le caractère générique (*) pour répertorier tous les fichiers NetworkImpression:
gsutil ls gs://[bucket_name]/dcm_account6837_impression_*
Il est également facile de télécharger un fichier:
gsutil cp gs://[bucket_name]/dcm_account6837_impression_2015120100.log.gz
Vous pouvez copier vos fichiers depuis les buckets Google DT dispersés vers votre propre bucket GCS d'API Google. à l'aide d'un script shell Unix, deux options s'offrent à vous:
Dans gsutil, si vous utilisez un système Unix, exécutez quotidiennement la commande suivante pour tous vos buckets:
$ day=$(date --date="1 days ago" +"%m-%d-%Y") $ gsutil -m cp gs://{<dcmhashid_A>,<dcmhashid_B>,etc.}/*$day*.log.gz gs://<client_bucket>/Une solution un peu plus délicate consiste à utiliser un fichier bash:
#!/bin/bash set -x buckets={dfa_-hasid_A dfa_-hashid_B,...} #include all hash ids day=$(date --date="1 days ago" +"%m-%d-%Y") for b in ${buckets[@]}; do / gsutil -m cp gs://$b/*$day*.log.gz gs:/// / done
Accéder aux données de manière programmatique
Google Cloud Storage propose des API et des exemples pour de nombreux programmes qui vous permettent d'accéder à vos données par programmation. Vous trouverez ci-dessous les étapes spécifiques à Data Transfer v2.0 que vous devez suivre pour créer un une intégration efficace.
Obtenir un compte de service
Pour commencer à utiliser Data Transfer v2.0, vous devez d'abord utiliser l'outil de configuration, qui vous guide tout au long de la création d'un projet dans console Google APIs, activer l'API et créer des identifiants.
Pour configurer un nouveau compte de service, procédez comme suit:
- Cliquez sur Créer des identifiants > Clé de compte de service.
- Indiquez si vous souhaitez télécharger la clé publique/privée du compte de service sous forme un fichier P12 standard ou un fichier JSON pouvant être chargé par un client API Google bibliothèque.
Votre nouvelle paire de clés publique et privée est générée et téléchargée sur votre ordinateur. Il s'agit de la seule copie de cette clé. Vous êtes responsable de leur stockage en toute sécurité.
Gardez cette fenêtre ouverte, vous aurez besoin de l'adresse e-mail du compte de service à l'étape suivante.
Ajouter un compte de service à votre groupe
- Accédez au groupe Google.
- Cliquez sur "Mes groupes" et sélectionnez le groupe que vous utilisez pour gérer l'accès. vers votre bucket Cloud Storage DT v2.0
- Cliquez sur "Gérer".
- Ne cliquez pas sur "Inviter des membres".
- Cliquez sur "Ajouter des membres directement".
- Copiez l'adresse e-mail du compte de service de l'étape précédente dans le zone de membres
- Sélectionnez Aucun e-mail
- Cliquez sur le bouton Ajouter .
J'ai cliqué sur "Inviter des membres"
<ph type="x-smartling-placeholder">Champ d'application
Tous les champs d'application transmis à Cloud Storage doivent être en lecture seule
Par exemple, lorsque vous utilisez la bibliothèque cliente Java, le champ d'application utilisation est:
StorageScopes.DEVSTORAGE_READ_ONLY