Lorsque vous contactez votre service commercial ou le service d'assistance pour configurer l'accès à Data Transfer v2.0, un nom de bucket vous sera fourni. Vous devrez indiquer à votre contact commercial un groupe Google qui vous permettra de contrôler l'accès à vos fichiers de données dans Google Cloud Storage.
Vous pouvez accéder à vos données à l'aide d'un utilitaire ou écrire votre propre code.
Accéder aux données à l'aide de gsutil
L'outil gsutil est une application de ligne de commande, écrite en Python, qui vous permet d'accéder à vos données sans aucun codage. Vous pouvez, par exemple, utiliser gsutil dans un script ou un fichier par lot au lieu de créer des applications personnalisées.
Pour commencer à utiliser gsutil, consultez la documentation gsutil. L'outil vous demandera vos identifiants la première fois que vous l'utiliserez, puis les stockera pour une utilisation ultérieure.
Exemples gsutil
Vous pouvez lister tous vos fichiers à l'aide de gsutil comme suit:
gsutil ls gs://[bucket_name]/[object name/file name]
gsutil utilise presque la même syntaxe que UNIX, y compris l'astérisque (*), qui vous permet de lister tous les fichiers NetworkImpression:
gsutil ls gs://[bucket_name]/dcm_account6837_impression_*
Vous pouvez également télécharger un fichier facilement:
gsutil cp gs://[bucket_name]/dcm_account6837_impression_2015120100.log.gz
Vous pouvez copier vos fichiers des buckets Google de transfert de données vers votre bucket GCS des API Google à l'aide d'un script d'interface système Unix. Deux options s'offrent à vous:
Dans gsutil, si vous utilisez un système Unix, exécutez quotidiennement les commandes suivantes pour tous vos buckets:
$ day=$(date --date="1 days ago" +"%m-%d-%Y") $ gsutil -m cp gs://{<dcmhashid_A>,<dcmhashid_B>,etc.}/*$day*.log.gz gs://<client_bucket>/Une solution un peu plus complexe consiste à utiliser un fichier bash:
#!/bin/bash set -x buckets={dfa_-hasid_A dfa_-hashid_B,...} #include all hash ids day=$(date --date="1 days ago" +"%m-%d-%Y") for b in ${buckets[@]}; do / gsutil -m cp gs://$b/*$day*.log.gz gs:/// / done
Accéder aux données de manière automatisée
Google Cloud Storage dispose d'API et d'exemples pour de nombreux langages de programmation qui vous permettent d'accéder à vos données de manière automatisée. Vous trouverez ci-dessous les étapes spécifiques à Data Transfer v2.0 que vous devez suivre pour créer une intégration fonctionnelle.
Obtenir un compte de service
Pour commencer à utiliser le transfert de données v2.0, vous devez d'abord utiliser l'outil de configuration. Celui-ci vous explique comment créer un projet dans la console Google APIs, activer l'API et créer des identifiants.
Pour configurer un nouveau compte de service:
- Cliquez sur Créer des identifiants > Clé de compte de service.
- Choisissez de télécharger la clé publique/privée du compte de service sous la forme d'un fichier P12 standard ou d'un fichier JSON pouvant être chargé par une bibliothèque cliente des API Google.
Votre nouvelle paire de clés publique et privée est générée et téléchargée sur votre ordinateur. Il s'agit de la seule copie de cette clé. Vous êtes responsable de leur stockage sécurisé.
Veillez à garder cette fenêtre ouverte, car vous aurez besoin de l'adresse e-mail du compte de service à l'étape suivante.
Ajouter un compte de service à votre groupe
- Accédez à Google Group.
- Cliquez sur "Mes groupes", puis sélectionnez le groupe que vous utilisez pour gérer l'accès à votre bucket Cloud Storage DT v2.0.
- Cliquez sur "Gérer".
- Ne cliquez pas sur "Inviter des membres".
- Cliquez sur "Ajouter des membres directement".
- Copiez l'adresse e-mail du compte de service de l'étape précédente dans le champ des membres.
- Sélectionnez "Aucun e-mail"
- Cliquez sur le bouton "Ajouter".
J'ai cliqué sur "Inviter des membres" par erreur
Portée
Tout champ d'application transmis à Cloud Storage doit être en lecture seule.
Par exemple, lorsque vous employez la bibliothèque cliente Java, le champ d'application correct est le suivant :
StorageScopes.DEVSTORAGE_READ_ONLY