Cuando trabaje con su contacto de ventas o de asistencia para configurar el acceso a Transferencia de datos v2.0, se le proporcionará un nombre de bucket. Deberás proporcionar a tu contacto de ventas un Grupo de Google, que te permite controlar acceso a tus archivos de datos en Google Cloud Storage.
Puedes elegir acceder a tus datos con una utilidad o escribir tu propio código.
Accede a los datos con gsutil
La herramienta gsutil es una aplicación de línea de comandos, escrita en Python, que permite acceder a los datos sin tener que programar. Tú podría, por ejemplo, usar gsutil como parte de una secuencia de comandos o un archivo por lotes en lugar de crear aplicaciones personalizadas.
Para comenzar a usar gsutil, lee el archivo gsutil documentación. La herramienta te solicitará las credenciales la primera vez los uses y los almacenes para usarlos más adelante.
Ejemplos de gsutil
Puedes enumerar todos tus archivos con gsutil de la siguiente manera:
gsutil ls gs://[bucket_name]/[object name/file name]
gsutil usa la misma sintaxis que UNIX, incluido el comodín asterisco (*) para que pueda enumerar todos los archivos NetworkImpression:
gsutil ls gs://[bucket_name]/dcm_account6837_impression_*
También es fácil descargar un archivo:
gsutil cp gs://[bucket_name]/dcm_account6837_impression_2015120100.log.gz
Puedes copiar tus archivos de los buckets de Google de la DT dispersos a tu propio bucket de GCS de la API de Google con una secuencia de comandos de shell Unix, tienes dos opciones:
En gsutil, si usas un sistema Unix, ejecuta lo siguiente para todos tus buckets a diario:
$ day=$(date --date="1 days ago" +"%m-%d-%Y") $ gsutil -m cp gs://{<dcmhashid_A>,<dcmhashid_B>,etc.}/*$day*.log.gz gs://<client_bucket>/Como alternativa, una solución un poco más compleja es usar un archivo bash:
#!/bin/bash set -x buckets={dfa_-hasid_A dfa_-hashid_B,...} #include all hash ids day=$(date --date="1 days ago" +"%m-%d-%Y") for b in ${buckets[@]}; do / gsutil -m cp gs://$b/*$day*.log.gz gs:/// / done
Accede a los datos de manera programática
Google Cloud Storage cuenta con APIs y muestras para muchas actividades de programación lenguajes de programación para acceder a los datos. A continuación, se muestran los pasos específicos de Data Transfer v2.0 que debe seguir para crear un integración funcional.
Obtener una cuenta de servicio
Para comenzar a usar Transferencia de datos v2.0, primero debes uso la herramienta de configuración, que te guiará para crear un proyecto en el Consola de APIs de Google, cómo habilitar la API y crear credenciales.
Para configurar una cuenta de servicio nueva, haz lo siguiente:
- Haz clic en Crear credenciales > Clave de cuenta de servicio.
- Elige si quieres descargar la clave pública o privada de la cuenta de servicio como una P12 estándar o un archivo JSON que un cliente de la API de Google puede cargar biblioteca.
Ya se generó y descargó el nuevo par de claves pública y privada en tu equipo, que será la única copia. Tú eres responsable de almacenarla de forma segura.
Asegúrate de mantener abierta esta ventana, ya que necesitarás el correo electrónico de la cuenta de servicio en el próximo paso.
Agrega una cuenta de servicio a tu grupo
- Ve al Grupo de Google.
- Haz clic en Mis grupos y selecciona el grupo que usas para administrar el acceso a tu bucket de Cloud Storage de DT v2.0
- Haz clic en Administrar.
- No hagas clic en Invitar miembros.
- Haz clic en Agregar miembros de manera directa.
- Copia el correo electrónico de la cuenta de servicio del paso anterior en la cuadro de miembros
- Selecciona Sin correo electrónico
- Haz clic en el botón Agregar.
Accidentalmente hice clic en Invitar miembros
Alcance
Todos los permisos que se pasen a Cloud Storage deben ser de solo lectura
Por ejemplo, cuando usas la biblioteca cliente de Java, debes usar el alcance correcto para usar es:
StorageScopes.DEVSTORAGE_READ_ONLY