Cómo comenzar

Cuando trabajes con tu contacto de ventas o de asistencia para configurar el acceso a la Transferencia de datos v2.0, se te proporcionará un nombre de bucket. Deberás proporcionar a tu contacto de ventas un Grupo de Google que te permita controlar el acceso a tus archivos de datos en Google Cloud Storage.

Puedes acceder a tus datos mediante una utilidad o escribir tu propio código.

Accede a los datos con gsutil

La herramienta gsutil es una aplicación de línea de comandos, escrita en Python, que te permite acceder a tus datos sin tener que codificar. Por ejemplo, podrías usar gsutil como parte de una secuencia de comandos o un archivo por lotes en lugar de crear aplicaciones personalizadas.

Para comenzar a usar gsutil, lee la documentación de gsutil. La herramienta te solicitará las credenciales la primera vez que la uses y las almacenará para usarlas más adelante.

Ejemplos de gsutil

Puedes enumerar todos tus archivos con gsutil de la siguiente manera:

gsutil ls gs://[bucket_name]/[object name/file name]

gsutil usa casi la misma sintaxis que UNIX, incluido el asterisco comodín (*), por lo que puedes enumerar todos los archivos NetworkImpression:

gsutil ls gs://[bucket_name]/dcm_account6837_impression_*

También es fácil descargar un archivo:

gsutil cp gs://[bucket_name]/dcm_account6837_impression_2015120100.log.gz

Puedes copiar tus archivos de los depósitos de DT de Google distribuidos en tu propio depósito de GCS de la API de Google mediante una secuencia de comandos de shell Unix, existen dos opciones:

  • En gsutil, si usas un sistema Unix, ejecuta lo siguiente para todos tus depósitos a diario:

    $ day=$(date --date="1 days ago" +"%m-%d-%Y")
$ gsutil -m cp gs://{<dcmhashid_A>,<dcmhashid_B>,etc.}/*$day*.log.gz gs://<client_bucket>/

  • Como alternativa, una solución un poco más compleja es usar un archivo Bash:

    #!/bin/bash

set -x

buckets={dfa_-hasid_A dfa_-hashid_B,...} #include all hash ids
day=$(date --date="1 days ago" +"%m-%d-%Y")
for b in ${buckets[@]}; do /
    gsutil -m cp gs://$b/*$day*.log.gz gs:/// /
done

Accede a los datos de manera programática

Google Cloud Storage tiene API y muestras para muchos lenguajes de programación que te permiten acceder a tus datos de manera programática. A continuación, se detallan los pasos específicos de la Transferencia de datos v2.0 que debes seguir para compilar una integración que funcione.

Obtener una cuenta de servicio

Para comenzar a usar la Transferencia de datos v2.0, primero debes usar la herramienta de configuración, que te guiará para crear un proyecto en la Consola de API de Google, habilitar la API y crear credenciales.

Para configurar una cuenta de servicio nueva, haz lo siguiente:

  1. Haz clic en Crear credenciales > Clave de cuenta de servicio.
  2. Elige si deseas descargar la clave pública/privada de la cuenta de servicio como un archivo P12 estándar o como un archivo JSON que se puede cargar con una biblioteca cliente de la API de Google.

Ya se generó y descargó el nuevo par de claves pública y privada en tu equipo, que será la única copia. Eres responsable de almacenarlo de forma segura.

Asegúrate de mantener esta ventana abierta; necesitarás el correo electrónico de la cuenta de servicio en el siguiente paso.

Agrega una cuenta de servicio a tu grupo

  • Ve a Grupo de Google.
  • Haz clic en Mis grupos y selecciona el grupo que usas para administrar el acceso a tu bucket de Cloud Storage de DT v2.0
  • Haz clic en Administrar.
  • No hagas clic en Invitar miembros.
  • Haz clic en Agregar miembros en forma directa.
  • Copia el correo electrónico de la cuenta de servicio del paso anterior en el cuadro de miembros.
  • Seleccionar Sin correo electrónico
  • Haz clic en el botón Agregar

Hice clic por error en Invitar a miembros.

Alcance

Cualquier permiso que se pase a Cloud Storage debe ser de solo lectura

Por ejemplo, cuando usas la biblioteca cliente de Java, el alcance correcto que debes usar es el siguiente: 

StorageScopes.DEVSTORAGE_READ_ONLY