Cuando trabajes con tu contacto de ventas o de asistencia para configurar el acceso a Transferencia de datos v2.0, se le proporcionará un nombre de bucket. Deberás proporcionar a tu contacto de ventas un Grupo de Google, que te permite controlar acceso a tus archivos de datos en Google Cloud Storage.
Puedes elegir acceder a tus datos con una utilidad o escribir tu propio código.
Accede a los datos con gsutil
La herramienta gsutil es una aplicación de línea de comandos, escrita en Python, que te permite acceder a tus datos sin tener que escribir código. Tú podría, por ejemplo, usar gsutil como parte de una secuencia de comandos o un archivo por lotes en lugar de crear aplicaciones personalizadas.
Para comenzar a usar gsutil, lee la documentación de gsutil. La herramienta te solicitará tus credenciales la primera vez que la uses y, luego, las almacenará para usarlas más adelante.
Ejemplos de gsutil
Puedes enumerar todos tus archivos con gsutil de la siguiente manera:
gsutil ls gs://[bucket_name]/[object name/file name]
gsutil usa la misma sintaxis que UNIX, incluido el comodín asterisco (*) para que pueda enumerar todos los archivos NetworkImpression:
gsutil ls gs://[bucket_name]/dcm_account6837_impression_*
También es fácil descargar un archivo:
gsutil cp gs://[bucket_name]/dcm_account6837_impression_2015120100.log.gz
Puedes copiar tus archivos de los buckets de Google DT dispersos a tu propio bucket de GCS de la API de Google con una secuencia de comandos de shell de Unix. Existen dos opciones:
En gsutil, si usas un sistema Unix, ejecuta lo siguiente para todos tus buckets a diario:
$ day=$(date --date="1 days ago" +"%m-%d-%Y") $ gsutil -m cp gs://{<dcmhashid_A>,<dcmhashid_B>,etc.}/*$day*.log.gz gs://<client_bucket>/
Como alternativa, una solución un poco más compleja es usar un archivo bash:
#!/bin/bash set -x buckets={dfa_-hasid_A dfa_-hashid_B,...} #include all hash ids day=$(date --date="1 days ago" +"%m-%d-%Y") for b in ${buckets[@]}; do / gsutil -m cp gs://$b/*$day*.log.gz gs://
/ / done
Accede a los datos de manera programática
Google Cloud Storage cuenta con APIs y muestras para muchas actividades de programación lenguajes de programación para acceder a los datos. A continuación, se incluyen los pasos específicos de la versión 2.0 de la Transferencia de datos que debes seguir para crear una integración que funcione.
Obtener una cuenta de servicio
Para comenzar a usar Transferencia de datos v2.0, primero debes utilizar la herramienta de configuración, que te guiará para crear un proyecto en el Consola de APIs de Google, cómo habilitar la API y crear credenciales.
Para configurar una cuenta de servicio nueva, haz lo siguiente:
- Haz clic en Crear credenciales > Clave de cuenta de servicio.
- Elige si quieres descargar la clave pública o privada de la cuenta de servicio como una P12 estándar o un archivo JSON que un cliente de la API de Google puede cargar biblioteca.
Ya se generó y descargó el nuevo par de claves pública y privada en tu equipo, que será la única copia. Eres responsable de almacenarla de forma segura.
Asegúrate de mantener esta ventana abierta, ya que necesitarás el correo electrónico de la cuenta de servicio en el siguiente paso.
Agrega una cuenta de servicio a tu grupo
- Ve al Grupo de Google.
- Haz clic en Mis grupos y selecciona el grupo que usas para administrar el acceso a tu bucket de Cloud Storage de DT v2.0
- Haz clic en Administrar.
- No hagas clic en Invitar a miembros.
- Haz clic en Agregar miembros directamente.
- Copia el correo electrónico de la cuenta de servicio del paso anterior en la cuadro de miembros
- Selecciona Sin correo electrónico.
- Haz clic en el botón Agregar.
Hice clic en Invitar miembros por accidente
Alcance
Todos los permisos que se pasen a Cloud Storage deben ser de solo lectura
Por ejemplo, si usas la biblioteca cliente de Java, debes usar el alcance correcto para usar es:
StorageScopes.DEVSTORAGE_READ_ONLY