시작하기

영업팀 또는 지원 담당자와 협력하여 데이터 전송 v2.0에 대한 액세스 권한을 설정하면 버킷 이름이 제공됩니다. 영업 담당자에게 Google Cloud Storage의 데이터 파일에 대한 액세스를 제어할 수 있는 Google 그룹을 제공해야 합니다.

유틸리티를 사용하여 데이터에 액세스하거나 자체 코드를 작성할 수 있습니다.

gsutil을 사용하여 데이터 액세스

gsutil 도구는 Python으로 작성된 명령줄 애플리케이션으로, 코딩 없이 데이터에 액세스할 수 있습니다. 나 예를 들어 gsutil을 커스텀 애플리케이션을 만들 수 있습니다

gsutil을 시작하려면 gsutil. 문서를 참조하세요. 이 도구는 처음 사용할 때 사용자 인증 정보를 묻고 나중에 사용할 수 있도록 저장합니다.

gsutil 예시

다음과 같이 gsutil을 사용하여 모든 파일을 나열할 수 있습니다.

gsutil ls gs://[bucket_name]/[object name/file name]

gsutil은 와일드 카드 별표(*)를 비롯하여 UNIX와 거의 동일한 문법을 사용하므로 모든 NetworkImpression 파일을 나열할 수 있습니다.

gsutil ls gs://[bucket_name]/dcm_account6837_impression_*

파일을 다운로드하는 것도 간단합니다.

gsutil cp gs://[bucket_name]/dcm_account6837_impression_2015120100.log.gz

Unix 셸 스크립트를 사용하여 분산된 DT Google 버킷에서 자체 Google API GCS 버킷으로 파일을 복사할 수 있습니다. 두 가지 옵션이 있습니다.

  • gsutil에서 Unix 시스템을 사용하는 경우 매일 모든 버킷에 대해 다음을 실행합니다.

    $ day=$(date --date="1 days ago" +"%m-%d-%Y")
$ gsutil -m cp gs://{<dcmhashid_A>,<dcmhashid_B>,etc.}/*$day*.log.gz gs://<client_bucket>/

  • 또는 좀 더 까다로운 해결책은 bash 파일을 사용하는 것입니다.

    #!/bin/bash

set -x

buckets={dfa_-hasid_A dfa_-hashid_B,...} #include all hash ids
day=$(date --date="1 days ago" +"%m-%d-%Y")
for b in ${buckets[@]}; do /
    gsutil -m cp gs://$b/*$day*.log.gz gs:/// /
done

프로그래매틱 방식으로 데이터에 액세스

Google Cloud Storage에는 다양한 프로그래밍을 위한 API와 샘플이 있습니다. 프로그래매틱 방식으로 데이터에 액세스할 수 있는 언어를 제공합니다. 다음은 작동하는 통합을 빌드하기 위해 취해야 하는 데이터 전송 v2.0 관련 단계입니다.

서비스 계정 가져오기

데이터 전송 v2.0을 사용하려면 먼저 사용 설정 도구를 볼 수 있습니다. 이 도구는 Google API 콘솔, API 사용 설정, 사용자 인증 정보 만들기

새 서비스 계정을 설정하려면 다음 단계를 따르세요.

  1. 사용자 인증 정보 만들기 > 서비스 계정 키를 클릭합니다.
  2. 서비스 계정의 공개/비공개 키를 표준 P12 파일 또는 Google API 클라이언트에 의해 로드될 수 있는 JSON 파일 있습니다.

새로운 공개 키/비공개 키 쌍이 생성되고 기기에 다운로드됩니다. 생성된 파일은 이 키의 유일한 사본입니다. 안전하게 보관할 책임은 사용자에게 있습니다.

이 창을 열어 두세요. 서비스 계정 이메일이 필요합니다. 설명하겠습니다.

그룹에 서비스 계정 추가

  • Google 그룹으로 이동합니다.
  • '내 그룹'을 클릭하고 DT v2.0 Cloud Storage 버킷에 대한 액세스를 관리하는 데 사용하는 그룹을 선택합니다.
  • 관리를 클릭합니다.
  • '회원 초대'를 클릭하지 마세요.
  • '바로 회원 추가'를 클릭합니다.
  • 이전 단계의 서비스 계정 이메일을 구성원 상자에 복사합니다.
  • '이메일 없음'을 선택합니다.
  • 추가 버튼을 클릭합니다.

실수로 '회원 초대'를 클릭했습니다.

범위

Cloud Storage에 전달되는 모든 범위는 읽기 전용이어야 합니다.

예를 들어, Java 클라이언트 라이브러리를 사용하는 경우 사용하는 경우는 다음과 같습니다. 

StorageScopes.DEVSTORAGE_READ_ONLY