Pierwsze kroki

Podczas konfigurowania dostępu do Przenoszenia danych w wersji 2.0 we współpracy z przedstawicielem zespołu sprzedaży lub pomocy otrzymasz nazwę zasobnika. Konieczne będzie określenie osoby kontaktowej ds. sprzedaży grupy dyskusyjnej Google, która umożliwia kontrolowanie dostępu do plików danych w Google Cloud Storage.

Dostęp do swoich danych możesz uzyskać za pomocą narzędzia lub wpisać własny kod.

Dostęp do danych przy użyciu narzędzia gsutil

Narzędzie wiersza poleceń gsutil to aplikacja w wierszu poleceń utworzona w Pythonie, która umożliwia dostęp do danych bez konieczności kodowania. Na przykład zamiast tworzyć aplikacje niestandardowe, możesz użyć gsutil jako części skryptu lub pliku wsadowego.

Aby zacząć korzystać z gsutil, zapoznaj się z dokumentacją gsutil. Gdy po raz pierwszy użyjesz narzędzia, wyświetli się prośba o podanie danych logowania, a następnie zapiszesz je do późniejszego użycia.

Przykłady funkcji gsutil

Aby wyświetlić listę wszystkich plików, użyj gsutil:

gsutil ls gs://[bucket_name]/[object name/file name]

Funkcja gsutil wykorzystuje wiele składni co UNIX, w tym symbol wieloznaczny (*), dzięki czemu możesz wyświetlać listę wszystkich plików NetworkImpression:

gsutil ls gs://[bucket_name]/dcm_account6837_impression_*

Plik możesz też łatwo pobrać:

gsutil cp gs://[bucket_name]/dcm_account6837_impression_2015120100.log.gz

Możesz skopiować pliki z rozproszonych zasobników DT Google do własnego zasobnika GCS Google API za pomocą skryptu powłoki Unix. Są to 2 opcje:

  • Jeśli w systemie gsutil używasz systemu Unix, uruchamiaj codziennie dla wszystkich zasobników:

    $ day=$(date --date="1 days ago" +"%m-%d-%Y")
$ gsutil -m cp gs://{<dcmhashid_A>,<dcmhashid_B>,etc.}/*$day*.log.gz gs://<client_bucket>/

  • Innym sposobem jest trochę trudniejsze użycie pliku bash:

    #!/bin/bash

set -x

buckets={dfa_-hasid_A dfa_-hashid_B,...} #include all hash ids
day=$(date --date="1 days ago" +"%m-%d-%Y")
for b in ${buckets[@]}; do /
    gsutil -m cp gs://$b/*$day*.log.gz gs:/// /
done

Uzyskiwanie dostępu do danych w sposób zautomatyzowany

Google Cloud Storage zawiera interfejsy API i przykłady dla wielu języków programowania, które umożliwiają automatyczny dostęp do danych. Poniżej znajdziesz instrukcje dotyczące Przenoszenia danych w wersji 2.0, które musisz wykonać, aby utworzyć sprawną integrację.

Uzyskiwanie konta usługi

Aby zacząć korzystać z Przenoszenia danych w wersji 2.0, musisz najpierw użyć narzędzia do konfiguracji, które przeprowadzi Cię przez proces tworzenia projektu w konsoli Google API, włączania interfejsu API i tworzenia danych logowania.

Aby skonfigurować nowe konto usługi, wykonaj te czynności:

  1. Kliknij Utwórz dane logowania &klucz klucza konta usługi.
  2. Wybierz, czy chcesz pobrać klucz publiczny/prywatny konta usługi jako standardowy plik P12, czy jako plik JSON, który może być wczytany przez bibliotekę klienta Google API.

Nowa para kluczy publicznych/prywatnych zostanie wygenerowana i pobrana na Twoje urządzenie. To jedyny egzemplarz tego klucza. Odpowiadasz za jego bezpieczne przechowywanie.

Pamiętaj, aby nie zamykać tego okna. W następnym kroku będziesz potrzebować adresu e-mail konta usługi.

Dodawanie konta usługi do grupy

  • Otwórz grupę dyskusyjną Google.
  • Kliknij Moje grupy i wybierz grupę używaną do zarządzania dostępem do zasobnika Cloud Storage w wersji 2.0
  • Kliknij Zarządzaj.
  • Nie klikaj opcji „Zaproś członków”.
  • Kliknij Dodaj członków bezpośrednio.
  • Skopiuj adres e-mail konta usługi z poprzedniego kroku do pola użytkowników
  • Wybierz Brak e-maili
  • Kliknij przycisk Dodaj.

Przypadkowo kliknij Zaproś członków

Zakres

Wszystkie zakresy przekazywane do Cloud Storage muszą być tylko do odczytu

Jeśli na przykład biblioteka klienta w języku Java ma prawidłowy zakres, użyj: 

StorageScopes.DEVSTORAGE_READ_ONLY