Gdy współpracujesz z działem sprzedaży lub pomocy, aby skonfigurować dostęp do Przenoszenia danych w wersji 2.0, otrzymasz nazwę zasobnika. Musisz podać kontaktowi ds. sprzedaży Grupa dyskusyjna Google, która umożliwia Ci kontrolowanie dostęp do plików danych w Google Cloud Storage.
Możesz uzyskać dostęp do swoich danych za pomocą narzędzia lub możesz napisać własny kod.
Uzyskiwanie dostępu do danych przy użyciu polecenia gsutil
Narzędzie gsutil to aplikacja wiersza poleceń napisana w Pythonie, umożliwia dostęp do danych bez konieczności kodowania. Ty możesz na przykład użyć polecenia gsutil jako części skryptu lub pliku wsadowego zamiast tworzenia niestandardowych aplikacji.
Aby zacząć korzystać z gsutil, przeczytaj polecenie gsutil dokumentacji. Przy pierwszym razem z narzędziem wyświetli się prośba o podanie danych logowania aby potem użyć tych danych i zapisać je do późniejszego użycia.
Przykłady polecenia gsutil
Używając polecenia gsutil, możesz wyświetlić listę wszystkich plików w następujący sposób:
gsutil ls gs://[bucket_name]/[object name/file name]
Polecenie gsutil wykorzystuje składnię podobną do systemu UNIX, z uwzględnieniem symbolu wieloznacznego gwiazdka (*), dzięki czemu możesz wymienić wszystkie pliki Networkimpression:
gsutil ls gs://[bucket_name]/dcm_account6837_impression_*
Możesz też łatwo pobrać plik:
gsutil cp gs://[bucket_name]/dcm_account6837_impression_2015120100.log.gz
Możesz kopiować pliki z rozproszonych zasobników Google przenoszenia danych do własnego zasobnika GCS interfejsu API Google za pomocą uniksowego skryptu powłoki, dostępne są 2 opcje:
Jeśli korzystasz z systemu Unix, w gsutil to dla wszystkich zasobników uruchamiaj codziennie to polecenie:
$ day=$(date --date="1 days ago" +"%m-%d-%Y") $ gsutil -m cp gs://{<dcmhashid_A>,<dcmhashid_B>,etc.}/*$day*.log.gz gs://<client_bucket>/Zamiast tego możesz też użyć pliku bash:
#!/bin/bash set -x buckets={dfa_-hasid_A dfa_-hashid_B,...} #include all hash ids day=$(date --date="1 days ago" +"%m-%d-%Y") for b in ${buckets[@]}; do / gsutil -m cp gs://$b/*$day*.log.gz gs:/// / done
Uzyskiwanie zautomatyzowanego dostępu do danych
Google Cloud Storage udostępnia interfejsy API i przykłady do wielu programowania które umożliwiają zautomatyzowany dostęp do danych. Poniżej znajdziesz czynności wymaganych dla przenoszenia danych w wersji 2.0, które należy wykonać, aby utworzyć działającą integrację.
Uzyskiwanie konta usługi
Aby zacząć korzystać z Przenoszenia danych w wersji 2.0, najpierw musisz: użyj w narzędziu konfiguracji, które przeprowadzi Cię przez proces tworzenia projektu w Konsola interfejsów API Google, włączenie interfejsu API i tworzenie danych logowania.
Aby skonfigurować nowe konto usługi, wykonaj te czynności:
- Kliknij Utwórz dane logowania > Klucz konta usługi.
- Wybierz, czy chcesz pobrać klucz publiczny/prywatny konta usługi jako standardowy plik P12 lub plik JSON, który może zostać wczytany przez klienta interfejsu API Google bibliotece.
Nowa para kluczy publicznych/prywatnych zostanie wygenerowana i pobrana na Twoje urządzenie. To jedyny egzemplarz tego klucza. Za jej przechowywanie spoczywa odpowiedzialność bezpiecznie.
Nie zamykaj tego okna, bo będziesz potrzebować adresu e-mail konta usługi w następnym kroku.
Dodawanie konta usługi do grupy
- Otwórz grupę dyskusyjną Google.
- Kliknij Moje grupy i wybierz grupę, której używasz do zarządzania dostępem do zasobnika Cloud Storage DT v2.0
- Kliknij Zarządzaj.
- Nie klikaj przycisku Zaproś członków.
- Kliknij Dodaj członków bezpośrednio.
- Skopiuj adres e-mail konta usługi z poprzedniego kroku do pole użytkowników
- Wybierz opcję Brak adresu e-mail
- Kliknij przycisk Dodaj
Kliknąłem/kliknęłam Zaproś osoby
Zakres
Wszystkie zakresy przekazywane do Cloud Storage muszą być tylko do odczytu
Na przykład przy korzystaniu z biblioteki klienta Java właściwy zakres użycie to:
StorageScopes.DEVSTORAGE_READ_ONLY