מתחילים

כשאתם עובדים עם איש הקשר במחלקת המכירות או בתמיכה כדי להגדיר את הגישה לגרסה 2.0 של העברת נתונים, תקבלו שם קטגוריה. עליך לספק לאיש הקשר בנושא מכירות קבוצת Google שמאפשרת לכם לשלוט גישה לקובצי הנתונים ב-Google Cloud Storage.

אפשר לגשת לנתונים באמצעות כלי שירות או שאתם יכולים לכתוב קוד משלכם.

גישה לנתונים באמצעות gsutil

הכלי gsutil הוא אפליקציית שורת פקודה שכתובה ב-Python, מאפשר לגשת לנתונים ללא צורך בתכנות. שלך לדוגמה, ניתן להשתמש ב-gsutil כחלק מסקריפט או מקובץ אצווה במקום במהלך יצירת אפליקציות מותאמות אישית.

כדי להתחיל להשתמש ב-gsutil, כדאי לקרוא את מסמכי העזרה של gsutil. בפעם הראשונה שתשתמשו בכלי, תתבקשו להזין את פרטי הכניסה שלכם, ולאחר מכן הם יישמרו לשימוש מאוחר יותר.

דוגמאות ל-gsutil

אפשר להציג רשימה של כל הקבצים באמצעות gsutil באופן הבא:

gsutil ls gs://[bucket_name]/[object name/file name]

gsutil משתמשת בחלק גדול מהתחביר של UNIX, כולל התו הכללי לחיפוש כוכבית (*), כדי שתוכלו לראות את כל הקבצים של Networkconversions (חשיפות ברשת):

gsutil ls gs://[bucket_name]/dcm_account6837_impression_*

אפשר גם להוריד קובץ בקלות:

gsutil cp gs://[bucket_name]/dcm_account6837_impression_2015120100.log.gz

אפשר להעתיק את הקבצים מקטגוריות ה-DT של Google המפוזרים אל קטגוריית GCS של Google API משלך באמצעות סקריפט מעטפת של Unix, יש שתי אפשרויות:

  • ב-gsutil, אם אתם משתמשים במערכת Unix, מריצים את הפקודה הבאה בכל הקטגוריות מדי יום:

    $ day=$(date --date="1 days ago" +"%m-%d-%Y")
$ gsutil -m cp gs://{<dcmhashid_A>,<dcmhashid_B>,etc.}/*$day*.log.gz gs://<client_bucket>/

  • פתרון קצת יותר מסובך הוא שימוש בקובץ bash:

    #!/bin/bash

set -x

buckets={dfa_-hasid_A dfa_-hashid_B,...} #include all hash ids
day=$(date --date="1 days ago" +"%m-%d-%Y")
for b in ${buckets[@]}; do /
    gsutil -m cp gs://$b/*$day*.log.gz gs:/// /
done

גישה לנתונים באופן פרוגרמטי

ב-Google Cloud Storage יש ממשקי API ודוגמאות לשפות תכנות רבות שמאפשרות לגשת לנתונים באופן פרוגרמטי. בהמשך מופיעים את השלבים הספציפיים לגרסה 2.0 של העברת נתונים שאתם צריכים לבצע כדי ליצור לאינטגרציה רציפה (CI)

אחזור של חשבון שירות

כדי להתחיל להשתמש ב-Data Transfer v2.0, קודם צריך להשתמש בכלי ההגדרה. הכלי הזה מנחה אתכם בתהליך יצירת הפרויקט במסוף Google API, הפעלת ה-API ויצירת פרטי הכניסה.

כדי להגדיר חשבון שירות חדש:

  1. לוחצים על Create credentials > מפתח לחשבון השירות.
  2. בוחרים אם להוריד את המפתח הציבורי/פרטי של חשבון השירות בתור קובץ P12 רגיל, או כקובץ JSON שיכול להיטען על ידי לקוח של Google API לספרייה.

זוג המפתחות הציבורי/הפרטי החדש נוצר ומוריד למחשב, והוא משמש כעותק היחיד של המפתח הזה. אתם אחראים לאחסון המידע בצורה מאובטחת.

חשוב להשאיר את החלון פתוח, כי צריך את כתובת האימייל של חשבון השירות בשלב הבא.

הוספה של חשבון שירות לקבוצה

  • עוברים אל קבוצה ב-Google
  • לוחצים על 'הקבוצות שלי' ובוחרים את הקבוצה שבה אתם משתמשים לניהול הגישה לקטגוריית Cloud Storage של DT v2.0
  • לוחצים על 'ניהול'.
  • אין ללחוץ על 'הזמנת חברים'.
  • לוחצים על 'הוספה ישירה של חברים'.
  • מעתיקים את כתובת האימייל של חשבון השירות מהשלב הקודם לתיבה של החברים
  • בוחרים באפשרות 'אין אימייל'
  • לוחצים על הלחצן 'הוספה'.

לחצתי בטעות על 'הזמנת חברים'

היקף

כל ההיקפים המועברים ל-Cloud Storage חייבים להיות 'קריאה בלבד'

לדוגמה, כשמשתמשים בספריית הלקוח של Java, ההיקף הנכון לשימוש הוא: 

StorageScopes.DEVSTORAGE_READ_ONLY