תחילת העבודה

כשאתם עובדים עם איש הקשר במחלקת המכירות או בתמיכה כדי להגדיר את הגישה לגרסה 2.0 של העברת נתונים, תקבלו שם קטגוריה. עליך לספק לאיש הקשר בנושא מכירות קבוצת Google שמאפשרת לכם לשלוט גישה לקובצי הנתונים ב-Google Cloud Storage.

אפשר לגשת לנתונים באמצעות כלי שירות או שאתם יכולים לכתוב קוד משלכם.

גישה לנתונים באמצעות gsutil

הכלי gsutil הוא אפליקציית שורת פקודה שכתובה ב-Python, מאפשר לגשת לנתונים ללא צורך בתכנות. שלך לדוגמה, ניתן להשתמש ב-gsutil כחלק מסקריפט או מקובץ אצווה במקום במהלך יצירת אפליקציות מותאמות אישית.

כדי להתחיל להשתמש ב-gsutil, צריך לקרוא את gsutil תיעוד. הכלי יבקש מכם את פרטי הכניסה בפעם הראשונה להשתמש בהם ואז לאחסן אותם לשימוש מאוחר יותר.

דוגמאות ל-gsutil

אפשר להציג רשימה של כל הקבצים באמצעות gsutil באופן הבא:

gsutil ls gs://[bucket_name]/[object name/file name]

gsutil משתמשת בחלק גדול מהתחביר של UNIX, כולל התו הכללי לחיפוש כוכבית (*), כדי שתוכלו לראות את כל הקבצים של Networkimpression:

gsutil ls gs://[bucket_name]/dcm_account6837_impression_*

אפשר גם להוריד קובץ בקלות:

gsutil cp gs://[bucket_name]/dcm_account6837_impression_2015120100.log.gz

אפשר להעתיק את הקבצים מקטגוריות ה-DT של Google המפוזרים אל קטגוריית GCS של Google API משלך באמצעות סקריפט מעטפת של Unix, יש שתי אפשרויות:

  • ב-gsutil, אם משתמשים במערכת Unix, מריצים את הפעולות הבאות לכל הקטגוריות מדי יום:

    $ day=$(date --date="1 days ago" +"%m-%d-%Y")
$ gsutil -m cp gs://{<dcmhashid_A>,<dcmhashid_B>,etc.}/*$day*.log.gz gs://<client_bucket>/

  • לחלופין, פתרון שקצת יותר מסובך הוא להשתמש בקובץ bash:

    #!/bin/bash

set -x

buckets={dfa_-hasid_A dfa_-hashid_B,...} #include all hash ids
day=$(date --date="1 days ago" +"%m-%d-%Y")
for b in ${buckets[@]}; do /
    gsutil -m cp gs://$b/*$day*.log.gz gs:/// /
done

גישה לנתונים באופן פרוגרמטי

Google Cloud Storage כולל ממשקי API ודוגמאות לתכנות רבות שפות שמאפשרות לך לגשת לנתונים באופן פרוגרמטי. בהמשך מופיעים את השלבים הספציפיים לגרסה 2.0 של העברת נתונים שאתם צריכים לבצע כדי ליצור לאינטגרציה רציפה (CI)

אחזור של חשבון שירות

כדי להתחיל להשתמש בהעברת נתונים גרסה 2.0, צריך קודם להשתמש כלי ההגדרה, שמנחה אתכם איך ליצור פרויקט Google API Console, הפעלת ה-API ויצירת פרטי כניסה.

כדי להגדיר חשבון שירות חדש:

  1. לוחצים על Create credentials > מפתח לחשבון השירות.
  2. בוחרים אם להוריד את המפתח הציבורי/פרטי של חשבון השירות בתור קובץ P12 רגיל, או כקובץ JSON שיכול להיטען על ידי לקוח של Google API לספרייה.

זוג המפתחות הציבורי/הפרטי החדש נוצר והורד למחשב שלכם. הוא משמש כעותק היחיד של המפתח הזה. אתם אחראים לאחסון של הקובץ באופן מאובטח.

חשוב להשאיר את החלון פתוח, כי צריך את כתובת האימייל של חשבון השירות בשלב הבא.

הוספה של חשבון שירות לקבוצה

  • עוברים אל קבוצה ב-Google
  • לוחצים על 'הקבוצות שלי' ובוחרים את הקבוצה שבה אתם משתמשים לניהול הגישה לקטגוריית Cloud Storage של DT v2.0
  • לוחצים על 'ניהול'.
  • אין ללחוץ על 'הזמנת חברים'.
  • לוחצים על 'הוספה ישירה של חברים'
  • מעתיקים את כתובת האימייל של חשבון השירות מהשלב הקודם אל תיבת חברים
  • בוחרים באפשרות 'אין אימייל'
  • לוחצים על הלחצן 'הוספה'.

לחצתי בטעות על 'הזמנת חברים'

היקף

כל ההיקפים שמועברים ל-Cloud Storage חייבים להיות במצב קריאה בלבד

לדוגמה, כשמשתמשים בספריית הלקוח של Java, צריך להגדיר את ההיקף הנכון הוא: 

StorageScopes.DEVSTORAGE_READ_ONLY