תחילת העבודה

כשתעבדו עם איש המכירות או עם מחלקת התמיכה כדי להגדיר גישה לגרסה 2.0 של העברת נתונים, תקבלו שם קטגוריה. עליך לספק את איש הקשר שלך למחלקת מכירות של קבוצת Google שמאפשרת לך לשלוט בגישה לקובצי הנתונים שלך ב-Google Cloud Storage.

יש לך אפשרות לגשת לנתונים באמצעות כלי ניהול או לכתוב קוד משלך.

גישה לנתונים באמצעות gsutil

הכלי gsutil הוא אפליקציה בשורת הפקודה, כתובה ב-Python שמאפשר לכם לגשת לנתונים בלי לבצע קידוד. לדוגמה, ניתן להשתמש ב-gsutil כחלק מסקריפט או בקובץ אצווה במקום ליצור אפליקציות מותאמות אישית.

כדי להתחיל לעבוד עם gsutil, קראו את המסמך של gsutil. הכלי יבקש ממך להזין את פרטי הכניסה בפעם הראשונה שתשתמש/י בהם, ואז לשמור אותם לשימוש במועד מאוחר יותר.

דוגמאות של gsutil

תוכלו לרשום את כל הקבצים באמצעות gsutil באופן הבא:

gsutil ls gs://[bucket_name]/[object name/file name]

gsutil משתמש באותה תחביר כמו UNIX, כולל כוכבית עם תווים כלליים לחיפוש (*), כדי שאפשר יהיה לרשום את כל קובצי ה-Networkimpression:

gsutil ls gs://[bucket_name]/dcm_account6837_impression_*

בנוסף, קל להוריד קובץ:

gsutil cp gs://[bucket_name]/dcm_account6837_impression_2015120100.log.gz

ניתן להעתיק את הקבצים מקטגוריות DT מבוזרות לקטגוריות של Google API ב-GCS באמצעות סקריפט מעטפת של Unix, יש שתי אפשרויות:

  • ב-gsutil, אם אתם משתמשים במערכת Unix, מריצים את ההגדרות הבאות עבור כל הקטגוריות שלכם מדי יום:

    $ day=$(date --date="1 days ago" +"%m-%d-%Y")
$ gsutil -m cp gs://{<dcmhashid_A>,<dcmhashid_B>,etc.}/*$day*.log.gz gs://<client_bucket>/

  • לחלופין, פתרון קצת יותר מסובך הוא להשתמש בקובץ Bash:

    #!/bin/bash

set -x

buckets={dfa_-hasid_A dfa_-hashid_B,...} #include all hash ids
day=$(date --date="1 days ago" +"%m-%d-%Y")
for b in ${buckets[@]}; do /
    gsutil -m cp gs://$b/*$day*.log.gz gs:/// /
done

גישה פרוגרמטית לנתונים

ב-Google Cloud Storage יש ממשקי API ו-דוגמאות בשפות תכנות רבות שמאפשרות לגשת לנתונים בצורה פרוגרמטית. בהמשך השלבים הספציפיים להעברת נתונים v2.0 שצריך לבצע כדי ליצור שילוב תקין.

יצירת חשבון שירות

כדי להתחיל להשתמש בגרסה 2.0 של העברת נתונים, תחילה צריך להשתמש בכלי ההגדרה, שכולל הנחיות ליצירת פרויקט ב-Google API Console, להפעלת ה-API וליצירת פרטי כניסה.

כך מגדירים חשבון שירות חדש:

  1. לוחצים על יצירת פרטי כניסה > מפתח חשבון שירות.
  2. צריך לבחור אם להוריד את המפתח הציבורי/פרטי של חשבון השירות כקובץ P12 רגיל, או כקובץ JSON שאפשר לטעון בו ספריית לקוח ב-Google API.

זוג המפתחות הציבורי/הפרטי החדש נוצר ומווריד למחשב שלך. הוא משמש כעותק היחיד של המפתח הזה. אתם אחראים לאחסון שלה באופן מאובטח.

חשוב להשאיר את החלון הזה פתוח. עליך לקבל את האימייל של חשבון השירות בשלב הבא.

צריך להוסיף חשבון שירות לקבוצה

  • עוברים אל קבוצת Google
  • לוחצים על 'הקבוצות שלי' ובוחרים את הקבוצה המשמשת לניהול הגישה לקטגוריה DT v2.0 Cloud Storage
  • לוחצים על 'ניהול'
  • אל תלחצו על 'הזמנת חברים'!
  • לוחצים על 'צירוף חברים ישירות'
  • מעתיקים את האימייל של חשבון השירות מהשלב הקודם, לתיבה 'חברים'
  • בחירת אימייל
  • לחיצה על הלחצן 'הוספה'

לחצתי בטעות על 'הזמנת חברים'

היקף ההרשאות

כל ההיקפים שמועברים אל Cloud Storage חייבים להיות לקריאה בלבד

למשל, כשמשתמשים בספריית הלקוחות של Java, ההיקף הנכון הוא: 

StorageScopes.DEVSTORAGE_READ_ONLY