חיבורים חיצוניים של BigQuery

מקור נתונים חיצוני הוא מקור נתונים שאפשר להריץ עליו שאילתות ישירות מ-BigQuery, למרות שהנתונים לא מאוחסנים באחסון ב-BigQuery. לדוגמה, יכול להיות שיש לכם נתונים במסד נתונים אחר של Google Cloud, בקבצים ב-Cloud Storage או במוצר אחר בענן שרוצים לנתח ב-BigQuery, אבל שאתם לא מוכנים לבצע את ההעברה.

תרחישים לדוגמה למקורות נתונים חיצוניים:

  • עבור עומסי עבודה של extract-load-transform (ELT), טעינה וניקוי של הנתונים במעבר אחד וכתיבת התוצאה הנקייה באחסון של BigQuery באמצעות השאילתה CREATE TABLE ... AS SELECT.
  • שילוב טבלאות ב-BigQuery עם נתונים שמשתנים לעיתים קרובות ממקור נתונים חיצוני. אין צורך לטעון מחדש את הנתונים לאחסון ב-BigQuery בכל פעם שהם משתנים, על ידי שליחת שאילתה ישירות למקור הנתונים החיצוני.

לקוחות של Ads Data Hub יכולים למנף את התכונה הזו ב-BigQuery כדי לייבא בקלות נתונים מאינטראקציה ישירה (First-Party) ממקורות אחרים, כמו S3 ו-Azure, ולצרף אותם לנתוני הפרסום ב-Google בשאילתות.

לפרטים מלאים על חיבור מקורות נתונים חיצוניים ל-BigQuery, קראו את המאמר מבוא למקורות נתונים חיצוניים.

מגבלות

  • יש תמיכה במיקומים הבאים. אם הנתונים שלכם מ-AWS או מ-Azure נמצאים באזור שלא נתמך, תוכלו גם להשתמש ב-BigQuery Data Transfer Service.
    • AWS – מזרח ארה"ב (N. וירג'יניה) (aws-us-east-1)
    • תכלת – מזרח ארה"ב 2 (azure-eastus2)
  • משימות שרצות על נתונים מחיבורים ב-BigQuery:

Amazon S3

בהמשך מוצגת סקירה כללית של השלבים הנדרשים לייצוא נתונים מ-Amazon S3 ל-BigQuery לצורך שימוש ב-Ads Data Hub. לפרטים מלאים קראו את המאמר התחברות ל-Amazon S3.

  1. יצירת מדיניות IAM של AWS ל-BigQuery. אחרי שיוצרים את המדיניות, אפשר למצוא את Amazon Resource Name (ARN) בדף Policy details (פרטי המדיניות).
  2. יצירת תפקיד AWS IAM ל-BigQuery, באמצעות המדיניות שנוצרה בשלב הקודם.
  3. אפשר ליצור חיבור ב-BigQuery. יצירת חיבור לפרויקט ב-BigQuery של-Ads Data Hub יש גישה אליו – לדוגמה, פרויקט האדמין שלכם. הזהות של BigQuery Google, שבה ייעשה שימוש בשלב הבא, מוצגת בדף Connection info.
  4. צריך להוסיף קשר של אמון לתפקיד ב-AWS. בדף AWS IAM, עורכים את התפקיד שנוצר בשלב הקודם:
    1. שנו את משך הסשן המקסימלי ל-12 שעות.
    2. מוסיפים מדיניות מהימנות לתפקיד AWS באמצעות הזהות של Google ב-BigQuery שנוצרה בשלב הקודם.
  5. טוענים נתונים למערך הנתונים ב-BigQuery.
  6. שאילתות על הנתונים ב-Ads Data Hub. מידע נוסף על צירוף נתונים מאינטראקציה ישירה (First-Party)
  7. אופציונלי: אפשר לתזמן טעינת נתונים רציפה ב-BigQuery.

Azure Blob Storage

בהמשך מופיעה סקירה כללית של השלבים הנדרשים לייצוא נתונים מ-AzureBlob Storage ל-BigQuery לשימוש ב-Ads Data Hub. פרטים נוספים זמינים במאמר התחברות ל-Blob Storage.

  1. יצירת אפליקציה בדייר Azure.
  2. אפשר ליצור חיבור ב-BigQuery.
    • מזהה דייר הוא מזהה הספרייה מהשלב הקודם.
    • מזהה אפליקציה (לקוח) מאוחד הוא מזהה האפליקציה (הלקוח) מהשלב הקודם.
    • BigQuery Google Identity ישמש בשלב הבא.
  3. צריך להוסיף פרטי כניסה מאוחדים ב-Azure.
    • למזהה הנושא, צריך להשתמש בזהות של Google ב-BigQuery מהשלב הקודם.
  4. מקצים תפקיד לאפליקציות Azure של BigQuery ומעניקים גישה ל-Storage Lob Data.
  5. טוענים נתונים למערך הנתונים ב-BigQuery.
  6. שאילתות על הנתונים ב-Ads Data Hub. מידע נוסף על צירוף נתונים מאינטראקציה ישירה (First-Party)
  7. אופציונלי: אפשר לתזמן טעינת נתונים רציפה ב-BigQuery.