BigQuery הוא מחסן נתונים (data warehouse) ללא שרת שמתאים במיוחד לניתוחי SQL בקנה מידה של פטה-בייט, כולל נתוני וקטורים באמצעות סוג הנתונים GEOGRAPHY. Google Earth Engine היא פלטפורמה גלובלית שמתמחה בניתוח רסטר גיאו-מרחבי, ומציעה קטלוג נתונים עצום. השילוב שלהם יוצר סביבה מקיפה וייחודית לטיפול באתגרים גיאו-מרחביים מורכבים שכוללים גם נתוני וקטורים וגם נתוני רסטר.
השילוב של BigQuery ו-Earth Engine מאפשר תהליכי עבודה יעילים, שבהם אפשר להעשיר את נתוני הווקטורים של BigQuery בתובנות של רסטר מ-Earth Engine, ולניתוחים של Earth Engine יש גישה לנתונים שמאוחסנים ומנוהלים ב-BigQuery. השימוש בשניהם מאפשר לכם לגשת אל:
- BigQuery: אחסון שניתן להתאמה ולניתוח מבוסס-SQL למערכי נתונים גדולים של וקטורים.
- Earth Engine: עיבוד יעיל של פטה-בייטים של נתוני רסטר וגישה לקטלוג גיאו-מרחבי עשיר.
הדרכים העיקריות שבהן הפלטפורמות האלה פועלות יחד הן:
- שליחת שאילתות על נתוני רסטר ב-BigQuery: שימוש בפונקציית SQL
ST_REGIONSTATSכדי לבצע סטטיסטיקות של תחומים ישירות ב-BigQuery. - קריאת נתוני BigQuery ל-Earth Engine: גישה לטבלאות BigQuery או לתוצאות של שאילתות כאובייקטים מסוג
ee.FeatureCollectionלשימוש בסקריפטים של Earth Engine. - כתיבה של נתוני Earth Engine ב-BigQuery: ייצוא תוצאות
ee.FeatureCollectionמהניתוחים של Earth Engine לטבלאות BigQuery לצורך אחסון וניתוח נוסף.
בקטעים הבאים מוסבר בהרחבה על כל אחת מהתכונות האלה.
שליחת שאילתות על נתוני רסטר ב-BigQuery
הפונקציה ST_REGIONSTATS ב-BigQuery מאפשרת להשתמש בניתוח הרסטרים של Earth Engine ב-BigQuery SQL. הפונקציה מחשבת נתונים סטטיסטיים אזוריים על נתוני רסטר בטבלאות BigQuery עם נתוני GEOGRAPHY.
- שימוש מרכזי: ניתוח נתונים סטטיסטיים של תחומים וניתוח נתונים רסטר ב-BigQuery.
- מקורות נתונים: Analytics Hub, Cloud Storage GeoTIFF, נכסים ב-Earth Engine.
הפונקציה הזו מאפשרת להריץ שאילתות בקטלוג הנתונים הגיאוגרפיים של Earth Engine, שמכיל יותר מ-100PB, ישירות ב-BigQuery. אפשר גם להחיל את הפונקציה הזו על נכסים משלכם ב-Earth Engine, וגם על קובצי GeoTIFF ב-Cloud Storage.
מידע נוסף על ST_REGIONSTATS זמין בדף עבודה עם נתוני רסטר ב-BigQuery.
קריאת נתוני BigQuery מ-Earth Engine
ל-Earth Engine יש גישה ישירה לנתוני BigQuery כאובייקטים מסוג ee.FeatureCollection, כך שאפשר להציג נתוני BigQuery בתצוגה חזותית ולשלב אותם בניתוחים של Earth Engine.
ee.FeatureCollection.loadBigQueryTable(): קריאת טבלה ב-BigQuery ל-Earth Engine.ee.FeatureCollection.runBigQuery(): הפעלת שאילתת SQL ב-BigQuery ואחזור התוצאות ל-Earth Engine.
הפונקציות האלה מאפשרות להשתמש בצורה חלקה בנתוני הווקטורים של BigQuery בתוך פלטפורמת הניתוח הגיאוגרפית-מרחבית שמתמקדת ברסטר של Earth Engine.
מידע נוסף על הפונקציות האלה זמין בדף קריאה מ-BigQuery.
כתיבת נתוני וקטור של Earth Engine ב-BigQuery
אפשר לייצא נתוני וקטורים מ-Earth Engine ל-BigQuery באמצעות הפונקציה Export.table.toBigQuery().
- פונקציונליות: ייצוא אובייקטים מסוג
ee.FeatureCollectionלטבלאות ב-BigQuery. - היתרונות: אפשרות לנתח, לשלב ולאחסן תוצאות של Earth Engine ב-BigQuery.
כך אפשר ליצור תהליך עבודה שבו תוצאות של נתוני וקטור מהעיבוד של Earth Engine זמינות ב-BigQuery.
מידע נוסף על כתיבת נתוני וקטור של Earth Engine ב-BigQuery זמין בדף ייצוא ל-BigQuery.