אחזור נתוני תמונות מ-Earth Engine
כדי להעביר נתוני תמונות מ-Earth Engine אל Google Drive, Cloud Storage או נכס ב-Earth Engine, אפשר להשתמש ב-Export והמשימה מטופלת לגמרי על ידי Earth Engine. אם יש בעיות בהתאמה לעומס במשימות הייצוא (למשל, הן נמשכות יותר מיום, הן מחזירות שגיאות של זיכרון או זמן קצוב פג) או שאתם כבר מכירים מסגרת כמו Apache Beam, Spark או Dask, יכול להיות שתעדיפו את שיטות חילוץ הנתונים שמתוארות כאן. אפשר להתאים את תהליכי העבודה שמוטמעים במסגרות האלה באמצעות הכלים של Google Cloud, כמו Dataflow או Dataproc.
במדריך הזה מוסבר בפירוט איך שולחים בקשות ידניות לנתוני תמונות באמצעות getPixels או computePixels.
כאן, 'נתוני תמונה' הם מערכי נתונים מרובת-מימדים של ערכי פיקסלים עם פרויקציה וסולם עקביים. האזור, קנה המידה, התצוגה (projection) ו/או המאפיינים מצוינים בבקשה. בדף ImageFileFormat מפורטים פורמטים אפשריים של פלט. יעדים של פלט כוללים את Cloud Storage או כל ספרייה שמותקנת באופן מקומי. בקשות ידניות מורכבות יותר, אבל הן מתאימות לעומסי עבודה גדולים יותר.
אחזור נתוני תמונות מנכסים קיימים
משתמשים ב-getPixels כדי לקבל נתוני תמונות מנכסים קיימים ב-Earth Engine. מעבירים את מזהה הנכס ישירות לבקשה, כך שלא ניתן לבצע חישובים כלשהם על הפיקסלים לפני החילוץ שלהם. המערכת מחזירה בלוק של פיקסלים באזור, בקנה המידה, בתצוגה ובפורמט שצוינו. בדוגמה הבאה מוצגת קבלת סדרות זמן של NDVI מתוך אוסף תמונות של MODIS באמצעות getPixels.
הפעלה ב-Google Colab
הצגת המקור ב-GitHub
אחזור נתוני תמונות מתמונות מחושבות
משתמשים ב-computePixels כדי לקבל נתוני תמונה מתמונה מחושבת, למשל תמונה מורכבת. באמצעות computePixels, מעבירים אובייקט ee.Image מחושב דרך הפרמטר expression. המערכת מחזירה בלוק של פיקסלים מחושבים באזור, בקנה המידה, בתצוגה ובפורמט שצוינו. בדוגמה הבאה מוצגת קבלת טלאי של נתונים מרובים-ספקטרליים ממקור מורכב ללא עננים של Sentinel-2.
ביצוע מקביל ידני של בקשות
אפשר לשלוח בקשות לכל מטרה ובכל נפח, אבל כדאי להריץ בקשות במקביל בתהליכי עבודה גדולים יותר. כדי לשלוח הרבה בקשות כאלה במקביל, צריך להשתמש בנקודת הקצה של Earth Engine לנפחים גבוהים. מספר הבקשות המקבילות שאתם יכולים לשלוח נקבע לפי המכסה של בקשות אינטראקטיביות בו-זמנית. בדף של Earth Engine לגבי נפח גבוה מוסבר מתי כדאי להשתמש בנקודת הקצה עם נפח גבוה.
Multi-threading
אפשר להשתמש בשרשור כדי לשלוח בקשות בו-זמנית. הגישה הזו מוצגת במסמכי ה-notebook לדוגמה getPixels ו-computePixels.
Apache Beam
אפשר להשתמש בצינורות עיבוד נתונים של Apache Beam כדי לבצע בקשות במקביל. אפשר להריץ את צינורות עיבוד הנתונים האלה באופן מקומי או כמשימות של Google Dataflow. דוגמאות לכך הן הדרכה בנושא Geo for Good או הדגמה בנושא 'אנשים, כוכב הלכת ואלגוריתמים'. לחלופין, ספריות מקבילות אחרות כוללות את Dask ואת Apache Spark.