יצירה וניהול של מערך נתונים

בחירת פלטפורמה: Android iOS JavaScript

מערכי נתונים מאפשרים להעלות נתונים גיאו-מרחביים מקובץ מקומי או מ-Google Cloud Storage הפלטפורמה של מפות Google. לאחר מכן אפשר לשייך מערך נתונים לסגנון מפה אחד או יותר במסוף Cloud. אחרי שמשייכים את מערך הנתונים לסגנון של מפות, משתמשים ברכיב API של עיצוב מבוסס-נתונים לסגנון דינמי של אפליקציית המפות.

אפשר גם להשתמש ב-API ל-REST כדי להעלות את הנתונים הגיאו-מרחביים למערך נתונים. לקבלת מידע נוסף, למידע נוסף על API של מערכי נתונים במפות Google

הגדרת תפקידים

כדי ליצור ולנהל מערכי נתונים בפרויקט ב-Google Cloud, צריך להחזיק תפקיד IAM של בעלים או עריכה בפרויקט.

הערה: אם אתם יצרתם את הפרויקט, יש לכם את התפקיד 'בעלים' בפרויקט. בדף IAM במסוף Google Cloud אפשר לראות את בעלים ועורכים של פרויקטים.

לחלופין, אפשר להקצות את תפקידי ה-IAM הבאים לחשבון משתמש או חשבון שירות שבו משתמשים לניהול מערכי נתונים:

• התפקיד Maps Platform Datasets Admin מעניק לחשבון המשתמש או לחשבון השירותים גישת קריאה/כתיבה למערכי נתונים בפרויקט. התפקיד הזה מאפשר למשתמש לבצע את כל הפעולות במערך נתונים.
• התפקיד Maps Platform Datasets Viewer מעניק הרשאת קריאה בלבד למערכי נתונים בפרויקט. התפקיד הזה מאפשר לך לבצע רשימה, לקבל או להוריד על מערך נתונים.

מידע נוסף זמין במאמר הבא: הענקת תפקיד ב-IAM באמצעות מסוף Google Cloud.

מקור הנתונים של מערך הנתונים

אחרי שיוצרים מערך נתונים, מעלים את הנתונים למערך הנתונים Google Cloud Storage או מקובץ מקומי.

• כשמעלים נתונים מ-Cloud Storage, צריך לציין את נתיב הקובץ למשאב שמכיל את הנתונים ב-Cloud Storage. הנתיב הזה מופיע בפורמט gs://GCS_BUCKET/FILE

  למשתמש ששולח את הבקשה נדרש התפקיד צפייה באובייקט אחסון או כל תפקיד אחר שכולל את ההרשאה storage.objects.get. עבור לקבלת מידע נוסף על ניהול הגישה ל-Cloud Storage, קראו את המאמר סקירה כללית על בקרת הגישה

• כשמעלים נתונים מקובץ מקומי, צריך לציין את הנתיב לקובץ GeoJSON, KML או CSV שמכילים את הנתונים להעלאה.

דרישות מוקדמות

כשיוצרים מערך נתונים:

• השמות המוצגים חייבים להיות ייחודיים בפרויקט שלכם ב-Google Cloud.
• השמות המוצגים חייבים להיות קטנים מ-64 בייטים (מכיוון שהתווים האלה מיוצגים ב-UTF-8, בשפות מסוימות, כל תו יכול להיות מיוצג על ידי מספר בייטים).
• התיאורים חייבים להיות קטנים מ-1,000 בייטים.

כשמעלים נתונים:

• סוגי הקבצים הנתמכים הם CSV , GeoJSON ו-KML.
• גודל הקובץ המקסימלי הנתמך הוא 500MB.
• השמות של עמודות המאפיינים לא יכולים להתחיל במחרוזת "?_".
• אין תמיכה בגיאומטריה תלת ממדית. כולל האות Z סיומת בפורמט WKT, ואת קואורדינטת הגובה בפורמט GeoJSON.

הערה: אפשר להעלות את הקובץ בהתאם לגודל של קובץ הנתונים עשויות להימשך דקות או אפילו שעות. אם תהיה שגיאה בהעלאה, תצטרכו מופיעה הודעת שגיאה. אין לנסות למחוק את מערך הנתונים לפני שהוא יחזיר תשובה פעולת ההעלאה.

הערה: משבצות מפה שנוצרו עם נתונים שהועלו באמצעות במפות Google Datasets API עשוי לרדת או לפשט נתונים צפופים או מורכבים ברמות זום נמוכות. לדוגמה, כאשר משתמש מקטין את התצוגה למדינה או למדינה (למשל, רמת זום 5-12), הנתונים במשבצות עשויים להיראות שונה ממרחק התצוגה של עיר או שכונה (לדוגמה, רמת זום 13-18). זה קורה כדי לשמור על אריחים צרים ורמת ביצועים טובה באמצעות המשבצות עם הכלי לעיבוד מפות.

טיפ: אם קובץ הנתונים גדול ויש לו הרבה מאפיינים אם אתם לא צריכים סגנונות עיצוב ואתם רוצים לשפר את ביצועי העיבוד, אפשר לערוך את כדי להסיר את המאפיינים שאין בהם צורך. הפחתת מספר מקטינים את גודל המשבצות במפה, וכך משפרים את ביצועי העיבוד.

שיטות מומלצות להכנת נתונים

אם נתוני המקור מורכבים או גדולים, כמו נקודות צפופות, מחרוזות קווים ארוכים או פוליגונים (בדרך כלל קובצי מקור בגודל של יותר מ-50MB נכללים בקטגוריה הזו), כדאי לפשט את הנתונים. לפני ההעלאה כדי להשיג את הביצועים הטובים ביותר במפה חזותית.

ריכזנו כאן כמה שיטות מומלצות להכנת הנתונים:

1. מזעור המאפיינים של התכונות. שמור רק את מאפייני התכונות הדרושים לסגנון לדוגמה, 'id'. ו-'category'. אפשר לצרף נכסים נוספים לתכונה מסוימת בלקוח באמצעות סגנונות מבוססי-נתונים במפתח מזהה ייחודי. לדוגמה, ראה הצגת הנתונים בזמן אמת בעזרת סגנון מבוסס-נתונים.
2. מומלץ להשתמש בסוגי נתונים פשוטים בשביל אובייקטים של מאפיינים, כמו מספרים שלמים, כדי להקטין את גודל המשבצת ולשפר את ביצועי המפה.
3. לפני העלאת קובץ, הגדירו צורות גיאומטריות מורכבות. אפשר לעשות זאת כלי גיאו-מרחבי לבחירתכם, כמו קוד פתוח. בכלי Mapshaper.org, או ב-BigQuery באמצעות ST_Simplify של פוליגונים מורכבים של פוליגונים.
4. לאסוף נקודות צפופות מאוד לפני העלאת קובץ. אפשר לעשות זאת כלי גיאו-מרחבי לבחירתכם, כמו קוד פתוח. פונקציות של אשכול turf.js או ב-BigQuery באמצעות ST_CLUSTERDBSCAN בפורמט גיאומטרי של נקודות צפופות.

הנחיות נוספות לגבי שיטות מומלצות לגבי מערכי נתונים זמינות המחשה חזותית של נתונים באמצעות מערכי נתונים ו-BigQuery.

דרישות לגבי GeoJSON

ה-SDK של מפות Google ל-Android תומך בגרסה הנוכחית המפרט של GeoJSON. ב-SDK של מפות Google ל-Android יש גם תמיכה בקובצי GeoJSON שמכילים כל אחד מסוגי האובייקטים הבאים:

• אובייקטים גיאומטריים. אובייקט גיאומטרי הוא צורה מרחבית, שמתוארת כאיחוד של נקודות, קווים ומצולעים עם חורים אופציונליים.
• הצגת אובייקטים. אובייקט של פריט מכיל גיאומטריה בתוספת צמדים של שם/ערך, שהמשמעות שלהם היא ספציפית לאפליקציה.
• אוספים של תכונות אוסף פיצ'רים הוא קבוצה של אובייקטים של ישויות.

ב-SDK של מפות Google ל-Android אין תמיכה בקובצי GeoJSON שמכילים נתונים במערכת עזר של קואורדינטות (CRS) מלבד WGS84.

למידע נוסף על GeoJSON, אפשר לעיין במאמר תאימות לתקן RFC 7946.

דרישות KML

ערכת ה-SDK של מפות Google ל-Android כוללת את הדרישות הבאות:

• כל כתובות ה-URL חייבות להיות מקומיות (או יחסיות) לקובץ עצמו.
• תמיכה גיאומטרית של נקודות, קווים ופוליגונים.
• כל מאפייני הנתונים נחשבים למחרוזות.

תכונות ה-KML הבאות לא נתמכות:

• סמלים או <styleUrl> שמוגדרים מחוץ לקובץ.
• קישורי רשת, כמו <NetworkLink>
• שכבות-על של קרקע, כמו <GroundOverlay>
• צורות גיאומטריות תלת-ממדיות או כל תג שקשור לגובה כמו <altitudeMode>
• מפרטי מצלמה כמו <LookAt>
• סגנונות שהוגדרו בתוך קובץ ה-KML.

דרישות לגבי CSV

לקובצי CSV, שמות העמודות הנתמכים מפורטים למטה לפי סדר עדיפות:

• latitude, longitude
• lat, long
• x, y
• wkt (טקסט ידוע)
• address, city, state, zip
• address
• עמודה אחת שמכילה את כל פרטי הכתובת, כמו 1600 Amphitheatre Parkway Mountain View, CA 94043

לדוגמה, הקובץ מכיל עמודות בשם x, y ו-wkt. האפליקציות x ו-y מקבלות עדיפות גבוהה יותר, כפי שנקבע לפי הסדר של שמות העמודות הנתמכים ברשימה שלמעלה, הערכים בעמודות x ו-y נעשה שימוש והמערכת מתעלמת מהעמודה wkt.

כמו כן:

• כל שמות של עמודות צריכים להשתייך לעמודה אחת. כלומר, לא יכולה להיות עמודה בשם xy שמכיל נתונים של קואורדינטות x ו-y. נקודות ה-x ו-y חייבות להיות עמודות נפרדות.
• שמות העמודות הם לא תלויי-רישיות.
• הסדר של שמות העמודות לא משנה. לדוגמה, אם קובץ ה-CSV מכיל העמודות lat ו-long יכולות להופיע בכל סדר שתרצו.

טיפול בשגיאות בהעלאת נתונים

כשמעלים נתונים למערך נתונים, ייתכן שתיתקלו באחת מהשגיאות הנפוצות שמתוארות כאן .

שגיאות GeoJSON

דוגמאות לשגיאות נפוצות ב-GeoJSON:

• השדה type חסר, או שהשדה type אינו מחרוזת. הועלו קובץ הנתונים GeoJSON חייב להכיל שדה מחרוזת בשם type כחלק מכל שדה הגדרת אובייקט Feature והגדרת אובייקט גיאומטרי.

שגיאות KML

דוגמאות לכמה שגיאות KML נפוצות:

• קובץ הנתונים לא יכול להכיל אף אחת מתכונות ה-KML הלא נתמכות המפורטות למעלה, אחרת ייבוא הנתונים עלול להיכשל.

שגיאות CSV

דוגמאות לכמה שגיאות CSV נפוצות:

• בחלק מהשורות חסרים ערכים של עמודה בגיאומטריה. כל השורות בקובץ CSV חייבות להכיל שאינם ריקים לעמודות הגיאומטריה. עמודות הגיאומטריה כוללות:
  • latitude, longitude
  • lat, long
  • x, y
  • wkt
  • address, city, state, zip
  • address
  • עמודה אחת שמכילה את כל פרטי הכתובת, כמו 1600 Amphitheatre Parkway Mountain View, CA 94043
  הערה: לרוב מתוארת שגיאה זו על ידי הודעה "לא ניתן להמיר את ' עד כפול" או "לא ניתן לנתח את הקלט למיקום גיאוגרפי.: מיקום גיאוגרפי חסר ערך".
• אם x ו-y הן עמודות גיאומטריות, צריך לוודא שהיחידות קו אורך וקו רוחב. חלק ממערכי הנתונים הציבוריים משתמשים במערכות קואורדינטות שונות מתחת לכותרות x וגם y אם תשתמשו ביחידות הלא נכונות, יכול להיות שמערך הנתונים יייבא בהצלחה, אבל הנתונים שעברו רינדור עשויים להציג את הנקודות במערך הנתונים במיקומים לא צפויים.

יצירת מערך נתונים

כדי ליצור מערך נתונים:

1. במסוף Google Cloud, עוברים לדף Datasets.
2. לוחצים על יצירת מערך נתונים.
3. מזינים את השם של מערך הנתונים. השם חייב להיות ייחודי בכל מערכי הנתונים.
4. אפשר גם להזין Description של מערך נתונים.
5. לוחצים על המשך. הדף ייבוא נתונים יופיע.
6. בוחרים את מקור ההעלאה של הנתונים שישמשו לאכלוס מערך הנתונים בתור מחשב, כלומר קובץ מקומי במערכת, או קטגוריה של Google Cloud Storage.
   • במחשב, לוחצים על Browse ואז בוחרים את הקובץ מ- באמצעות הכלי לבחירת קבצים.
   • בשביל Google Cloud Storage bucket, לוחצים על Browse ובוחרים הקטגוריה והקובץ שמכילים את הנתונים.
7. בוחרים את פורמט הקובץ.
8. לוחצים על המשך כדי לבדוק את ההגדרות.

9. לוחצים על יצירה. מופיע הדף מערכי נתונים שבו מוצגת קבוצת הנתונים החדשה של הכיתובים. הסטטוס צריך להיות בעיבוד.

   אם הנתונים יועלו בהצלחה:

   • הסטטוס של מערך הנתונים מוגדר כ-הושלם.
   • מערך הנתונים הופך ל"פעיל" מהי הגרסה שבה האפליקציה משתמשת.

   אם יש שגיאה בהעלאה:

   • הסטטוס של הגרסה החדשה של מערך הנתונים מוגדר לסטטוס שאינו הושלם.

הצגה או שינוי של מערך נתונים

אחרי שיוצרים מערך נתונים אפשר לצפות בו או לשנות אותו:

1. במסוף Google Cloud, עוברים לדף Datasets.
2. לוחצים על השם של מערך הנתונים. הדף פרטי מערך הנתונים יופיע.
   1. לוחצים על הכרטיסייה פרטים כדי להציג מידע על מערך הנתונים. בכרטיסייה הזו אפשר גם לערוך את השם והתיאור של מערך הנתונים.
   2. לוחצים על הכרטיסייה Preview (תצוגה מקדימה) כדי להציג את מערך הנתונים במפה (מערכי נתונים עם הושלם או חוזר בלבד).
   3. לוחצים על הכרטיסייה נתוני טבלה כדי לראות את כל המאפיינים של מערך הנתונים (מערכי נתונים). עם סטטוס הושלם או חזרה בלבד). הנושאים האלה את המאפיינים שבהם אפשר להשתמש כדי לעצב את מערך הנתונים במפה.
   4. לוחצים על הלחצן הורדה כדי להוריד את הנתונים לקובץ מקומי.
   5. כדי למחוק את מערך הנתונים, לוחצים על הלחצן Delete.

   6. לוחצים על הלחצן ייבוא קובץ נתונים כדי להעלות נתונים חדשים למערך הנתונים.

      העלאת נתונים חדשים למערך הנתונים יוצרת גרסה חדשה של מערך הנתונים. אם הנתונים החדשים העלאות בהצלחה:

      • הסטטוס של הגרסה החדשה של מערך הנתונים מוגדר כהושלם.
      • הגרסה החדשה הופכת ל"פעילה" מהי הגרסה שבה האפליקציה משתמשת.

      אם יש שגיאה בהעלאה:

      • הסטטוס של הגרסה החדשה של מערך הנתונים מוגדר לסטטוס שאינו הושלם. לדוגמה, אם יש רכיב 'פעיל' קודם של הגרסה, של מערך הנתונים מוגדר כ-ReVERTED.
      • השדה הקודם "פעיל" הגרסה של מערך הנתונים נשארת במצב ה"פעיל" והוא הגרסה הגרסה שמשמשת את האפליקציה.