יצירה וניהול של מערך נתונים

מערכי נתונים מאפשרים להעלות נתונים גיאו-מרחביים מקובץ מקומי או מ-Google Cloud Storage לפלטפורמה של מפות Google. לאחר מכן תוכלו לשייך מערך נתונים לסגנון מפה אחד או יותר במסוף Cloud. אחרי שמקשרים את מערך הנתונים לסגנון של מפות, אפשר להשתמש ב-API של סגנון מבוסס-נתונים כדי לעצב את אפליקציית המפות באופן דינמי.

אפשר גם להשתמש ב-API ל-REST כדי להעלות את הנתונים הגיאו-מרחביים למערך נתונים. למידע נוסף, ראו Maps Datasets API

הגדרת תפקידים

כדי ליצור ולנהל מערכי נתונים בפרויקט ב-Google Cloud, צריך להחזיק בתפקיד IAM של בעלים או עריכה בפרויקט.

הערה: אם אתם יצרתם את הפרויקט, יש לכם את התפקיד 'בעלים' באותו פרויקט. בדף IAM במסוף Google Cloud מוצגים הבעלים והעורכים של הפרויקט.

לחלופין, אפשר להקצות את תפקידי ה-IAM הבאים לחשבון משתמש או לחשבון שירות שבהם אתם משתמשים כדי לנהל מערכי נתונים:

• התפקיד Maps Platform Datasets Admin מעניק למשתמש או לחשבון השירותים גישת קריאה/כתיבה למערכי הנתונים בפרויקט. התפקיד הזה מאפשר למשתמש לבצע את כל הפעולות במערך נתונים.
• התפקיד Maps Platform Datasets Viewer מעניק הרשאת קריאה בלבד למערכי הנתונים בפרויקט. התפקיד הזה מאפשר לבצע פעולת רשימה, קבלה או הורדה של מערך נתונים.

למידע נוסף, קראו את המאמר הענקת תפקיד IAM באמצעות מסוף Google Cloud.

מקור נתונים של מערך נתונים

אחרי שיוצרים מערך נתונים, צריך להעלות את הנתונים למערך הנתונים מ-Google Cloud Storage או מקובץ מקומי.

• כשמעלים נתונים מ-Cloud Storage, צריך לציין את הנתיב לקובץ שמכיל את הנתונים ב-Cloud Storage. הפורמט של הנתיב הזה הוא gs://GCS_BUCKET/FILE.

  למשתמש ששלח את הבקשה נדרש התפקיד צפייה באובייקט אחסון, או כל תפקיד אחר שכולל את ההרשאה storage.objects.get. למידע נוסף על ניהול הגישה ל-Cloud Storage ראו את המאמר סקירה כללית על בקרת הגישה.

• כשמעלים נתונים מקובץ מקומי, צריך לציין את הנתיב לקובץ GeoJSON, KML או CSV שמכיל את הנתונים להעלאה.

דרישות מוקדמות

כשיוצרים מערך נתונים:

• השמות המוצגים צריכים להיות ייחודיים בפרויקט ב-Google Cloud.
• שמות התצוגה צריכים להיות קטנים מ-64 בייטים (מכיוון שהתווים האלה מיוצגים ב-UTF-8, בשפות מסוימות כל תו יכול להיות מיוצג על ידי בייטים מרובים).
• התיאורים צריכים להיות קטנים מ-1,000 בייטים.

כשמעלים נתונים:

• סוגי הקבצים הנתמכים הם CSV, GeoJSON ו-KML.
• גודל הקובץ המקסימלי הנתמך הוא 350MB.
• שמות עמודות של מאפיינים לא יכולים להתחיל במחרוזת '?_'.
• אין תמיכה בגאומטריה תלת-ממדית. הערך הזה כולל את הסיומת "Z" בפורמט WKT, ואת קואורדינטת הגובה בפורמט GeoJSON.

הערה: בהתאם לגודל של קובץ הנתונים, השלמת ההעלאה יכולה להימשך כמה דקות ואפילו שעות. אם יש שגיאה בהעלאה, תקבלו הודעת שגיאה. אל תנסו למחוק את מערך הנתונים עד שהוא יחזיר תשובה מפעולת ההעלאה.

הערה: משבצות מפה שנוצרות עם נתונים שהועלו באמצעות ה-API של מערכי הנתונים של מפות Google עלולות להשמיט או לפשט נתונים צפופים או מורכבים ברמות נמוכות של מרחק התצוגה. לדוגמה, כשמשתמש מקטין את התצוגה למדינה או למדינה (לדוגמה, זום ברמה 5-12), נתוני המשבצות עשויים להיראות שונים מאשר בעיר או בשכונה (לדוגמה, מרחק תצוגה 13-18). המטרה של הפעולה הזו היא לשמור על משבצות צרות וביצועים טובים באמצעות האריחים עם כלי לעיבוד המפה.

טיפ: אם קובץ הנתונים גדול ויש בו הרבה מאפיינים שלא צריך סגנון, ואתם רוצים לשפר את ביצועי הרינדור, תוכלו לערוך את הקובץ ולהסיר את המאפיינים שאין בהם צורך. צמצום מספר המאפיינים מקטין את גודל קטעי המפה, וכתוצאה מכך משפרת את ביצועי העיבוד.

שיטות מומלצות להכנת נתונים

אם נתוני המקור שלכם מורכבים או גדולים, למשל נקודות צפיפות, מחרוזות שורות ארוכות או פוליגונים (בדרך כלל קובצי מקור שגדולים מ-50MB) נכללים בקטגוריה הזו, כדאי לפשט את הנתונים לפני שמעלים אותם כדי להשיג את הביצועים הכי טובים במפה חזותית.

הנה כמה שיטות מומלצות להכנת הנתונים:

1. מזעור מאפייני התכונות. יש לשמור רק מאפייני תכונות שנחוצים לעיצוב המפה, לדוגמה 'id' ו-'category'. אפשר לאחד נכסים נוספים לתכונה באפליקציית לקוח באמצעות סגנונות מבוססי-נתונים במפתח מזהה ייחודי. לדוגמה, אפשר לעיין במאמר הצגת הנתונים בזמן אמת באמצעות סגנון מבוסס-נתונים.
2. כדאי להשתמש בסוגי נתונים פשוטים לאובייקטים של מאפיין כשאפשר, כמו מספרים שלמים, כדי לצמצם את גודל המשבצות ולשפר את הביצועים של המפה.
3. פישוט של גיאומטריות מורכבות לפני העלאת קובץ. אפשר לעשות זאת בכלי גיאו-מרחבי לבחירתכם, כמו כלי הקוד הפתוח Mapshaper.org, או ב-BigQuery באמצעות ST_Simplify על פוליגונים מורכבים.
4. כדאי לקבץ נקודות צפופות מאוד לפני העלאת קובץ. אפשר לעשות זאת בכלי גיאו-מרחבי לבחירתכם, כמו הפונקציות של אשכול turf.js בקוד פתוח, או ב-BigQuery באמצעות ST_CLUSTERDBSCAN על גיאומטריה של נקודות צפופות.

תוכלו לקרוא הנחיות נוספות על השיטות המומלצות לשימוש במערכי נתונים במאמר המחשה חזותית של הנתונים באמצעות מערכי נתונים ו-BigQuery.

דרישות ל-GeoJSON

ה-SDK של מפות Google ל-iOS תומך במפרט הנוכחי של GeoJSON. SDK של מפות ל-iOS תומך גם בקובצי GeoJSON שמכילים כל אחד מסוגי האובייקטים הבאים:

• אובייקטים גיאומטריים. אובייקט גיאומטרי הוא צורה מרחבית, המתוארת כאיחוד של נקודות, קווים ופוליגונים עם חורים אופציונליים.
• אובייקטים של פיצ'ר. אובייקט של תכונה מכיל גיאומטריה ועוד צמדי שם/ערך, שהמשמעות שלהם היא ספציפית לאפליקציה.
• אוספים של תכונות אוסף תכונות הוא קבוצה של אובייקטים של תכונות.

ה-SDK של מפות ל-iOS לא תומך בקובצי GeoJSON שמכילים נתונים במערכת הפניה לקואורדינטות (CRS) שאינה WGS84.

למידע נוסף על GeoJSON, קראו את המאמר תאימות לתקן RFC 7946.

דרישות לגבי KML

ל-SDK של מפות Google ל-iOS יש את הדרישות הבאות:

• כל כתובות ה-URL חייבות להיות מקומיות (או יחסיות) לקובץ עצמו.
• תמיכה בגיאומטריה של נקודה, קו ופוליגון.
• כל מאפייני הנתונים נחשבים למחרוזות.

תכונות KML הבאות לא נתמכות:

• סמלים או <styleUrl> שמוגדרים מחוץ לקובץ.
• קישורים לרשת, כמו <NetworkLink>
• שכבות-על של קרקע, כמו <GroundOverlay>
• גיאומטריה תלת-ממדית או תגים אחרים שקשורים לגובה, כמו <altitudeMode>
• מפרטי מצלמה כמו <LookAt>
• סגנונות שמוגדרים בקובץ ה-KML.

דרישות לקובץ CSV

בקובצי CSV, שמות העמודות הנתמכים מפורטים למטה לפי סדר עדיפות:

• latitude, longitude
• lat, long
• x, y
• wkt (טקסט מוכר היטב)
• address, city, state, zip
• address
• עמודה יחידה שמכילה את כל פרטי הכתובת, כמו 1600 Amphitheatre Parkway Mountain View, CA 94043

לדוגמה: הקובץ מכיל את העמודות x, y ו-wkt. מכיוון של-x ול-y יש עדיפות גבוהה יותר, כפי שנקבע לפי הסדר של שמות העמודות הנתמכים ברשימה שלמעלה, המערכת משתמשת בערכים בעמודות x ו-y והמערכת מתעלמת מהעמודה wkt.

כמו כן:

• כל שם עמודה צריך להשתייך לעמודה אחת. כלומר, לא ניתן להשתמש בעמודה בשם xy שמכילה נתוני קואורדינטה x ו-y. הקואורדינטות של ה-x וה-y חייבות להיות בעמודות נפרדות.
• שמות העמודות לא תלויי אותיות רישיות (case-sensitive).
• אין חשיבות לסדר של שמות העמודות. לדוגמה, אם קובץ ה-CSV מכיל את העמודות lat ו-long, הן יכולות להופיע בכל סדר שהוא.

טיפול בשגיאות בהעלאת נתונים

כשמעלים נתונים למערך נתונים, יכול להיות שתיתקלו באחת מהשגיאות הנפוצות שמתוארות בקטע הזה.

שגיאות GeoJSON

שגיאות נפוצות של GeoJSON כוללות:

• השדה type חסר, או שהערך type אינו מחרוזת. קובץ נתוני GeoJSON שהועלה חייב להכיל שדה מחרוזת בשם type כחלק מכל הגדרה של אובייקט Feature ואובייקט גיאומטריה.

שגיאות KML

שגיאות KML נפוצות:

• קובץ הנתונים לא יכול להכיל אף אחת מתכונות KML שלא נתמכות שמפורטות למעלה, אחרת ייבוא הנתונים עלול להיכשל.

שגיאות CSV

שגיאות CSV נפוצות:

• בחלק מהשורות חסרים ערכים בעמודה גיאומטרית. כל השורות בקובץ CSV חייבות להכיל ערכים שאינם ריקים לעמודות הגיאומטריה. עמודות הגיאומטריה כוללות את הפרטים הבאים:
  • latitude, longitude
  • lat, long
  • x, y
  • wkt
  • address, city, state, zip
  • address
  • עמודה יחידה שמכילה את כל פרטי הכתובת, כמו 1600 Amphitheatre Parkway Mountain View, CA 94043
  הערה: שגיאה זו מתוארת לעיתים קרובות באמצעות הודעה מסוג "לא ניתן להמיר את ' ' ל-double" או "לא ניתן לנתח את הקלט למיקום גיאוגרפי.: הערך הגיאוגרפי חסר".
• אם x ו-y הן עמודות הגיאומטריה, צריך לוודא שהיחידות הן קו אורך ורוחב. בחלק ממערכי הנתונים הציבוריים נעשה שימוש במערכות קואורדינטות שונות בכותרות x ו-y. אם נעשה שימוש ביחידות שגויות, יכול להיות שהייבוא של מערך הנתונים יסתיים בהצלחה, אבל הנתונים שעברו רינדור עשויים להציג את הנקודות של מערך הנתונים במיקומים בלתי צפויים.

איך יוצרים מערך נתונים

כך יוצרים מערך נתונים:

1. במסוף Google Cloud, נכנסים לדף מערכי נתונים.
2. לוחצים על יצירת מערך נתונים.
3. מזינים את השם של מערך הנתונים. השם חייב להיות ייחודי בכל מערכי הנתונים.
4. אפשר גם להזין Description של מערך הנתונים.
5. לוחצים על המשך. מופיע הדף ייבוא נתונים.
6. בוחרים את Upload source (מקור ההעלאה) של הנתונים שמשמשים לאכלוס מערך הנתונים כ-Desktop – קובץ מקומי במערכת או קטגוריה של Google Cloud Storage.
   • ב-Desktop לוחצים על Browse ובוחרים את הקובץ מבורר הקבצים.
   • עבור קטגוריה של Google Cloud Storage, לוחצים על Browse ובוחרים את הקטגוריה והקובץ שמכילים את הנתונים.
7. בוחרים את פורמט הקובץ.
8. לוחצים על המשך כדי לבדוק את ההגדרות.
9. לוחצים על יצירה. יופיע הדף מערכי נתונים שבו מוצג מערך הנתונים החדש. הסטטוס אמור להיות נמצא בעיבוד.
10. ממתינים עד שהסטטוס של מערך הנתונים יהיה הושלם.

הצגה או שינוי של מערך נתונים

אחרי שתיצרו מערך נתונים בהצלחה, הסטטוס שלו יופיע כהושלם. לאחר מכן אפשר לבחון את הפרטים של מערך הנתונים.

כך מציגים או משנים את מערך הנתונים:

1. במסוף Google Cloud, נכנסים לדף מערכי נתונים.
2. לוחצים על השם של מערך הנתונים. יופיע הדף פרטי מערך הנתונים.
   1. לוחצים על הכרטיסייה Details כדי להציג מידע על מערך הנתונים. בכרטיסייה הזו אפשר גם לערוך את השם והתיאור של מערך הנתונים.
   2. לוחצים על הכרטיסייה תצוגה מקדימה כדי להציג את מערך הנתונים במפה.
   3. לוחצים על הכרטיסייה נתוני טבלה כדי לראות את כל המאפיינים של מערך הנתונים. אלה המאפיינים שבהם אפשר להשתמש כדי לסגנן את מערך הנתונים במפה.
   4. לוחצים על הלחצן הורדה כדי להוריד את הנתונים לקובץ מקומי.
   5. לוחצים על הלחצן Delete כדי למחוק את מערך הנתונים.

   6. לוחצים על הלחצן ייבוא קובץ נתונים כדי להעלות נתונים חדשים למערך הנתונים.

      העלאת נתונים חדשים למערך הנתונים יוצרת גרסה חדשה של מערך הנתונים. אם הנתונים החדשים הועלו בהצלחה:

      • הסטטוס של הגרסה החדשה של מערך הנתונים מוגדר כ-COMPLETED.
      • הגרסה החדשה תהפוך לגרסה ה'פעילה' והיא הגרסה שבה האפליקציה שלך משתמשת.

      אם יש שגיאה בהעלאה:

      • הסטטוס של הגרסה החדשה של מערך הנתונים מוגדר לסטטוס שאינו הושלם. לדוגמה, אם יש גרסה קודמת 'פעילה', הסטטוס של מערך הנתונים יהיה חזרה.
      • הגרסה הקודמת של מערך הנתונים ש'פעילה' נשארת הגרסה ה'פעילה', והיא הגרסה שבה משתמשת האפליקציה.