הטמעת נתונים באצווה

פידים של נתונים מאפשרים לכם להציג את המסעדה, השירותים והתפריט שלכם ב-Ordering End-to-End.

במסמך הזה נסביר איך לארח את מלאי שטח העבודה והמלאי בסביבת הייצור, ולהשתמש בהטמעה בכמות גדולה כדי לעדכן את המלאי ב-Ordering End-to-End.

סביבות של פידים של נתונים

יש שלוש סביבות של פידים של נתונים שזמינות לפיתוח השילוב:

סביבת הפיד	תיאור	הטמעת נתונים באצווה
ארגז חול	סביבת הבדיקה לפיתוח הפיד.	חובה
ייצור	סביבת הייצור של מלאי שטחי הפרסום שרוצים להשיק.	חובה

אירוח פידים של נתונים

כדי שמערכת Ordering End-to-End תוכל לעבד את פידים של נתונים בסביבת Sandbox ובסביבה ייצור באמצעות הטמעה בכמות גדולה, עליכם לארח את קובצי פידים של הנתונים ב-Google Cloud Storage, ב-Amazon S3 או ב-HTTPS עם מפת אתר.

מומלץ לארח את פידים הנתונים של סביבות Sandbox ו-Production בנפרד. הגישה הזו מאפשרת לפתח ולבדוק בסביבת הפיד בארגז החול לפני שפורסים את השינויים בסביבת הייצור.

לדוגמה, אם משתמשים ב-Google Cloud Storage כאפשרות אירוח, הנתיבים יהיו:

• פיד בארגז חול: gs://foorestaurant-google-feed-sandbox/
• פיד ייצור: gs://foorestaurant-google-feed-prod/

כדי לארח את מלאי שטחי הפרסום:

1. יוצרים את קובצי פיד הנתונים.
2. בוחרים פתרון אירוח.
3. אירוח פידים של נתונים.
4. חשוב לוודא שקובצי פיד הנתונים מתעדכנים באופן קבוע. צריך לעדכן פידים של נתונים בסביבת הייצור מדי יום.

פרטים על יצירת פיד מלאי זמינים במסמכי העזרה של הישויות Restaurant,‏ Service ו-Menu, וגם בקטע יצירת פיד נתונים.

הנחיות לגבי קבצים של פידים של נתונים

כל קובץ, שיכול להכיל כמה ישויות, לא יכול לחרוג מ-200MB. הגודל הכולל של הישויות ברמה העליונה Restaurant,‏ Service ו-Menu, יחד עם ישויות הצאצאים שלהן, לא יכול לחרוג מ-4MB.

הערה: מומלץ לקבץ את כל הישויות הרלוונטיות של המסעדה, השירות והתפריט באותו קובץ פיד נתונים, עם קובץ אחד לכל מיקום של מוכר. לדוגמה, אם יש לכם 8,000 מיקומי מוכרים, צריך ליצור 8,000 קבצים. קובץ נפרד לכל מיקום של מוכר יכול להקל על ניפוי הבאגים ועל תמיכה בשילוב.

בחירת פתרון אירוח

בטבלה הבאה מפורטות האפשרויות לאירוח פידים של נתונים, והאופן שבו המארחים האלה פועלים עם 'הזמנה מקצה לקצה':

	Amazon S3	Google Cloud Storage	HTTPS עם Sitemap
פרטי כניסה וגישה	מספקים ל-Google את הפרטים הבאים: מזהה מפתח הגישה מפתח גישה סודי הנתיבים לספריות ולקובץ marker.txt ב-S3 בסביבת הייצור ובארגז החול. הנתיב חייב להתחיל ב-s3://. הקטגוריה ב-S3 צריכה לכלול את הפרטים הבאים: קובצי פיד של מלאי שטחי הפרסום. marker.txt, שמכיל חותמת זמן שמשמש לאחזור. קובץ marker.txt לדוגמה: 2018-12-03T08:30:42.694Z	עליכם לספק ל-Google את הנתיבים לקובץ marker.txt ולספריות הקטגוריות בסביבת הייצור ובארגז החול. הנתיבים חייבים להתחיל ב-gs://. מוסיפים את חשבון השירות שסופק על ידי יועץ Google כחשבון קריאה בקטגוריה של Google Cloud Storage. למידע נוסף על בקרת הגישה ב-Google Cloud Storage‏ (GCS), ראו מסוף Google Cloud Platform: הגדרת הרשאות לקטגוריות. הקטגוריה ב-GCS צריכה לכלול את הפרטים הבאים: קובצי פיד של מלאי שטחי הפרסום. marker.txt, שמכיל חותמת זמן שמשמש לאחזור. קובץ marker.txt לדוגמה: 2018-12-03T08:30:42.694Z	מספקים ל-Google את הפרטים הבאים: פרטי הכניסה לאימות הבסיסי. הנתיב לsitemap בסביבת הייצור ובארגז החול. הנתיב חייב להתחיל ב-https://. פרוטוקול: קובצי הפיד חייבים להיות זמינים דרך HTTPS ולא דרך HTTP. אבטחה: Google ממליצה מאוד להגן על קובצי הפיד המארחים באמצעות אימות בסיסי.
איך Google יודעת אילו קבצים צריך לאחזר	רשימת קבצים של כל הקבצים בקטגוריה.	רשימת קבצים של כל הקבצים בקטגוריה.	כתובות URL נפרדות של קבצים שמופיעים בsitemap.
איך Google יודעת שהקבצים מוכנים לאחזור	אחרי שתסיימו ליצור את פידי הנתונים, עליכם לעדכן את קובץ marker.txt עם חותמת הזמן העדכנית ביותר.	אחרי שתסיימו ליצור את פידי הנתונים, עליכם לעדכן את הקובץ marker.txt עם חותמת הזמן העדכנית ביותר.	אחרי שתסיימו ליצור את פידי הנתונים, עליכם לעדכן את כותרת התגובה last-modified של sitemap.xml בחותמת הזמן העדכנית ביותר.
מגבלות על קבצים	מספר הקבצים המקסימלי: 100,000. אסור שיהיו יותר מ-100,000 קבצים בסך הכול בקטגוריה שלכם ב-Amazon S3.	מספר הקבצים המקסימלי: 100,000. אסור שיהיו יותר מ-100,000 קבצים בסך הכול בקטגוריה שלכם ב-Google Cloud Storage.	מספר הקבצים המקסימלי: 100,000. מספר נתיבי הקבצים בקובץ ה-XML של ה-Sitemap חייב להיות קטן מ-100,000.

חיבור פידים של נתונים להטמעה בכמות גדולה

אחרי שמארחים את הפידים, צריך לקשר אותם לפרויקט ב-Actions Center. ההגדרה הראשונית של פידים בסביבת הייצור מתבצעת בדף Onboarding Tasks. בהמשך, כל משתמש בפורטל עם תפקיד אדמין יוכל לעדכן את ההגדרות של הפיד בסביבת הייצור ובארגז החול בדף הגדרה > פידים. סביבת ארגז החול משמשת למטרות פיתוח ובדיקה, והפידים בסביבת הייצור מוצגים למשתמשים.

אם אתם מארחים את פידים הנתונים ב-Amazon S3

1. במרכז הפעולות, עוברים אל הגדרה > פידים.

2. לוחצים על עריכה וממלאים את הטופס עדכון פיד:

   • שיטת העברת הפיד: מגדירים ל-Amazon S3.
   • קובץ סמן: יש לציין את כתובת ה-URL של הקובץ marker.txt.
   • קבצי נתונים: מציינים את כתובת ה-URL לקטגוריה ב-S3 שמכילה את פידים הנתונים.
   • מזהה גישה: מזינים את מזהה מפתח הגישה ב-IAM עם הרשאות לקריאה ממשאבי S3.
   • מפתח גישה: מזינים את מפתח הגישה הסודי של IAM עם הרשאות לקריאה ממשאבי S3.
3. לוחצים על שליחה.
4. אחרי שעה או שעתיים, בודקים אם הטמעת הנתונים באצווה אוספת את קובצי הפיד.

אם אתם מארחים את פידים של נתונים ב-Google Cloud Storage

1. במרכז הפעולות, עוברים אל הגדרה > פידים.

2. לוחצים על עריכה וממלאים את הטופס עדכון פיד:

   • שיטת העברת הפיד: מגדירים ל-Google Cloud Storage.
   • קובץ סמן: יש לציין את כתובת ה-URL של הקובץ marker.txt.
   • קבצי נתונים: מציינים את כתובת ה-URL לקטגוריה ב-GCS שמכילה את פידים הנתונים.
3. לוחצים על שליחה.
4. נוצר חשבון שירות כדי לגשת לקטגוריה שלכם ב-GCS. שם החשבון מופיע בקטע Configuration > Feeds אחרי השלמת משימות ההצטרפות. לחשבון השירות הזה נדרש התפקיד 'קריאת אובייקטים מדור קודם ב-Storage'. אפשר להקצות את התפקיד הזה לחשבון השירות בדף IAM במסוף Google Cloud.
5. אחרי שעה או שעתיים, בודקים אם הטמעת הנתונים באצווה אוספת את קובצי הפיד.

אם אתם מארחים את פידים של נתונים באמצעות HTTPS

1. במרכז הפעולות, עוברים אל הגדרה > פידים.

2. לוחצים על עריכה וממלאים את הטופס עדכון פיד:

   • שיטת העברת הפיד: מגדירים ל-HTTPS.
   • קובץ Sitemap: מזינים את כתובת ה-URL של הקובץ sitemap.xml.
   • שם משתמש: מזינים את פרטי הכניסה של שם המשתמש כדי לגשת לשרת ה-HTTPS.
   • סיסמה: מזינים את הסיסמה כדי לגשת לשרת ה-HTTPS.
3. לוחצים על שליחה.
4. אחרי שעה או שעתיים, בודקים אם הטמעת הנתונים באצווה אוספת את קובצי הפיד.

נתיב לדוגמה

בטבלה הבאה מופיעים נתיבים לדוגמה לכל אחת מאפשרויות האירוח:

	Amazon S3	Google Cloud Storage	HTTPS עם Sitemap
נתיב	s3://foorestaurant-google-feed-sandbox/	gs://foorestaurant-google-feed-sandbox/	https://sandbox-foorestaurant.com/sitemap.xml
קובץ סמן	s3://foorestaurant-google-feed-sandbox/marker.txt	gs://foorestaurant-google-feed-sandbox/marker.txt	לא רלוונטי

Sitemaps לאירוח ב-HTTPS

כשמגדירים sitemaps, מומלץ לפעול לפי ההנחיות הבאות:

• הקישורים ב-Sitemap חייבים להפנות לקובצים עצמם.
• אם ה-sitemap כולל הפניות לספק ענן במקום לשם הדומיין שלכם, חשוב לוודא שהתחילית של כתובות ה-URL, כמו https://www.yourcloudprovider.com/your_id, יציבה וייחודית למשימה האצווה.
• חשוב להקפיד לא להעלות sitemaps חלקיים (למשל במקרה של העלאת נתונים חלקית). הפעולה הזו תגרום לכך ש-Google תטמיע רק את הקבצים ב-Sitemap, וכתוצאה מכך רמות המלאי שלכם יירדו ויכול להיות שהטמעת הפיד תיחסם.
• חשוב לוודא שהנתיבים לקבצים שמצוינים ב-sitemap לא משתנים. לדוגמה, אל תכללו ב-Sitemap הפניה אל https://www.yourcloudprovider.com/your_id/10000.json היום ואז הפניה אל https://www.yourcloudprovider.com/your_id/20000.json מחר.

Sitemap לדוגמה

דוגמה לקובץ sitemap.xml שמשמש להצגת קובצי פיד נתונים:

דוגמה 1: יש לקבץ את הישויות לפי מוכרים (מומלץ).

XML

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
 <url>
   <loc>https://your_fulfillment_url.com/restaurant_1.ndjson</loc>
   <lastmod>2018-06-11T10:46:43+05:30</lastmod>
 </url>
 <url>
   <loc>https://your_fulfillment_url.com/restaurant_2.ndjson</loc>
   <lastmod>2018-06-11T10:46:43+05:30</lastmod>
 </url>
 <url>
   <loc>https://your_fulfillment_url.com/restaurant_3.ndjson</loc>
   <lastmod>2018-06-11T10:46:43+05:30</lastmod>
 </url>
</urlset>

דוגמה 2: ישויות מקובצות לפי סוגים.

XML

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
 <url>
   <loc>https://your_fulfillment_url.com/restaurant.json</loc>
   <lastmod>2018-06-11T10:46:43+05:30</lastmod>
 </url>
 <url>
   <loc>https://your_fulfillment_url.com/menu.json</loc>
   <lastmod>2018-06-11T10:46:43+05:30</lastmod>
 </url>
 <url>
   <loc>https://your_fulfillment_url.com/service.json</loc>
   <lastmod>2018-06-11T10:46:43+05:30</lastmod>
 </url>
</urlset>

הערה: השדה היחיד שצריך להופיע ב-sitemap של תהליך ההזמנה מקצה לקצה הוא loc.

עדכון פידים של נתונים

אחרי שמחברים את פידים של נתונים, Google בודקת אם יש עדכונים פעם בשעה, אבל אנחנו מעבדים את כל פידים של הנתונים רק אם קובצי marker.txt או sitemap.xml שונו. אנחנו מצפים שתעדכנו את פידים של הנתונים שלכם פעם ביום כדי למנוע מלאי שטחי פרסום לא תקין.

כדי לציין שפיד הנתונים השתנה והוא מוכן להטמעה בכמות גדולה, מעדכנים את השדה last-modified של המטא-נתונים של האובייקט בקובץ marker.txt (ב-GCP וב-S3) או את כותרת התגובה last-modified בקובץ sitemap.xml. Google משתמשת בערכים האלה כדי לקבוע את מידת העדכניות של פיד הנתונים.

במהלך הטמעת פיד המנות,

• ישויות חדשות שלא קיימות במלאי הנוכחי של תהליך ההזמנה מקצה לקצה, ושאין בהן שגיאות, ייכללו בעדכון.
• ישויות שכבר נמצאות במלאי, שאין בהן שגיאות בהטמעה ושיש להן dateModified עדכני יותר מהרשומה הנוכחית שלהן, או במקרה שאין להן dateModified ושעת ההתחלה של הטמעת הנתונים של הפיד עדכנית יותר מהרשומה הנוכחית שלהן, יתעדכנו. אחרת, הן יסומנו כלא עדכניות.
• ישויות שהיו חלק מפיד קודם ולא נכללות יותר בפיד האצווה שעובדות עליו יימחקו, בתנאי שאין בפיד שגיאות ברמת הקובץ.

צריך לעדכן את חותמת הזמן או את כותרת התגובה last-modified רק אחרי שכל קובצי הפידים של הנתונים נוצרים ומעודכנים. כדאי להגביל את משימות האצווה שמעדכנות את הפידים של הנתונים כך שיפעלו רק פעם ביום. לחלופין, אפשר להשאיר פרק זמן של לפחות שלוש שעות בין כל משימת באצ'ט. אם לא תבצעו את השלבים האלה, Google עשויה לאחזר קבצים לא עדכניים.

הערה: last-modified שונה מניהול גרסאות של ישויות. האירוע last-modified מופעל כשהקבוצה נאספת, ואין לו השפעה על הגרסה של הישות.