שרת ה-SFTP של פיד כללי מאפשר להעלות כמה סוגי פידים לשרת SFTP יחיד לכל סביבה. במדריך הזה נסביר איך להשתמש בשרת SFTP כללי, ונספק קישורים למדריך המתאים לפי הפיד שבו אתם מתכננים להשתמש.
(מידע נוסף זמין בקטע ייצוא פידים (מקצה לקצה) או בקטע פידים (למתחילים) במסמכי התיעוד).השרת הגנרי של SFTP מסתמך על שתי העלאות נפרדות:
- קובץ תיאור: מתאר את סוג הפיד שאתם מעלים
- קבצים של פידים: התוכן של הפיד עצמו
מבנה שדה התיאור
קובץ התיאור מועלה כדי ליידע את המערכת שלנו לגבי סוג הפיד שאתם מעלים. כך נוכל לאמת ולעבד את הפיד בצורה נכונה. צריך להעלות את קובץ התיאור לפני תוכן הפיד, והוא חייב לעמוד בדרישות הבאות לגבי שמות:
- חובה להשתמש בסיומת הקובץ
.filesetdesc.jsonלקובץ התיאור. - שם הקובץ של כל תיאור צריך להיות ייחודי, ואי אפשר לעשות בו שימוש חוזר בהעלאות שונות. מומלץ לכלול את חותמת הזמן של היצירה ואת שם הפיד בשם הקובץ.
- דוגמה: offers_1524606581.filesetdesc.json
- בכל קובץ תיאור צריך לציין את כל קובצי הנתונים בפיד האחרון לפי שם הפיד הרלוונטי.
message FilesetDescriptor { // The timestamp at which this feed was generated, in Unix time format // (seconds since the epoch). (required) int64 generation_timestamp = 1; // Identifies the name of this feed. (required) string name = 2; // Paths (relative to the dropbox root) specifying data files included in this // feed. (required) repeated string data_file = 3; }
הערכים האפשריים בשדה name כוללים:
- reservewithgoogle.entity
- google.offer
בהמשך מופיעה דוגמה לקובץ תיאור בפורמט JSON לנתוני מבצעים עם שני רסיסים:
{
"generation_timestamp": 1524606581,
"name": "google.offer",
"data_file": [
"offers_1524606581_1.json",
"offers_1524606581_2.json"
]
}מבנה תוכן הפיד
אחרי שמעלים את קובץ התיאור, מעלים את כל קובצי הפיד של סוג נתוני הפיד שמתאים לקובץ ההגדרות של הפיד שצוין בקובץ התיאור. שמות הקבצים והנתיבים (ביחס לשרת ה-SFTP) צריכים להיות זהים בדיוק למה שצוין בשדה data_file. אם קובץ כלשהו חסר, אם השם שלו לא תקין או אם הוא הועלה למיקום אחר, המערכת לא תעבד את כל הפיד.
התוכן של קובצי נתוני הפיד האלה צריך להיות תואם למפרט הרלוונטי של הפיד שצוין בקובץ התיאור.
שם הקובץ של כל פיד צריך להיות ייחודי, ואי אפשר לעשות בו שימוש חוזר בהעלאות שונות. מומלץ לכלול בשם הקובץ את חותמת הזמן של היצירה ואת מספר הרסיס (מזהה מצטבר).
- דוגמה: offers_1524606581_1.json
גודל קובץ הפיד ותדירות ההעלאה
- גודל קובץ הפיד צריך להיות קטן מ-200MB (אחרי דחיסה).
- הגודל של כל קובץ נתונים לא דחוס צריך להיות קטן מ-2GB.
- ברוב השילובים, צריך להשתמש רק בשבר אחד. מומלץ להשתמש בכמה שפחות רסיסים. בכל פיד יכולים להיות עד 1,000 רסיסים.
- אין צורך לשלוח רשומות בודדות שנשלחו בשבר אחד באותו מספר שבר בפידים עתידיים.
- כדי לשפר את הביצועים, כדאי לחלק את הנתונים באופן שווה בין הפצלים, כך שגודל כל קובצי הפצלים יהיה דומה.
- אם יש צורך, אפשר להשתמש ב-gzip כדי לדחוס פידים. אבל צריך לעשות את זה לכל חלק של פיד בנפרד.
פתרון בעיות וניפוי באגים
אחרי שמעלים את הקבצים (קובץ התיאור וקובץ הפיד), עוברים אל כלי הצפייה בהעלאות (תיעוד) בפורטל השותפים (עוברים אל העלאה > היסטוריה) כדי לעקוב אחרי התקדמות ההעלאה של הפיד.
מחפשים את name שהזנתם בקובץ התיאור בעמודה 'שם הפיד' כדי למצוא את הפיד.
אחרי שהפיד נקלט (הסטטוס הוא Success או Fail), אפשר ללחוץ על השורה שלו כדי לראות את פרטי השגיאות והאזהרות.