פרמטרים של תצורה שסופקו על ידי Google

לכל מחבר משויך קובץ תצורה שמכיל פרמטרים המשמשים את המחבר, כמו המזהה של המאגר. פרמטרים מוגדרים מצמדי מפתח-ערך, למשל api.sourceId=1234567890abcdef.

ב-Google Cloud Search SDK יש כמה הגדרות ש-Google מספקת שבהם משתמשים מחברים שונים. של פרמטרי התצורה ש-Google מספקת, רק הפרמטרים של גישה למקור נתונים חייבים להיות מוגדרים קובץ תצורה. אינך צריך להגדיר מחדש את הפרמטרים ש-Google מספקת את קובץ התצורה אלא אם רוצים לשנות את ערכי ברירת המחדל שלהם.

בחומר העזר הזה מתוארים הפרמטרים של התצורה ש-Google מספקת.

דוגמה לקובץ תצורה

בדוגמה הבאה מוצג קובץ תצורת זהות עם צמדי מפתח/ערך של פרמטר.

#
# Configuration file sample
#
api.sourceId=1234567890abcdef
api.identitySourceId=0987654321lmnopq
api.serviceAccountPrivateKeyFile= ./PrivateKey.json

#
# Traversal schedules
#
schedule.traversalIntervalSecs=7200
schedule.incrementalTraversalIntervalSecs=600
#
# Default ACLs
#
defaultAcl.mode=fallback
defaultAcl.public=true

פרמטרים מוגדרים בדרך כלל

בקטע הזה מפורטים פרמטרים של הגדרה נדרשים ופרמטרים נפוצים של הגדרות אישיות. אם לא משנים את הערכים של הפרמטרים האופציונליים, המחבר משתמש בערכי ברירת המחדל שסופקו על ידי ה-SDK.

גישה למקור נתונים

בטבלה הבאה מפורטים כל הפרמטרים הנדרשים כדי להופיע במערך הגדרות אישיות. חדש. הפרמטרים שבהם משתמשים תלויים בסוג המחבר שיוצרים (מחבר התוכן או מחבר הזהויות).

הגדרה פרמטר
מזהה מקור הנתונים api.sourceId=1234567890abcdef

הפרמטר נדרש על ידי מחבר כדי לזהות את את המיקום של המאגר. הערך הזה יתקבל כאשר הוספתם מקור נתונים לחיפוש. הפרמטר הזה חייב להיות בקבצים של תצורת המחבר.
המזהה של מקור הזהות api.identitySourceId=0987654321lmnopq

מחברי הזהויות נדרשים לפרמטר הזה כדי לזהות את המיקום של מקור זהות חיצוני. קיבלתם את הערך הזה למפות זהויות משתמשים ב-Cloud Search. הפרמטר הזה חייב להיכלל בכל קובצי התצורה של מחבר הזהויות.
קובץ מפתח פרטי של חשבון שירות api.serviceAccountPrivateKeyFile=./PrivateKey.json

הפרמטר הזה מכיל את המפתח הפרטי שנדרש כדי לגשת למאגר. קיבלתם את הערך הזה הגדרת גישה ל-REST של Google Cloud Search API. הפרמטר הזה חייב להיכלל בכל קובצי התצורה.
מזהה חשבון השירות api.serviceAccountId=123abcdef4567890

הפרמטר הזה מציין את חשבון השירות ID. ערך ברירת המחדל של המחרוזת הריקה מותר רק כאשר קובץ התצורה מציין פרמטר של קובץ מפתח פרטי. הפרמטר הזה נדרש אם קובץ המפתח הפרטי אינו מפתח JSON.

מספר חשבון Google Workspace api.customerId=123abcdef4567890

הפרמטר הזה מציין את מספר החשבון של חשבון Google Workspace של הארגון. קיבלת בערך הזה כשממפים את המשתמש ב-Cloud Search. הפרמטר הזה נדרש כשמסנכרנים משתמשים באמצעות ב-Google Identity.
כתובת URL בסיסית api.rootUrl=baseURLPath

הפרמטר הזה מציין את נתיב כתובת ה-URL של בסיס שירות ההוספה לאינדקס.

ערך ברירת המחדל של הפרמטר הזה הוא מחרוזת ריקה שמומרת ל- https://cloudsearch.googleapis.com

לוחות זמנים של מעברים

הפרמטרים של התזמון קובעים באיזו תדירות המחבר ממתין בין מעברים.

הגדרה פרמטר
מעבר מלא בזמן הפעלת המחבר schedule.performTraversalOnStart=true|false

המחבר מבצע מעבר מלא בעת הפעלת המחבר, במקום בהמתנה עד שפרק הזמן הראשון יפוג. ערך ברירת המחדל הוא true.

מעבר מלא לאחר מרווח זמן schedule.traversalIntervalSecs=intervalInSeconds

המחבר מבצע מעבר מלא לאחר מרווח זמן שצוין. יש לציין את מרווח בין מעברים בשניות. ערך ברירת המחדל הוא 86400 (מספר השניות ביום אחד).

יציאה לאחר מעבר יחיד connector.runOnce=true|false

המחבר מריץ מעבר מלא פעם אחת, ולאחר מכן יוצא. הפרמטר הזה צריך רק צריך להיות מוגדר ל-true אם אתם משתמשים באסטרטגיית מעבר מלאה. פירוט ותרשים אסטרטגיות דורשות מעברים מרובים כדי לזהות שינויים ולהוסיף תוכן לאינדקס. ברירת המחדל הערך הוא false (אין לצאת לאחר מעבר יחיד).

מעבר מצטבר אחרי מרווח schedule.incrementalTraversalIntervalSecs=intervalInSeconds

המחבר מבצע מעבר מצטבר לאחר מרווח זמן שצוין. לציין את המרווח בין מעברים בשניות. ערך ברירת המחדל הוא 300 (מספר השניות ב-5 דקות).

פרקי זמן מתוזמנים בתור של סקרים schedule.pollQueueIntervalSecs=interval_in_seconds

המרווח בין פרקי זמן מתוזמנים בתור של סקרים (בשניות). הוא בשימוש רק על ידי מחבר מעבר של רשימה. ערך ברירת המחדל הוא 10.

רשימות של בקרת גישה

המחבר שולט בגישה לפריטים באמצעות רשימות ACL. פרמטרים מרובים מאפשרות להגן על גישת המשתמשים לרשומות שנוספו לאינדקס באמצעות רשימות ACL.

אם למאגר יש פרטי ACL נפרדים שמשויכים לכל פריט, צריך להעלות את כל נתוני ה-ACL כדי לשלוט בגישה לפריטים ב-Cloud Search. אם המיקום אם המאגר מספק מידע חלקי על רשימת ACL או לא מספק מידע חלקי, אפשר לספק את פרטי ה-ACL בפרמטרים הבאים, שערכת ה-SDK מספקת למחבר.

הגדרה פרמטר
מצב ACL defaultAcl.mode=mode

ההגדרה קובעת מתי להחיל את רשימת ה-ACL שמשמשת כברירת המחדל. הערכים האפשריים:

  • none: לא להשתמש ברשימת ה-ACL שמשמשת כברירת המחדל (במצב הזה, הרשומות לא ניתנת לחיפוש, אלא אם תגדירו רשימות ACL נפרדות)
  • fallback: שימוש ברשימת ה-ACL שמשמשת כברירת המחדל רק אם אין כבר רשימת ACL
  • append: הוספת רשימת ה-ACL שמשמשת כברירת המחדל לרשימת ה-ACL הקיימת
  • override: החלפת רשימת ה-ACL הקיימת ברשימת ה-ACL שמשמשת כברירת המחדל

מצב ברירת המחדל הוא none.
ברירת המחדל של רשימת ACL ציבורית defaultAcl.public=true|false

רשימת ה-ACL שמשמשת כברירת המחדל לכל המאגר מוגדרת לגישה כנחלת הכלל. ערך ברירת המחדל הוא false.

קוראים נפוצים של קבוצות ACL defaultAcl.readers.groups=google:group1@mydomain.com, group2
קוראי ACL נפוצים defaultAcl.readers.users=user1, user2, google:user3@mydomain.com
קוראי קבוצות שנדחו ברשימת ה-ACL הנפוצים defaultAcl.denied.groups=group3
קוראי ACL נפוצים נדחו defaultAcl.denied.users=user4, user5
גישה לכל הדומיין כדי לציין שכל רשומה שנוספה לאינדקס תהיה נגישה באופן ציבורי לכל משתמש בדומיין, מגדירים את שני הפרמטרים הבאים בערכים:
  • defaultAcl.mode=override
  • defaultACL.public=true
רשימת ACL מוגדרת נפוצה כדי לציין רשימת ACL אחת לכל רשומה של מאגר הנתונים, מגדירים את כל ערכי הפרמטרים הבאים:
  • defaultAcl.mode=fallback
  • defaultAcl.public=false
  • defaultAcl.readers.groups=google:group1@mydomain.com, group2 code>
  • defaultAcl.readers.users=user1@mydomain.com, user2, google:user3@mydomain.com
  • defaultAcl.denied.groups=group3
  • defaultAcl.denied.users=user4, user5

    כל משתמש וקבוצה שצוינו נחשבים לדומיין מקומי שהוגדר משתמש/קבוצה, אלא אם התחילית של המספר היא "google:" (קבוע מילולי).

    המשתמש או הקבוצה שמוגדרים כברירת מחדל הם מחרוזת ריקה. צריך להזין רק פרמטרים של משתמשים וקבוצות אם defaultAcl.public מוגדר ל-false. כדי לציין כמה פריטים קבוצות ומשתמשים, צריך להשתמש ברשימות שמופרדות בפסיקים.

    אם המדיניות defaultAcl.mode מוגדרת לערך none, הרשומות ללא רשימות ACL נפרדות מוגדרות.

פרמטרים של הגדרת מטא-נתונים

חלק מהמטא-נתונים של הפריט ניתנים להגדרה. מחברים יכולים להגדיר שדות מטא-נתונים שניתנים להגדרה במהלך לאינדקס. אם המחבר לא מגדיר שדה, נעשה שימוש בפרמטרים שבקובץ התצורה כדי להגדיר את השדה.

קובץ התצורה כולל סדרה של פרמטרים בעלי שם של תצורת מטא-נתונים, שמצוינים על ידי סיומת .field, כמו itemMetadata.title.field=movieTitle. אם יש ערך לאפשרויות האלה פרמטרים, הוא משמש להגדרת שדה המטא-נתונים. אם אין ערך עבור בעל שם של מטא-נתונים, המטא-נתונים מוגדרים באמצעות פרמטר עם הפונקציה סיומת .defaultValue).

בטבלה הבאה מוצגים פרמטרים של הגדרת מטא-נתונים.

הגדרה פרמטר
כותרת itemMetadata.title.field=movieTitle
itemMetadata.title.defaultValue=Gone with the Wind
שם הפריט. אם title.field לא מוגדר לערך, הערך של נעשה שימוש ב-title.defaultValue.
כתובת ה-URL של מאגר המקור itemMetadata.sourceRepositoryUrl.field=url
itemMetadata.sourceRepositoryUrl.defaultValue=https://www.imdb.com/title/tt0031381/
כתובת ה-URL של הפריט שנעשה בה שימוש בתוצאות החיפוש. אפשר פשוט להגדיר את defaultValue להחזיק כתובת ה-URL של המאגר כולו, למשל אם הנציג הוא קובץ CSV ויש רק קובץ אחד כתובת URL של כל פריט. אם sourceRepositoryUrl.field לא מוגדר לערך, נעשה שימוש בערך של sourceRepositoryUrl.defaultValue.
שם המאגר itemMetadata.containerName.field=containerName
itemMetadata.containerName.defaultValue=myDefaultContainerName
שם המאגר של הפריט, למשל שם של ספרייה או תיקייה של מערכת קבצים. אם המיקום containerName.field לא מוגדר כערך, אלא הערך של נעשה שימוש ב-containerName.defaultValue.
סוג אובייקט itemMetadata.objectType.field=type
itemMetadata.objectType.defaultValue=movie
סוג האובייקט שמשמש את המחבר, כפי שמוגדר ב סכימה. המחבר לא יוסיף לאינדקס נתונים מובְנים אם המאפיין הזה לא צוין.
אם objectType.field לא מוגדר, הערך של נעשה שימוש ב-objectType.defaultValue.
שעת יצירה itemMetadata.createTime.field=releaseDate
itemMetadata.createTime.defaultValue=1940-01-17
חותמת הזמן של יצירת המסמך. אם createTime.field לא מוגדר לערך, נעשה שימוש בערך של createTime.defaultValue.
שעת העדכון itemMetadata.updateTime.field=releaseDate
itemMetadata.updateTime.defaultValue=1940-01-17
חותמת הזמן של השינוי האחרון בפריט. אם updateTime.field לא מוגדר לערך ערך, נעשה שימוש בערך של updateTime.defaultValue.
שפת התוכן itemMetadata.contentLanguage.field=languageCode
itemMetadata.contentLanguage.defaultValue=en-US
שפת התוכן של המסמכים שנוספו לאינדקס. אם contentLanguage.field אינו מוגדר לערך, נעשה שימוש בערך של contentLanguage.defaultValue.
סוג MIME itemMetadata.mimeType.field=mimeType
itemMetadata.mimeType.defaultValue=image/bmp
סוג ה-mime המקורי של ItemContent.content במאגר המקור. האורך המקסימלי הוא 256 תווים. אם mimeType.field לא מוגדר לערך, הערך של נעשה שימוש ב-mimeType.defaultValue.
מטא-נתונים של איכות החיפוש itemMetadata.searchQualityMetadata.quality.field=quality
itemMetadata.searchQualityMetadata.quality.defaultValue=1
המדד הזה משקף את איכות הפריט, שמשפיע על איכות החיפוש. הערך צריך להיות בין 0.0 (האיכות הנמוכה ביותר) ל-1.0 (האיכות הגבוהה ביותר). ערך ברירת המחדל הוא 0.0. אם quality.field לא מוגדר לערך, הערך של נעשה שימוש ב-quality.defaultValue.
גיבוב itemMetadata.hash.field=hash
itemMetadata.hash.defaultValue=f0fda58630310a6dd91a7d8f0a4ceda2
ערך הגיבוב (hashing) שסופק על ידי שולח הקריאה ל-API. אפשר להשתמש במדיניות הזו עם השיטה items.push לחישוב מצב השינוי. האורך המקסימלי הוא 2,048 תווים. אם hash.field לא מוגדר לערך, הערך של נעשה שימוש ב-hash.defaultValue.

פורמטים של תאריך ושעה

הפורמטים של תאריך ושעה מציינים את הפורמטים הנדרשים במאפייני המטא-נתונים. אם קובץ התצורה לא מכיל את הפרמטר הזה, המערכת משתמשת בערכי ברירת מחדל. הפרמטר הזה מוצג בטבלה הבאה.

הגדרה פרמטר
פורמטים נוספים של תאריכים ושעות structuredData.dateTimePatterns=MM/dd/uuuu HH:mm:ssXXX
רשימה של java.time.format.DateTimeFormatter נוספות שמופרדות באמצעות נקודה-פסיק דפוסים. התבניות משמשות לניתוח ערכי מחרוזות בשדות של תאריך או תאריך ושעה במטא-נתונים או בסכימה. ערך ברירת המחדל הוא רשימה ריקה, אבל RFC 3339 ו-RFC 1123 פורמטים נתמכים תמיד.

נתונים מובְנים

Cloud Search Indexing API מספק שירות סכימה שניתן להשתמש בו כדי להתאים אישית את האופן שבו Cloud Search יוסיף לאינדקס ויגיש את הנתונים שלכם. אם משתמשים של המאגר המקומי, צריך לציין את הפורמט של הנתונים המובְנים שם הסכימה.

הגדרה פרמטר
שם הסכימה המקומית structuredData.localSchema=mySchemaName

שם הסכימה נקרא ממקור הנתונים ומשמש למאגר נתונים מובְנים.

ברירת המחדל היא מחרוזת ריקה.

איכות התוכן והחיפוש

למאגרים שמכילים רשומות או תוכן מבוסס-שדה (כמו מערכת לניהול קשרי לקוחות (CRM), CVS, או מסד נתונים), ה-SDK מאפשר עיצוב אוטומטי של HTML לשדות נתונים. שלך המחבר מגדיר את שדות הנתונים בתחילת ביצוע המחבר, משתמש בתבנית תוכן כדי לעצב כל רשומת נתונים לפני שמעלים אותה ב-Cloud Search.

תבנית התוכן מגדירה את החשיבות של כל ערך בשדה לחיפוש. קוד ה-HTML <title> הוא שדה חובה ומוגדר כעדיפות הגבוהה ביותר. אפשר להקצות רמות חשיבות של איכות חיפוש בכל שדות התוכן האחרים: גבוהה, בינונית או נמוכה. שדה תוכן שלא מוגדר בקטגוריה ספציפית ברירת המחדל היא עדיפות נמוכה.

הגדרה פרמטר
כותרת HTML של תוכן contentTemplate.templateName.title=myTitleField

כותרת ה-HTML של התוכן והשדה באיכות החיפוש הגבוהה ביותר. חובה לכלול את הפרמטר הזה רק אם אתם משתמשים בתבנית תוכן HTML. ערך ברירת המחדל הוא ריק String.

איכות חיפוש גבוהה בשדות תוכן contentTemplate.templateName.quality.high=hField1,hField2

לשדות תוכן שקיבלו עדיפות גבוהה לחיפוש. ברירת המחדל היא מחרוזת ריקה.

איכות חיפוש בינונית בשדות תוכן contentTemplate.templateName.quality.medium=mField1,mField2

לשדות תוכן ניתנת עדיפות חיפוש בינונית. ברירת המחדל היא מחרוזת ריקה.

איכות חיפוש נמוכה בשדות תוכן contentTemplate.templateName.quality.low=lField1,lField2

לשדות תוכן שקיבלו עדיפות חיפוש נמוכה. ברירת המחדל היא מחרוזת ריקה.

שדות תוכן שלא צוינו contentTemplate.templateName.unmappedColumnsMode=value

האופן שבו המחבר מטפל בשדות תוכן שלא צוינו. הערכים החוקיים כוללים:

  • APPEND – צירוף שדות תוכן שלא צוינו לתבנית
  • IGNORE – התעלמות משדות תוכן שלא צוינו

    ערך ברירת המחדל הוא APPEND.

לכלול שמות שדות בתבנית HTML contentTemplate.templateName.includeFieldName=true|false

מציינת אם לכלול את שמות השדות יחד עם נתוני השדות ב-HTML תבנית. ברירת המחדל היא true, והיא מאפשרת לחפש את שמות השדות כחלק מנתוני התוכן.

הגדרת פרמטרים לעיתים רחוקות

לעיתים רחוקות צריך להגדיר את הפרמטרים שמפורטים בקטע הזה. ברירות המחדל של הפרמטרים הן מוגדר לקבלת ביצועים אופטימליים. Google לא ממליצה להגדיר את הפרמטרים האלה שונים מערכי ברירת המחדל שלהם ללא דרישות ספציפיות של מאגר הנתונים.

הגדרת שרת Proxy

ערכת ה-SDK מאפשרת לך להגדיר את המחבר כך שישתמש בשרת proxy לחיבורים יוצאים.

הפרמטרים transport.proxy.hostname ו-transport.proxy.port שנדרשת כדי לאפשר העברה באמצעות שרת proxy. יכול להיות שהפרמטרים האחרים יידרשו אם שרת ה-proxy שלכם דורש אימות או פועל באמצעות פרוטוקול SOCKS במקום HTTP. אם המיקום המאפיין transport.proxy.hostname לא מוגדר, ה-SDK לא ישתמש בשרת proxy.

הגדרה פרמטר
שם המארח transport.proxy.hostname=hostname

שם המארח של שרת ה-proxy. הפרמטר הזה נדרש כשמשתמשים בשרת proxy.

יציאה transport.proxy.port=port

מספר היציאה של שרת ה-proxy. הפרמטר הזה נדרש כשמשתמשים בשרת proxy.

סוג שרת Proxy transport.proxy.type=type

סוג שרת ה-proxy. הערכים החוקיים כוללים:

  • HTTP – שרת ה-proxy מקבל ומעביר בקשות באמצעות HTTP.
  • SOCKS – שרת ה-proxy מקבל ומעביר חבילות באמצעות פרוטוקול SOCKS.

ערך ברירת המחדל הוא HTTP.
שם משתמש transport.proxy.username=username

שם המשתמש שבו יש להשתמש בעת בניית אסימון הרשאה של שרת proxy. הפרמטר הזה הוא אופציונלי וצריך להגדיר אותו רק אם שרת ה-proxy שלך דורש אימות.

סיסמה transport.proxy.password=password

הסיסמה שבה יש להשתמש בעת בניית אסימון הרשאה לשרת proxy. הפרמטר הזה הוא אופציונלי וצריך להגדיר אותו רק אם שרת ה-proxy שלך דורש אימות.

חוצים

ה-SDK מאפשר לך לציין מעברים נפרדים מרובים שיאפשרו לבצע מעברים מקבילים במאגר נתונים. המחברים של תבנית ה-SDK משתמשים בהגדרה הזו .

הגדרה פרמטר
הגודל של מאגר השרשורים traverse.threadPoolSize=size

מספר השרשורים שהמחבר יוצר כדי לאפשר עיבוד מקביל. א' איטרטור יחיד מאחזר פעולות באופן סדרתי (בדרך כלל אובייקטים של RepositoryDoc), אבל הקריאות ל-API מעובדות במקביל תוך שימוש במספר השרשורים הזה.

ערך ברירת המחדל הוא 5.

גודל המחיצה traverse.partitionSize=batchSize

מספר ApiOperation() לצורך עיבוד בכמה קבצים לפני אחזור APIOperation נוספים.

ערך ברירת המחדל הוא 50.

בקשות לסקר של חוצים

הליבה של תור ההוספה לאינדקס ב-Cloud Search היא תור בעדיפות שכוללת לכל פריט שידוע שהוא קיים. מחבר של דף עסקי יכול לבקש לשלוח סקרים פריטים מה-API של ההוספה לאינדקס. בקשת סקר מקבלת את התשובות בעדיפות הגבוהה ביותר מתור ההוספה לאינדקס.

הפרמטרים הבאים משמשים את תבנית המחבר של כרטיסי המוצר ל-SDK כדי להגדיר את הפרמטרים של דגימה.

הגדרה פרמטר
כלי למעבר מאגר repository.traversers=t1, t2, t3, ...

יצירת מעבר יחיד אחד או יותר שבהם t1, t2, t3, ... הוא השם הייחודי של כל רכיב. לכל מעבר עם שם יש קבוצת הגדרות משלו שמזוהים באמצעות השם הייחודי של מבצע החצי, למשל traversers.t1.hostload וגם traversers.t2.hostload
הבאים בתור לסקר traverser.pollRequest.queue=mySpecialQueue

שמות תורים שעליהם תשאל החצי הזה. ברירת המחדל היא מחרוזת ריקה (משתמעת מ- 'ברירת מחדל').

traverser.t1.pollRequest.queue=mySpecialQueue

כאשר יש לך מספר העברות, הגדר את הסטטוסים של הפריט לכל מעבר (כאשר t1, מייצג מעבר ספציפי).

התנהגות הדגימה traverser.pollRequest.limit=maxItems

המספר המקסימלי של פריטים שצריך להחזיר בעקבות בקשת סקרים. ערך ברירת המחדל הוא 0 (מציין את ערך ה-API המקסימלי).

traverser.t1.pollRequest.limit=limit

כאשר יש לך מספר העברות, הגדר את הסטטוסים של הפריט לכל מעבר (כאשר t1, מייצג מעבר ספציפי).

סטטוס הפריט traverser.pollRequest.statuses=statuses

הסטטוסים של הפריט הספציפי שהסקר של המשתמש הזה סוקר, שבהם statuses יכול להיות כל שילוב של MODIFIED, NEW_ITEM (מופרד בפסיקים), ברירת המחדל היא מחרוזת ריקה (מתייחסת לכל ערכי הסטטוס).

traverser.t1.pollRequest.statuses=statusesForThisTraverser

כאשר יש לך מספר צמתים, צריך להגדיר את הסטטוסים של הפריט לכל מעבר (כאשר t1, שמייצג מעבר ספציפי).

עומס על המארח traverser.hostload=threads

המספר המקסימלי של שרשורים מקבילים פעילים שזמינים לסקרים. ברירת המחדל הערך הוא 5.

traverser.t1.hostload=threadsForThisTraverser

כאשר יש לך מספר העברות, צריך להגדיר את הסטטוסים של הפריט לכל מעבר (כאשר t1, שמייצג מעבר ספציפי).
חסימה זמנית traverser.timeout=timeout

ערך הזמן הקצוב לתפוגה שמשמש להפסקה של ניסיון הסקר של החצי השני הזה.

ערך ברירת המחדל הוא 60.

traverser.t1.timeout=timeoutForThisTraverser

כאשר יש לך מספר העברות, צריך להגדיר את הסטטוסים של הפריט לכל מעבר (כאשר t1, שמייצג מעבר ספציפי).
traverser.timeunit=timeoutUunit

יחידות הזמן הקצוב לתפוגה. הערכים החוקיים הם SECONDS, MINUTES,

traverser.t1.timeunit=timeoutUnit

כאשר יש לך מספר העברות, צריך להגדיר את הסטטוסים של הפריט לכל מעבר (כאשר t1, שמייצג מעבר ספציפי).

ברוב המקרים, מחבר שמשתמש רק בתבנית המחבר של כרטיסי המוצר של ה-SDK דורשת קבוצה אחת של פרמטרים לדגימה. במקרים מסוימים, יכול להיות שתצטרכו להגדיר יותר מקריטריון אחד של דגימה אם אלגוריתם החצייה שלכם דורש למשל, שמפרידה את עיבוד הפריטים באמצעות תורים שונים.

במקרה הזה, יש לך אפשרות להגדיר מספר קבוצות של סקרים . כדי להתחיל, מציינים את השמות של קבוצות הפרמטרים באמצעות repository.traversers עבור כל שם מוגדר של משתמש, צריך לציין את בקובץ התצורה עם הפרמטרים שבטבלה שלמעלה, שמחליפים את t1 מחליפים בשם של מבצע ההעברות. פעולה זו יוצרת סדרה של סקרים עבור כל traverser מוגדר.

נקודות ביקורת

ניתן להשתמש בנקודת ביקורת כדי לעקוב אחר המצב של מעבר מצטבר.

הגדרה פרמטר
ספריית נקודות ביקורת connector.checkpointDirectory=/path/to/checkpoint

מציינת את הנתיב לספרייה המקומית שישמש לנקודות הביקורת המצטברות והמלאות.

העלאות תוכן

תוכן הפריט מועלה ל-Cloud Search עם הפריט כאשר גודל התוכן אינו חורג מהסף שצוין. אם גודל התוכן חורג מהסף, התוכן יועלה בנפרד מטא-נתונים ונתונים מובְנים.

הגדרה פרמטר
סף להצגת תוכן api.contentUploadThresholdBytes=bytes

סף התוכן שקובע אם התוכן מועלה "בשורה" עם את הפריט לעומת שימוש בהעלאה נפרדת.

ערך ברירת המחדל הוא 100000 (~100KB).

קונטיינרים

תבנית המחבר המלאה משתמשת באלגוריתם שכולל את הקונספט של מתג להחלפת מצב של תור מקור נתונים זמני לזיהוי רשומות שנמחקו במסד הנתונים. זה אומר שבכל מעבר מלא, הרשומות המאוחזרות, שנמצאות חדש, יחליף את כל הרשומות הקיימות של Cloud Search שנוספו לאינדקס המעברים הקודמים, שנמצאים בתור ישן.

הגדרה פרמטר
תג שם מאגר traverse.queueTag=instance

כדי להריץ מספר מופעים של המחבר במקביל כדי להוסיף נתונים משותפים לאינדקס (למשל, במאגרי נתונים שונים או בחלקים נפרדים מאגר נתונים) בלי להפריע זה לזה, להקצות קונטיינר ייחודי תג השם לכל הרצה של המחבר. תג שם ייחודי מונע חיבור ממחיקת רשומות של מישהו אחר.

תג השם מצורף למזהה התור של מחבר המעבר המלא.
השבתת זיהוי המחיקה traverse.useQueues=true|false

מציינת אם המחבר משתמש בלוגיקה של החלפת המצב בתור לזיהוי מחיקה.

ערך ברירת המחדל הוא true, שמציין שהתורים צריכים להיות בשימוש.

הערה: פרמטר ההגדרה הזה רלוונטי רק למחברים מטמיעים את התבנית FullTraversalConnector.

מדיניות באצווה

ה-SDK תומך במדיניות באצווה שמאפשרת לבצע את הפעולות הבאות פעולות:

  • בקשות אצווה
  • ציון מספר הבקשות בתור באצווה
  • ניהול ביצוע מקבצי קבוצות בו-זמנית
  • ניקוי בקשות מקובצות

ה-SDK מקבץ יחד את הבקשות של המחבר כדי להאיץ את התפוקה במהלך העלאות. הטריגר של ה-SDK להעלאה של קבוצה של בקשות הוא על ידי מספר הבקשות או הזמן הקצוב לתפוגה, המוקדם מביניהם. לדוגמה, אם הסתיים הזמן של השהיית אצווה מבלי להגיע לגודל אצווה, או אם הגעת למספר הפריטים באצווה לפני שזמן ההשהיה יחלוף, ואז ההעלאה של קבוצת הקבצים תופעל.

הגדרה פרמטר
בקשות אצווה batch.batchSize=batchSize

בקשות מקובצות יחד. ערך ברירת המחדל הוא 10.
מספר הבקשות בתור באצווה batch.maxQueueLength=maxQueueLength

המספר המקסימלי של בקשות בתור באצווה להפעלה. ערך ברירת המחדל הוא 1000.

הפעלת אצוות בו-זמנית batch.maxActiveBatches=maxActiveBatches

מספר הקבוצות המותרות להפעלה בו-זמנית. ערך ברירת המחדל הוא 20.

ניקוי אוטומטי של בקשות באצווה batch.maxBatchDelaySeconds=maxBatchDelay

מספר השניות להמתנה לפני שבקשות באצווה מסמיקה באופן אוטומטי. ערך ברירת המחדל הוא 5.

ניקוי בקשות באצווה בכיבוי batch.flushOnShutdown=true|false

ניקוי בקשות באצווה במהלך כיבוי השירות. ערך ברירת המחדל הוא true

handlers של חריגים

הפרמטרים של הגורמים המטפלים בחריגים קובעים איך ה-traverser ממשיך אחריו נתקלת בחריגה.

הגדרה פרמטר
הוראה למעבר בין משתמשים במקרה של שגיאה traverse.exceptionHandler=exceptions

האופן שבו ה-traverser צריך להמשיך אחרי שהחריגה הושלכה. ערכים חוקיים הן:

  • 0--תמיד לבטל את המעבר לאחר שנתקלת במקרה חריג
  • num_exceptions (לדוגמה, 10)--ביטול אחרי מבצע ההחלפה הפונקציה מקבלת את הערך שצוין ב-num_exceptions.

    ערך ברירת המחדל הוא 0 (תמיד לבטל במקרה של שגיאה).

  • ignore--התעלמות מהשגיאה
זמן המתנה בין חריגים abortExceptionHander.backoffMilliSeconds=backoff

זמן השהיה לפני ניסיון חוזר (backoff) באלפיות שנייה כדי להמתין בין חריגים של handler שזוהו (משמש בדרך כלל לאחר מעבר על מאגר). ערך ברירת המחדל הוא 10.