نقل البيانات على دفعات

تتيح لك خلاصات البيانات إتاحة معلومات المطعم والخدمات والقائمة في ميزة "طلب الطعام من خلال خرائط Google".

يتناول هذا المستند كيفية استضافة مستودعَي الاختبار والإصدار العلني واستخدام عملية نقل البيانات بشكلٍ مجمّع لتعديل مستودعك في ميزة "الطلب من البداية إلى النهاية".

بيئات خلاصات البيانات

تتوفّر ثلاث بيئات خلاصات بيانات لتطوير عملية الدمج:

بيئة الخلاصة الوصف نقل البيانات على دفعات
وضع الحماية بيئة الاختبار لتطوير خلاصتك مطلوب
الإنتاج بيئة الإنتاج لمستودعك الذي تريد إطلاقه. مطلوب

استضافة خلاصات البيانات

لكي تتمكّن ميزة "الطلب من البداية إلى النهاية" من معالجة خلاصات بياناتك في "الإصدار التجريبي" و"الإصدار العلني" من خلال نقل البيانات مجمّعة، يجب استضافة ملفات خلاصات البيانات في Google Cloud Storage أو Amazon S3 أو HTTPS باستخدام خريطة موقع.

ننصحك باستضافة خلاصات البيانات لكل من بيئة المحاكاة وبيئة الإنتاج بشكل منفصل. يتيح لك هذا النهج إجراء التطوير والاختبار في بيئة خلاصة وضع الحماية قبل نشر التغييرات في قناة الإصدار العلني.

على سبيل المثال، إذا كنت تستخدم Google Cloud Storage كخيار استضافة، ستحصل على المسارات التالية:

  • خلاصة وضع الحماية: gs://foorestaurant-google-feed-sandbox/
  • خلاصة الإنتاج: gs://foorestaurant-google-feed-prod/

لاستضافة مستودعك، اتّبِع الخطوات التالية:

  1. أنشئ ملفات خلاصة البيانات.
  2. اختَر حلّ استضافة.
  3. استضافة خلاصات البيانات
  4. تأكَّد من تعديل ملفات خلاصات البيانات بانتظام. يجب تعديل خلاصات بيانات الإنتاج يوميًا.

للاطّلاع على تفاصيل حول كيفية إنشاء خلاصة مستودع، يمكنك الاطّلاع على المستندات المتعلّقة بالكيانات Restaurant، وService، وMenu ، بالإضافة إلى القسم إنشاء خلاصة بيانات.

إرشادات حول ملفات خلاصات البيانات

يجب ألا يتجاوز حجم كل ملف، الذي يمكن أن يحتوي على كيانات متعددة، 200 ميغابايت. يجب ألا يتجاوز حجم الكيانات ذات المستوى الأعلى Restaurant وService وMenu، بالإضافة إلى الكيانات الفرعية لها، 4 ميغابايت كلها معًا.

اختيار حلّ استضافة

يسرد الجدول التالي خيارات استضافة خلاصات البيانات وكيفية عمل هذه المضيفات مع ميزة "الطلب من البداية إلى النهاية":

Amazon S3 Google Cloud Storage HTTPS مع خريطة موقع
بيانات الاعتماد وإمكانية الوصول

قدِّم للمعلومات التالية إلى Google:

  • رقم تعريف مفتاح الوصول
  • مفتاح الوصول السري
  • المسارات المؤدية إلى دليلَي S3 للإصدار العلني والإصدار التجريبي وملف marker.txt. يجب أن يبدأ المسار بـ s3://.

يجب أن تتضمّن حزمة S3 المعلومات التالية:

  • ملفات الخلاصات لمستودعك الإعلاني
  • marker.txt، الذي يحتوي على طابع زمني يُستخدَم في استرجاع البيانات

مثال على ملف marker.txt: 2018-12-03T08:30:42.694Z

قدِّم لشركة Google مسارات إلى مجلدات حِزم الإصدار العلني ومنطقة الاختبار وملف marker.txt. يجب أن تبدأ المسارات بـ gs://.

أضِف حساب الخدمة الذي قدّمه لك استشاري Google كقارئ لحزمة Google Cloud Storage.

لمزيد من المعلومات عن كيفية التحكّم في الوصول إلى Google Cloud Storage (GCS)، يُرجى الاطّلاع على Google Cloud Platform Console: ضبط أذونات الحزمة.

يجب أن تتضمّن حزمة GCS المعلومات التالية:

  • ملفات الخلاصات لمستودعك الإعلاني
  • marker.txt، الذي يحتوي على طابع زمني يُستخدَم في استرجاع البيانات

مثال على ملف marker.txt: 2018-12-03T08:30:42.694Z

قدِّم للمعلومات التالية إلى Google:

  • بيانات اعتماد المصادقة الأساسية
  • مسار خريطة الموقع في كلّ من قناة الإصدار العلني ومساحة الاختبار يجب أن يبدأ المسار بـ https://.
  • البروتوكول: يجب إتاحة ملفات الخلاصات من خلال HTTPS وليس HTTP.
  • الأمان: تنصح Google بشدة بحماية ملفات الخلاصات المستضافة باستخدام المصادقة الأساسية.
كيف يتعرّف محرّك بحث Google على الملفات التي يجب جلبها قائمة بجميع الملفات في الحزمة قائمة بجميع الملفات في الحزمة عناوين URL الفردية للملفات المدرَجة في خريطة الموقع
كيف تعرف Google أنّ الملفات جاهزة للاسترجاع بعد الانتهاء من إنشاء خلاصات البيانات، عدِّل ملف marker.txt باستخدام أحدث طابع زمني. بعد الانتهاء من إنشاء خلاصات البيانات، عدِّل ملف marker.txt باستخدام أحدث طابع زمني. بعد الانتهاء من إنشاء خلاصات البيانات، عدِّل عنوان الاستجابة last-modified في sitemap.xml باستخدام أحدث طابع زمني.
الحدود القصوى المسموح بها للملف

الحد الأقصى لعدد الملفات: 100,000.

يجب أن يكون لديك أقل من 100,000 ملف في حزمة Amazon S3.

الحد الأقصى لعدد الملفات: 100,000.

يجب أن يكون لديك أقل من 100,000 ملف في حزمة Google Cloud Storage.

الحد الأقصى لعدد الملفات: 100,000.

يجب أن يكون عدد مسارات الملفات ضمن ملف XML الخاص بخريطة الموقع أقل من 100,000.

ربط خلاصات البيانات لنقل البيانات المجمّعة

بعد استضافة خلاصاتك، عليك ربطها بمشروعك على مركز الإجراءات. تتم الإعدادات الأولية لخلاصات الإصدار العلني في صفحة مهام الإعداد. في وقت لاحق، يمكن لأي مستخدمين في البوابة لديهم دور إداري تعديل إعدادات خلاصات الإصدار العلني والإصدار التجريبي من صفحة الإعداد > الخلاصات في أي وقت. تُستخدَم بيئة وضع الحماية لأغراض التطوير والاختبار، في حين يتم عرض خلاصات الإصدار العلني للمستخدمين.

إذا كنت تستضيف خلاصات البيانات باستخدام Amazon S3

  1. في مركز الإجراءات، انتقِل إلى الإعداد > الخلاصات.

  2. انقر على تعديل واملأ نموذج تعديل الخلاصة:

    • طريقة عرض الخلاصة: اضبطها على Amazon S3.
    • ملف العلامات: قدِّم عنوان URL لملف marker.txt.
    • ملفات البيانات: قدِّم عنوان URL لحزمة S3 التي تحتوي على خلاصات البيانات.
    • رقم تعريف الوصول: أدخِل رقم تعريف مفتاح الوصول في إدارة الهوية وإمكانية الوصول مع أذونات للقراءة من موارد S3.
    • مفتاح الوصول: أدخِل مفتاح الوصول السري لخدمة إدارة الهوية وإمكانية الوصول (IAM) مع أذونات للقراءة من موارد S3.
  3. انقر على إرسال.
  4. بعد ساعة أو ساعتَين، تحقّق مما إذا كان نقل البيانات المجمّعة يجلب ملفات خلاصتك.

إذا كنت تستضيف خلاصات بياناتك باستخدام Google Cloud Storage

  1. في مركز الإجراءات، انتقِل إلى الإعداد > الخلاصات.

  2. انقر على تعديل واملأ نموذج تعديل الخلاصة:

    • طريقة عرض الخلاصة: اضبطها على Google Cloud Storage.
    • ملف العلامات: قدِّم عنوان URL لملف marker.txt.
    • ملفات البيانات: قدِّم عنوان URL لحزمة GCS التي تحتوي على خلاصات البيانات.
  3. انقر على إرسال.
  4. يتم إنشاء حساب خدمة للوصول إلى حزمة GCS. يمكن العثور على اسم الحساب في الإعداد > الخلاصات بعد اكتمال مهام الإعداد. يحتاج حساب الخدمة هذا إلى دور "قارئ العناصر القديمة في مساحة التخزين". يمكن منح هذا الدور لحساب الخدمة في صفحة "إدارة الهوية وإمكانية الوصول" في وحدة تحكّم Google Cloud.
  5. بعد ساعة أو ساعتَين، تحقّق مما إذا كان نقل البيانات المجمّعة يجلب ملفات خلاصتك.

إذا كنت تستضيف خلاصات البيانات باستخدام بروتوكول HTTPS

  1. في مركز الإجراءات، انتقِل إلى الإعداد > الخلاصات.

  2. انقر على تعديل واملأ نموذج تعديل الخلاصة:

    • طريقة عرض الخلاصة: اضبطها على HTTPS.
    • ملف خريطة الموقع: قدِّم عنوان URL لملف sitemap.xml.
    • اسم المستخدم: أدخِل بيانات اعتماد اسم المستخدم للوصول إلى خادم HTTPS.
    • كلمة المرور: أدخِل كلمة المرور للوصول إلى خادم HTTPS.
  3. انقر على إرسال.
  4. بعد ساعة أو ساعتَين، تحقّق مما إذا كان نقل البيانات المجمّعة يجلب ملفات خلاصتك.

أمثلة على المسارات

يحتوي الجدول التالي على أمثلة على المسارات لكل خيار من خيارات الاستضافة:

Amazon S3 Google Cloud Storage HTTPS مع خريطة موقع
المسار s3://foorestaurant-google-feed-sandbox/ gs://foorestaurant-google-feed-sandbox/ https://sandbox-foorestaurant.com/sitemap.xml
ملف العلامات s3://foorestaurant-google-feed-sandbox/marker.txt gs://foorestaurant-google-feed-sandbox/marker.txt لا تنطبق

خرائط المواقع لاستضافة HTTPS

اتّبِع الإرشادات التالية عند تحديد خرائط الموقع:

  • يجب أن تشير الروابط في خريطة موقعك إلى الملفات نفسها.
  • إذا كانت خريطة موقعك تتضمّن إشارات إلى مقدّم خدمة السحابة الإلكترونية بدلاً من اسم نطاقك، احرص على أن تكون بداية عناوين URL، مثل https://www.yourcloudprovider.com/your_id، ثابتة وفريدة لوظيفتك المجمّعة.
  • احرِص على عدم تحميل خرائط موقع جزئية (مثلاً في حال تحميل بيانات جزئية). يؤدي ذلك إلى نقل Google للملفات في خريطة الموقع فقط، ما سيؤدي إلى انخفاض مستويات المستودع وقد يؤدي إلى حظر نقل الخلاصة.
  • تأكَّد من عدم تغيير مسارات الملفات المشار إليها في خريطة الموقع. على سبيل المثال، لا تجعل ملف خريطة الموقع يشير إلى https://www.yourcloudprovider.com/your_id/10000.json اليوم ثم يشير إلى https://www.yourcloudprovider.com/your_id/20000.json في الغد.
مثال على ملف خريطة الموقع

في ما يلي مثال على ملف sitemap.xml يعرض ملفات خلاصات البيانات:

المثال 1: الكيانات المجمّعة حسب التجّار (إجراء مقترَح)

XML

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
 <url>
   <loc>https://your_fulfillment_url.com/restaurant_1.ndjson</loc>
   <lastmod>2018-06-11T10:46:43+05:30</lastmod>
 </url>
 <url>
   <loc>https://your_fulfillment_url.com/restaurant_2.ndjson</loc>
   <lastmod>2018-06-11T10:46:43+05:30</lastmod>
 </url>
 <url>
   <loc>https://your_fulfillment_url.com/restaurant_3.ndjson</loc>
   <lastmod>2018-06-11T10:46:43+05:30</lastmod>
 </url>
</urlset>

المثال 2: الكيانات المجمّعة حسب الأنواع

XML

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
 <url>
   <loc>https://your_fulfillment_url.com/restaurant.json</loc>
   <lastmod>2018-06-11T10:46:43+05:30</lastmod>
 </url>
 <url>
   <loc>https://your_fulfillment_url.com/menu.json</loc>
   <lastmod>2018-06-11T10:46:43+05:30</lastmod>
 </url>
 <url>
   <loc>https://your_fulfillment_url.com/service.json</loc>
   <lastmod>2018-06-11T10:46:43+05:30</lastmod>
 </url>
</urlset>

تعديل خلاصات البيانات

بعد ربط خلاصات البيانات، تتحقّق Google من توفّر تحديثات مرة واحدة كل ساعة، ولكنّنا لا نعالج جميع خلاصات البيانات إلا عند تعديل ملفّي marker.txt أو sitemap.xml. نتوقع أن تعدّل خلاصات البيانات مرة واحدة في اليوم لتجنّب عرض مستودع قديم.

لتحديد أنّه تم تعديل خلاصات البيانات وأنّها جاهزة لنقل البيانات بشكل مجمّع، عدِّل حقل البيانات الوصفية لعنصر last-modified في ملف marker.txt (لنظامَي GCP و S3) أو عنوان استجابة last-modified في ملف sitemap.xml. تستخدِم Google هذه القيم لتحديد مدى حداثة خلاصة البيانات.

أثناء نقل خلاصة الدفعة،

  • سيتم إدراج كيانات جديدة غير متوفّرة في مستودعك الحالي للطلبات من البداية إلى النهاية ولا تحتوي على أي أخطاء.
  • الكيانات المتوفّرة حاليًا في المستودع والتي لا تتضمّن أي أخطاء عند نقل البيانات والتي يكون لها dateModified أحدث من الإدخال الحالي أو في حال عدم توفّر dateModified، يكون وقت بدء نقل بيانات الخلاصة أحدث من الإدخال الحالي الذي سيتم تعديله، وإلا سيتم وضع علامة عليه بأنّه قديم.
  • سيتم حذف العناصر التي كانت جزءًا من خلاصة سابقة ولم تعُد مضمّنة في خلاصة الدفعة التي تتم معالجتها، شرط عدم توفّر أخطاء على مستوى الملف في الخلاصة.

يجب عدم تعديل الطابع الزمني أو عنوان استجابة last-modified إلا بعد إنشاء جميع ملفات خلاصة data وتعديلها. حصر مهام الدُفعات التي تعدّل خلاصات البيانات لتشغيلها مرة واحدة فقط في اليوم بدلاً من ذلك، يمكنك ترك فاصل زمني لا يقل عن ثلاث ساعات بين كل مهمة مجمّعة. في حال عدم اتّباع هذه الخطوات، قد تجلب Google ملفات قديمة.

السابق
اختبار خلاصة البيانات