الجمعة 17 شباط (فبراير) 2023
خلال الأشهر القليلة الماضية، لاحظنا ارتفاعًا في عدد محاولات مالكي المواقع الإلكترونية وبعض شبكات توصيل المحتوى (CDN) لخفض معدّل زحف Googlebot من خلال استخدام 404 وغيرها من أخطاء 4xx لجهة العميل (لكن ليس 429).
إنّ محتوى مشاركة المدوّنة هذه يمكن اختصاره بما يلي: يُرجى عدم استخدام هذه الأخطاء بهدف الحدّ من معدّل الزحف، وبدلاً من ذلك، يُرجى قراءة المستندات التي نوفّرها بخصوص كيفية خفض معدّل زحف Googlebot للتعرّف على كيفية إدارة معدّل الزحف بشكل فعّال.
العودة إلى الأساسيات: أخطاء 4xx هي أخطاء لجهة العميل
إنّ أخطاء 4xx التي تعرضها الخوادم للعملاء هي إشارة من الخادم بأنّ طلب العميل تضمّن خطأً ما. ومعظم الأخطاء ضمن هذه الفئة غير خطيرة، مثل أخطاء "لم يتم العثور على الصفحة" أو "محظور" أو "أنا إبريق شاي" (هذا خطأ يتم عرضه في الواقع). ولا تشير هذه الأخطاء إلى حدوث أي مشاكل في الخادم نفسه.
يُعدّ الخطأ 429 الاستثناء الوحيد لهذه القاعدة، إذ يشير إلى حدوث "عدد كبير جدًا من الطلبات". ويقدّم هذا الخطأ إشارة واضحة إلى برامج الزحف ذات الأداء الجيد، ومن ضمنها Googlebot، بأنّها يجب أن تخفّض معدّل زحفها لأنّها تُحمِّل الخادم عبئًا زائدًا.
لمَ تُعتبر أخطاء 4xx أسلوبًا سيئًا للحدّ من معدّل زحف Googlebot (باستثناء الخطأ 429)؟
إنّ الأخطاء لجهة العميل هي كما يشير اسمها بالضبط. وبشكل عام، لا تشير هذه الأخطاء إلى حدوث أي خطأ لجهة الخادم، مثل مواجهة الخادم تحميلاً زائدًا أو خطأ ملحًّا أو عدم قدرته على الاستجابة للطلب، بل تشير إلى حدوث مشكلة ما في طلب العميل. وليس هناك أي رابط منطقي بين خطأ 404 مثلاً والتحميل الزائد على الخادم.
لنفترض أنّك تلقّيت عددًا كبيرًا من أخطاء 404 بعد أن أدرج صديقك عن طريق الخطأ روابط إلى الصفحات الخاطئة على موقعك الإلكتروني. سيؤدي ذلك بدوره إلى خفض معدّل زحف Googlebot، ولكن بطريقة سلبية جدًا بالنسبة إلى موقعك. الأمر نفسه ينطبق على أخطاء 403 و410 و418.
نُعيد التذكير، الاستثناء الأساسي لهذه القاعدة هو رمز الحالة 429 الذي يشير إلى حدوث "عدد كبير جدًا من الطلبات".
كيف يتأثر Googlebot بالحدّ من معدّل الزحف باستخدام 4xx؟
إنّ جميع رموز 4xx لحالة HTTP (مجددًا، باستثناء 429) ستؤدي إلى إزالة محتواك من "بحث Google". والأسوأ من ذلك هو أنّك إذا عرضت ملف robots.txt يتضمّن رمز 4xx لحالة HTTP، سيتم التعامل مع الملف كما لو أنّه لم يكُن متوفرًا. وبالتالي، إذا كنت تستخدم قاعدة تمنع الزحف إلى المحتوى الذي لا ترغب بعرضه، سيتمكّن Googlebot من الوصول إليه، وهذا ليس جيدًا لكليكما.
كيف يمكنك خفض معدّل زحف Googlebot بشكل صحيح؟
احرص على مراجعة المستندات الشاملة التي نوفرها بشأن كيفية خفض معدّل زحف Googlebot وكيفية تعامُل Googlebot (وفهرسة البحث) مع رموز حالة HTTP المختلفة. باختصار، يمكنك تنفيذ أحد الإجراءين التاليَين لخفض معدّل الزحف:
- خفض معدّل الزحف مؤقتًا باستخدام Search Console
-
عرض أحد الرموز
500أو503أو429لحالة HTTP عندما تكون سرعة زحف Googlebot عالية
إذا كنت بحاجة إلى نصائح أو توضيحات إضافية، يمكنك التواصل معنا عبر Twitter، أو يمكنك نشر مشاركة في منتديات المساعدة الخاصة بنا.