الاثنين في 16 كانون الثاني (يناير)، 2017
لقد سمعنا مؤخرًا عددًا من التعريفات لمصطلح "ميزانية الزحف"، ولكن ليس لدينا عبارة محدّدة يمكنها وصف كل ما يشير إليه هذا المصطلح خارج Google. في هذه المشاركة، سنوضّح تعريفنا الخاص بهذا المصطلح وما يمثّله بالنسبة إلى برنامج Googlebot.
أولاً، نودّ التأكيد أنّه بالنسبة إلى معظم الناشرين، وكما هو موضّح أدناه، لا داعي للقلق بخصوص ميزانية الزحف. إذا كان الزحف إلى الصفحات الجديدة يتم عادةً في يوم نشرها، لا حاجة إلى أن يركّز مشرفو المواقع على ميزانية الزحف. وبالمثل، إذا كان الموقع الإلكتروني يحتوي على أقل من بضعة آلاف من عناوين URL، سيتم الزحف إليها في معظم الأحيان بكفاءة.
إنّ تحديد أولوية العناصر التي يجب الزحف إليها والوقت المناسب للزحف وكمية الموارد التي يمكن للخادم الذي يستضيف الموقع الإلكتروني تخصيصها للزحف هي عوامل أكثر أهميةً بالنسبة إلى المواقع الإلكترونية الأكبر حجمًا أو مثلاً، المواقع التي تنشئ صفحات تلقائيًا استنادًا إلى معلَمات عناوين URL.
الحدّ الأقصى لمعدّل الزحف
تم تصميم Googlebot بطريقة لا تؤدي إلى مشاكل أثناء الزحف على الويب. ومهمته الأساسية هي الزحف مع الحرص على عدم خفض مستوى تجربة المستخدمين الذين يزورون الموقع الإلكتروني. نُطلق على هذه الطريقة تسمية "الحدّ الأقصى لمعدّل الزحف"، الذي يضبط الحدّ الأقصى لمعدّل جلب بيانات موقع إلكتروني معيّن.
ببساطة، يمثّل ذلك عدد الاتصالات المتوازية والمتزامنة التي يمكن لبرنامج Googlebot استخدامها للزحف إلى الموقع الإلكتروني، بالإضافة إلى مدة التأخير الفاصلة بين عمليات جلب البيانات. وقد يرتفع معدّل الزحف أو ينخفض استنادًا إلى عاملَين:
- سلامة الزحف: إذا استجاب الموقع الإلكتروني بسرعة عالية لبعض الوقت، سيرتفع الحدّ الأقصى، أي أنّه يمكن استخدام المزيد من الاتصالات للزحف. وإذا كانت استجابة الموقع الإلكتروني بطيئة أو كانت تشير إلى أخطاء في الخادم، سينخفض الحدّ الأقصى لمعدّل الزحف وسيزحف Googlebot بمعدّل أقل.
- ضبط الحدّ الأقصى للزحف في Search Console: يمكن لمالكي المواقع الإلكترونية خفض معدّل زحف Googlebot إلى مواقعهم الإلكترونية. يُرجى العلم بأنّ ضبط حدّ أقصى أعلى للزحف لا يؤدي إلى زيادة معدّل الزحف تلقائيًا.
طلب الزحف
سيكون نشاط Googlebot منخفضًا إذا لم يكن هناك طلب بالفهرسة، حتى في حال لم يتم الوصول إلى الحدّ الأقصى لمعدّل الزحف. ويؤدي العاملان التاليان دورًا مهمًا في تحديد طلب الزحف:
- مدى الرواج: يتم عادةً الزحف بوتيرة أسرع إلى عناوين URL الأكثر رواجًا على الإنترنت بهدف تعديلها باستمرار في فهرسنا.
- مدى القِدم: تحاول أنظمتنا منع عناوين URL من أن تصبح قديمة في الفهرس.
بالإضافة إلى ذلك، قد تؤدي الأحداث التي تتم على مستوى الموقع الإلكتروني، مثل عمليات نقل الموقع الإلكتروني، إلى زيادة طلب الزحف لإعادة فهرسة المحتوى ضمن عناوين URL الجديدة.
استنادًا إلى معدّل الزحف وطلب الزحف معًا، يمكننا تعريف ميزانية الزحف على أنها عدد عناوين URL التي يستطيع ويريد برنامج Googlebot الزحف إليها.
العوامل التي تؤثر في ميزانية الزحف
وفقًا لتحليلاتنا، يمكن أن يؤدي توفّر العديد من عناوين URL المنخفضة القيمة إلى التأثير سلبًا في عمليتَي الزحف إلى الموقع الإلكتروني وفهرسته. وقد تبيّن لنا أنّ عناوين URL ذات القيمة المنخفضة تندرج ضمن الفئات التالية، وهي مرتّبة حسب الأهمية:
- البحث المتعدّد الأوجه ومعرّفات الجلسات
- المحتوى المكرّر على الموقع الإلكتروني
- صفحات أخطاء Soft
- الصفحات المخترَقة
- المساحات اللامتناهية والخوادم الوكيلة
- المحتوى ذو الجودة المنخفضة والمحتوى غير المرغوب فيه
يؤدي هدر موارد الخادم على صفحات مثل الصفحات المذكورة أعلاه إلى استنزاف نشاط الزحف من الصفحات التي لها قيمة مفيدة، ما قد يسبب تأخيرًا كبيرًا في اكتشاف المحتوى الرائع على الموقع الإلكتروني.
أهم الأسئلة
الزحف هو نقطة دخول المواقع الإلكترونية إلى نتائج "بحث Google". ويساعد الزحف الفعّال إلى موقع إلكتروني في فهرسته في "بحث Google".
هل تؤثر سرعة الموقع الإلكتروني في ميزانية الزحف؟ ماذا عن الأخطاء؟
تؤدي زيادة سرعة الموقع الإلكتروني إلى تحسين تجربة المستخدمين وإلى زيادة معدّل الزحف. ويُعدّ الموقع الإلكتروني السريع إشارة إلى Googlebot على توفّر خوادم جيّدة، ما يتيح له إمكانية الزحف إلى مزيد من المحتوى باستخدام عدد الاتصالات نفسه. وفي المقابل، إنّ عرض عدد كبير من أخطاء 5xx أو انتهاء المهلة المحدّدة للاتصال يدلّ على عكس ذلك، ما يؤدّي إلى خفض سرعة الزحف.
ننصحك بتتبُّع تقرير أخطاء الزحف في Search Console وإبقاء عدد أخطاء الخادم منخفضًا.
هل يُعتبر الزحف عامل ترتيب؟
إنّ زيادة معدّل الزحف لا يؤدي بالضرورة إلى تحسين ترتيب الصفحة في نتائج البحث من Google. يستخدم محرّك بحث Google مئات الإشارات لترتيب النتائج، لكنّ الزحف ليس مؤشر ترتيب مع أنّه يشكّل عاملاً ضروريًا لظهور الصفحة في نتائج البحث.
هل تشكّل عناوين URL البديلة والمحتوى المضمّن جزءًا من ميزانية الزحف؟
بشكل عام، سيتم احتساب أي عنوان URL يزحف إليه برنامج Googlebot ضمن إطار ميزانية الزحف الخاصة بالموقع الإلكتروني. وقد يكون من الضروري الزحف إلى عناوين URL البديلة، مثل AMP أو hreflang، وكذلك إلى المحتوى المضمّن، مثل CSS وJavaScript، بما في ذلك طلبات AJAX (مثل XHR)، ما يستهلك ميزانية الزحف المخصصة للموقع الإلكتروني. وبالمثل، قد يكون لسلاسل إعادة التوجيه الطويلة تأثير سلبي في عملية الزحف.
هل يمكنني التحكّم في Googlebot باستخدام القاعدة crawl-delay؟
لا يعالج Googlebot القاعدة crawl-delay غير العادية في ملف robots.txt.
هل تؤثر القاعدة nofollow في ميزانية الزحف؟
يعتمد ذلك على بعض العوامل. يؤثّر أي عنوان URL يتم الزحف إليه في ميزانية الزحف، لذا حتى إذا كانت صفحتك تضع علامة nofollow على عنوان URL، سيتواصل الزحف إليه في حال لم تضع صفحة أخرى على موقعك الإلكتروني أو أي صفحة على الويب علامة nofollow على الرابط.
هل تؤثر عناوين URL التي حظرتُ الوصول إليها باستخدام ملف robots.txt في ميزانية الزحف بأي طريقة؟
لا، لا تؤثر عناوين URL التي تم منع الوصول إليها في ميزانية الزحف.
لمعرفة كيفية تحسين عملية الزحف إلى موقعك الإلكتروني، يمكنك الاطّلاع على مشاركة المدونة التي تتناول تحسين عملية الزحف والتي تم نشرها في العام 2009 ولا تزال سارية. إذا كانت لديك أي أسئلة، يمكنك طرحها في المنتديات.