الزحف في ديسمبر: شبكات توصيل المحتوى (CDN) والزحف

الثلاثاء 24 ديسمبر 2024

تُعتبر شبكات توصيل المحتوى (CDN) مناسبة بشكل خاص لتقليل وقت استجابة موقعك الإلكتروني والتخلص بشكل عام من المشاكل المرتبطة بالزيارات على الويب. والهدف الأساسي من هذه الشبكات هو: عرض المحتوى بسرعة حتى لو كان موقعك يتلقّى عددًا كبيرًا من الزيارات. يعني حرف D في الاختصار CDN توصيل المحتوى أو توزيعه في جميع أنحاء العالم، لذا يكون الوقت المطلوب لنقل المحتوى إلى المستخدمين أقل مقارنةً باستضافته في مركز بيانات واحد في موقع معيّن. في هذا المنشور، سنتعرّف على كيفية الاستفادة من شبكات توصيل المحتوى لتحسين الزحف وتجربة المستخدمين على موقعك الإلكتروني، وسنعرض أيضًا بعض الفروق الدقيقة في الزحف إلى المواقع المستندة إلى تلك الشبكات.

ملخص: ما هي شبكة توصيل المحتوى؟

شبكات توصيل المحتوى عبارة عن وسيط بين خادم المصدر (حيث يتوفّر موقعك الإلكتروني) والمستخدمين النهائيين، وتعرض (بعض) الملفات لهم. في السابق، كان التركيز الأكبر لشبكات توصيل المحتوى يتمحور حول التخزين المؤقت، أي أنّه بعد أن يطلب المستخدم عنوان URL من موقعك الإلكتروني، تخزّن الشبكات محتوى عنوان URL هذا في ذاكرة التخزين المؤقت الخاصة بها لبعض الوقت كي لا يعرض خادمك ذلك الملف مجددًا لفترة من الوقت.

بإمكان شبكات توصيل المحتوى زيادة سرعة موقعك الإلكتروني بدرجة كبيرة عن طريق عرض المحتوى للمستخدمين من موقع جغرافي قريب منهم. لنفترض أنّ أحد المستخدمين في أستراليا يصل إلى موقع مستضاف في ألمانيا. في تلك الحالة، ستعرض شبكة توصيل المحتوى لهذا المستخدم المحتوى من ذاكرات التخزين المؤقت الخاصة بها في أستراليا، ما يقلل من وقت انتقال البيانات حول العالم. وبغض النظر عن سرعة عرض المحتوى، لا تزال المسافة كبيرة جدًا.

وأخيرًا، تشكّل شبكات توصيل المحتوى أداةً رائعة لحماية موقعك الإلكتروني من الحِمل الزائد ومن بعض التهديدات الأمنية. نظرًا لحجم الزيارات العالمية التي تديرها تلك الشبكات، يمكنها إنشاء نماذج حركة زيارات موثوقة لاكتشاف الحالات غير المعتادة في الزيارات وحظر محاولات الوصول التي تبدو مفرطة أو ضارة. فمثلاً، في 21 أكتوبر 2024، رصدت أنظمة Cloudflare تلقائيًا هجمة موزّعة لحجب الخدمة (DDoS) استمرّت لمدة دقيقة تقريبًا وبلغت سرعتها 4.2 تيرابت في الثانية (وهذه سرعة ضخمة). وقد تمكّنت من التصدي لها.

كيف يمكن أن يستفيد موقعك الإلكتروني من شبكات توصيل المحتوى؟

قد يكون لديك أسرع الخوادم وأفضل وسيلة لنقل البيانات يمكن شراؤها على الإطلاق، وقد تظنّ أنّك لست بحاجة إلى زيادة السرعة، لكنّ شبكات توصيل المحتوى يمكن أن توفّر لك المال على المدى الطويل، خاصةً إذا كان موقعك الإلكتروني كبيرًا:

  • التخزين المؤقت على شبكة توصيل المحتوى: إذا كانت الموارد مثل الوسائط وJavaScript وCSS، أو حتى ملفات HTML، تُعرض من خلال ذاكرات التخزين المؤقت لشبكة توصيل المحتوى، لن تضطرّ خوادمك إلى استهلاك وظائف الحوسبة ومعدّل نقل بيانات لعرض تلك الموارد، ما يقلل من الحِمل على الخوادم في هذه العملية. وهذا يعني عادةً زيادة سرعة تحميل الصفحات في متصفحات المستخدمين، وبالتالي تحسين نسبة الإحالات الناجحة.
  • الحماية من الزيارات المفرطة: تساعد شبكات توصيل المحتوى بشكل خاص في تحديد حركة الزيارات المفرطة أو الضارة وحظرها، ما يسمح للمستخدمين بزيارة موقعك حتى إذا كان هناك حِمل زائد على خوادمك نتيجة السلوك السيئ لبرامج التتبّع أو أصحاب الأساليب الضارة.
    إلى جانب الحماية من حركة الزيارات المفرطة، يمكن أيضًا الاستعانة بعناصر التحكم نفسها المستخدمة لحظر حركة الزيارات السيئة من أجل منع الزيارات التي لا تريدها، سواء كانت صادرة عن برامج زحف محدّدة أو عملاء يتّبعون نمطًا معيّنًا أو مجرد مستخدمين استفزازيين يستخدمون عنوان IP ذاته. ورغم أنه يمكنك أيضًا إجراء ذلك على الخادم أو جدار الحماية، يكون عادةً أسهل بكثير استخدام واجهة مستخدم شبكة توصيل المحتوى.
  • الموثوقية: تستطيع بعض شبكات توصيل المحتوى عرض موقعك الإلكتروني للمستخدمين حتى في حال تعطّله. بالطبع، قد يكون ذلك مناسبًا فقط للمحتوى الثابت، ولكن يمكن أن يكون كافيًا لضمان عدم انتقال المستخدمين إلى مواقع أخرى.

باختصار، يمكنك الاستفادة كثيرًا من شبكات توصيل المحتوى. وإذا كان موقعك الإلكتروني كبيرًا أو كنت تتلقّى أو تتوقّع حجم زيارات كبيرًا، سيكون عليك اختيار الشبكة التي تناسب احتياجاتك بناءً على عوامل مثل السعر والأداء والموثوقية والأمان ودعم العملاء وقابلية التوسّع وخطتك المستقبلية لزيادة حجم موقعك. ننصحك بالتواصل مع مزوّد خدمة الاستضافة أو نظام إدارة المحتوى (CMS) لمعرفة خياراتك المتاحة (وما إذا كنت تستخدم حاليًا إحدى هذه الشبكات).

كيف يؤثّر الزحف في المواقع الإلكترونية التي تستخدم شبكات توصيل المحتوى؟

في ما يتعلق بالزحف، يمكن أيضًا الاستفادة من شبكات توصيل المحتوى، ولكنها قد تؤدي إلى بعض المشاكل في الزحف (لكنها نادرة الحدوث). سنوضّح ذلك أدناه.

تأثير شبكات توصيل المحتوى في معدّل الزحف

تم تصميم بنيتنا التحتية الخاصة بالزحف للسماح بمعدلات زحف أعلى على المواقع التي تستخدم شبكة توصيل المحتوى. ويمكننا استنتاج ما إذا كان موقع ما يستخدم شبكة توصيل محتوى من خلال عنوان IP للخدمة التي تعرض عناوين URL التي تصل إليه برامج الزحف الخاصة بنا. وتحقق هذه الطريقة نتيجة جيدة في معظم الأحيان.

لنفترض أنّك أطلقت اليوم موقعًا إلكترونيًا للصور الجاهزة للاستخدام ولديك 1,000,007 صورة متوفّرة. يحتوي الموقع على عدد كبير من الصفحات: صفحة مقصودة وصفحات للفئات وصفحات تضمّ تفاصيل حول كلّ المحتوى المتوفّر. نوضّح في مستندنا حول الحد الأقصى لسعة الزحف أنّ الزحف لا ينبغي أن يسبّب حملاً زائدًا على خوادمك، رغم أنّ "بحث Google" مستعد للزحف إلى جميع هذه الصفحات بأسرع ما يمكن. إذا بدأ خادمك في الاستجابة ببطء عند مواجهة زيادة عدد طلبات الزحف، يتم تطبيق تقييد البيانات من جانب Google لمنع التحميل الزائد على الخادم. ويكون الحدّ الأقصى لهذا التقييد أعلى بكثير عندما تكتشف البنية التحتية أنّ موقعك يستخدم شبكة توصيل محتوى، وتفترض أنّ ما مِن مشكلة في إرسال المزيد من الطلبات المتزامنة لأنّ خادمك يستطيع على الأرجح التعامل معها، وبالتالي يتم الزحف إلى متجرك الإلكتروني بشكل أسرع.

ومع ذلك، عند طلب أحد عناوين URL للمرة الأولى، تكون ذاكرة التخزين المؤقت لشبكة توصيل المحتوى "خالية" (أي بما أنّه لم يزُر أي مستخدم الصفحة بعد، لم تتمكّن شبكة توصيل المحتوى من تخزين محتواها مؤقتًا). وبالتالي، سيحتاج خادم المصدر إلى عرض عنوان URL هذا مرة واحدة على الأقل "لملء" ذاكرة التخزين المؤقت لشبكة توصيل المحتوى. يشبه هذا كثيرًا طريقة عمل التخزين المؤقت عبر HTTP.

باختصار، حتى لو كان متجرك الإلكتروني يستخدم شبكة توصيل المحتوى، سيحتاج خادمك إلى عرض عناوين URL البالغ عددها 1,000,007 مرة واحدة على الأقل. وبعد هذا العرض الأولي فقط، يمكن أن تبدأ شبكة توصيل المحتوى بمساعدتك من خلال ذاكرات التخزين المؤقت الخاصة بها. وهذا يشكّل عبئًا كبيرًا على "ميزانية الزحف" ومن المرجح أن يكون معدل الزحف مرتفعًا لبضعة أيام، لذلك يجب وضع هذا في الاعتبار إذا كنت تخطط لإطلاق العديد من عناوين URL دفعةً واحدة.

تأثير شبكات توصيل المحتوى في عرض المحتوى

كما شرحنا في أول منشور مدوّنة حول الزحف إلى الموارد ضمن سلسلة "عمليات الزحف في ديسمبر"، فإنّ تقسيم الموارد إلى اسم المضيف الخاص بها أو اسم مضيف شبكة توصيل المحتوى (cdn.example.com) يمكن أن يتيح لـ "خدمة العرض على الويب" (WRS) عرض صفحاتك بفعالية أكبر. ومع ذلك، نود التنبيه إلى أنّ هذه الطريقة قد يكون لها تأثير سلبي في أداء الصفحة بسبب عبء الاتصال باسم مضيف مختلف، لذا يجب الانتباه جيدًا إلى تجربة الصفحة عند تقييم أداء العرض.

إذا كان مضيفك الرئيسي يعتمد على شبكة توصيل محتوى، فإنك تتجنب المشكلة التالية: هناك فقط اسم مضيف واحد لكل طلب، ومن المرجّح أن يتم عرض موارد العرض المهمة من ذاكرة التخزين المؤقت لشبكة توصيل المحتوى بدلاً من خادمك (بدون التأثير في تجربة الصفحة).

في النهاية، ننصحك باختيار الحل الأنسب لمؤسستك من خلال: استخدام اسم مضيف مستقل (cdn.example.com) للموارد الثابتة، أو الاستعانة بشبكة توصيل محتوى لاسم المضيف الرئيسي، أو الاثنين معًا. تتيح البنية الأساسية لبرامج الزحف من Google استخدام أيٍّ من الخيارين بدون أي مشاكل.

الحماية الزائدة من خلال شبكات توصيل المحتوى

بسبب الحماية التي توفّرها شبكات توصيل المحتوى من حركة الزيارات المفرطة، والطريقة التي تزحف بها برامج الزحف إلى الصفحات، فإنّ برامج التتبّع التي تحتاج إليها على موقعك الإلكتروني قد تصبح ضمن القائمة المحظورة لشبكة توصيل المحتوى، (عادةً في جدار حماية تطبيق الويب (WAF) الخاص بها). ويؤدي ذلك إلى منع برامج الزحف من الوصول إلى موقعك، ما قد يمنع موقعك في النهاية من الظهور في نتائج البحث. يمكن أن يحدث الحظر بطرق مختلفة، بعضها أكثر ضررًا من غيرها من حيث ظهور الموقع في نتائج البحث على Google، وقد يكون التحكّم في ذلك صعبًا (أو مستحيلاً) لأنه يحدث من جانب شبكة توصيل المحتوى. في منشور المدوّنة هذا، سنقسّم عمليات الحظر إلى مجموعتين: الحظر الصارم والحظر الخفيف.

الحظر الصارم

يحدث الحظر الصارم عندما ترسل شبكة توصيل المحتوى ردًا على طلب زحف يشكّل خطأً بطريقة معيّنة. ويتّخذ هذا الأشكال التالية:

  • رموز 429/503 لحالة HTTP: إنّ إرسال رموز الحالة هذه هي الطريقة المفضّلة للإشارة إلى حدوث حظر مؤقت. وهذا يتيح لك بعض الوقت للاستجابة لعمليات الحظر غير المقصودة من شبكة توصيل المحتوى.
  • انتهاء مهلة الشبكة: يؤدي انتهاء المهلة من شبكة توصيل المحتوى إلى إزالة عناوين URL المتأثّرة من فهرس "بحث Google"، لأنّ أخطاء الشبكة هذه تُعتبر نهائية "لا يمكن معالجتها". بالإضافة إلى ذلك، قد تؤثر هذه الأخطاء أيضًا في معدّل الزحف إلى موقعك الإلكتروني لأنّها تُبلغ بنيتنا الأساسية للزحف بأنّ الموقع يواجه زيادة في التحميل.
  • رسالة الخطأ العشوائية مع رمز 200 لحالة HTTP: تُعرف أيضًا باسم أخطاء soft، وتمثّل مشكلة حقيقية. إذا تعرّف محرك بحث Google على رسالة الخطأ باعتبارها خطأً "صارمًا" (مثلاً 500 HTTP)، سيزيل عنوان URL من "بحث Google". أمّا إذا تعذّر على Google التعرّف على رسالة الخطأ باعتبارها خطأً "صارمًا"، فقد يتم استبعاد جميع الصفحات التي تحتوي على رسالة الخطأ ذاتها باعتبارها نُسخًا مكررة من فهرس "بحث Google". بما أنّه ليس هناك ضرورة تقضي بأن يطلب نظام فهرسة Google إعادة الزحف إلى عناوين URL المكرّرة، قد يستغرق حل هذه المشكلة وقتًا أطول.

الحظر الخفيف

قد تظهر مشكلة مماثلة عندما تعرض شبكة توصيل المحتوى إعلانات بينية مثل "هل أنت إنسان فعلاً؟".

برنامج الزحف مرتبك بسبب وصفه بأنّه إنسان

تدرك برامج الزحف أنها ليست من البشر ولا تتظاهر بأنها كذلك. فكل ما تريده هو الزحف فحسب. ومع ذلك، عند ظهور الإعلان البيني، فإنها لا ترى سواه، ولا ترى موقعك الإلكتروني الرائع. في حال ظهور هذه الإعلانات البينية التي تتحقق من برامج التتبّع، ننصح بشدة بإرسال إشارة واضحة على شكل رمز حالة HTTP رقم 503 إلى البرامج الآلية مثل برامج الزحف لإعلامها بأنّ المحتوى غير متوفّر مؤقتًا. سيضمن ذلك عدم إزالة المحتوى تلقائيًا من فهرس Google.

تصحيح الأخطاء في عمليات الحظر

في حالات الحظر الصارم والخفيف، تكون أسهل طريقة للتحقق من أنّ الأمور على ما يرام هي استخدام أداة فحص عنوان URL في Search Console وملاحظة الصورة المعروضة: فإذا كانت تعرض صفحتك، هذا يعني أنّ ما من مشكلة لديك. أمّا في حال عرض صفحة خالية أو خطأ أو صفحة تحتوي على اختبار التحقق من برامج التتبّع، فقد تحتاج إلى التواصل مع شبكة توصيل المحتوى لحل المشكلة.

بالإضافة إلى ذلك، للمساعدة في حل مشاكل الحظر غير المقصود هذه، ينشر محرك بحث Google ومحركات البحث الأخرى ومشغّلي برامج الزحف الأخرى عناوين IP الخاصة بنا لمساعدتك في التعرّف على برامج الزحف الخاصة بنا وإزالة عناوين IP المحظورة من قواعد جدار حماية تطبيق الويب أو إضافتها إلى القائمة المسموح بها، إذا رأيت هذا مناسبًا. إنّ الخيارات المتاحة لك تعتمد على شبكة توصيل المحتوى التي تستخدمها. لحسن الحظ، فإنّ معظم هذه الشبكات وبرامج جدار حماية تطبيق الويب المستقلة توفر مستندات ممتازة يمكنك الرجوع إليها. وفي ما يلي بعض المراجع التي تمكنّا من العثور عليها بقليل من البحث (اعتبارًا من تاريخ نشر هذه المشاركة):

إذا أردت أن يظهر موقعك الإلكتروني في محركات البحث، ننصحك بشدة بالتحقق من إمكانية وصول برامج الزحف التي تفضّلها إلى موقعك. ولا تنسَ أنّ عناوين IP قد يتم إدراجها في القائمة المحظورة تلقائيًا بدون علمك، لذلك يُستحسن مراجعة هذه القوائم دوريًا للتأكد من ظهور موقعك في نتائج البحث وغيرها. إذا كانت القائمة المحظورة طويلة جدًا، يمكنك البحث عن الأجزاء القليلة الأولى ضمن نطاقات عناوين IP. مثلاً، يمكنك البحث عن 192.168 بدلاً من 192.168.0.101.

كان هذا آخر منشور مدوّنة ضمن سلسلة "عمليات الزحف في ديسمبر"، ونأمل أن تلقى كلّها إعجابك. كالعادة، إذا كان لديك أي استفسارات، لا تتردّد في التواصل معنا.

الناشران: مارتن سبليت وغاري إليس

هل يهمّك معرفة المزيد عن الزحف؟ ننصحك بالاطّلاع على سلسلة "الزحف في ديسمبر" بأكملها: