حظر فهرسة "بحث Google" باستخدام علامة noindex
يتم ضبط قاعدة noindex إما من خلال علامة <meta> أو عنوان لاستجابة HTTP. وتُستخدم قاعدة noindex لمنع محرّكات البحث المتوافقة معها، مثل Google، من فهرسة المحتوى. عندما يزحف Googlebot إلى الصفحة ويستخرج منها العلامة أو العنوان، لن يعرض محرّك بحث Google
هذه الصفحة نهائيًا في نتائج "بحث Google"، حتى لو كانت مواقع إلكترونية أخرى تتضمّن رابطًا يؤدي إليها.
من المفيد استخدام علامة noindex إذا لم تتوفّر لديك إمكانية الدخول الكامل إلى الخادم، لأنّ ذلك
يسمح لك بالتحكّم في إتاحة الدخول إلى كل صفحة على حدة في موقعك الإلكتروني.
تنفيذ علامة noindex
هناك طريقتان لتنفيذ علامة noindex: الطريقة الأولى هي استخدامها كعلامة <meta>، والطريقة الثانية هي
استخدامها كعنوان لاستجابة HTTP. وتؤدّي الطريقتان إلى النتيجة نفسها، لذلك يمكنك اختيار الطريقة الأنسب لموقعك الإلكتروني ونوع المحتوى الذي تقدّمه. ولا يتيح محرّك بحث Google تحديد قاعدة noindex في ملف robots.txt.
يمكنك أيضًا دمج قاعدة noindex مع قواعد أخرى تتحكّم بالفهرسة. على سبيل المثال، يمكنك دمج تلميح nofollow مع قاعدة noindex على النحو التالي:
<meta name="robots" content="noindex, nofollow" />.
علامة <meta>
لمنع جميع محركات البحث المتوافقة مع قاعدة noindex من فهرسة
صفحة على موقعك الإلكتروني، ضمِّن علامة <meta> التالية في قسم
<head> الخاص بصفحتك:
<meta name="robots" content="noindex">
إذا أردت منع برامج زحف الويب من Google فقط من فهرسة صفحة معيّنة، أضِف القاعدة التالية:
<meta name="googlebot" content="noindex">
عليك الانتباه إلى أنّ بعض محرّكات البحث قد تفسّر
قاعدة noindex بشكل مختلف. ونتيجة لذلك، من المحتمل أن تظهر صفحتك
في النتائج التي تعرضها محركّات البحث الأخرى.
اطّلِع على مزيد من المعلومات حول علامة <meta> noindex.
عنوان استجابة HTTP
بدلاً من علامة <meta>، يمكنك عرض عنوان HTTP يتضمّن X-Robots-Tag مع إدراج إحدى القيمتَين noindex أو none في الاستجابة.
ويمكن استخدام عنوان الاستجابة
للموارد التي ليست بتنسيق HTML، مثل ملفات PDF وملفات الفيديو وملفات الصور. في ما يلي مثال على استجابة HTTP تتضمن عنوان X-Robots-Tag للإشارة إلى محرّكات البحث بعدم فهرسة صفحة معيّنة:
HTTP/1.1 200 OK (...) X-Robots-Tag: noindex (...)
المزيد من المعلومات حول عنوان الاستجابة noindex
تصحيح أخطاء noindex
يجب أن يزحف برنامجنا إلى صفحتك لرصد علامات <meta> وعناوين HTTP. إذا كانت الصفحة لا تزال
تظهر في النتائج، من المرجّح أنّ برنامج الزحف لم يزحف إليها منذ أن أضفت
قاعدة noindex. واستنادًا إلى مدى أهمية الصفحة على الإنترنت، قد تمرّ عدة أشهر قبل أن يزحف Googlebot مجددًا إلى الصفحة. يمكنك استخدام
أداة فحص عنوان URL كي تطلب من Google إعادة الزحف إلى صفحتك.
إذا أردت إزالة صفحة سريعًا من نتائج البحث على Google، راجِع المستندات المتعلقة بعمليات الإزالة.
قد يعود سبب استمرار ظهور صفحتك في النتائج أيضًا إلى أنّ ملف robots.txt يمنع وصول برامج زحف الويب من Google إلى عنوان URL، وبالتالي يتعذّر على هذه البرامج رؤية العلامة. لإزالة حظر وصول محرّك بحث Google إلى صفحتك، عليك تعديل ملف robots.txt.
أخيرًا، احرص على أن تكون قاعدة noindex مرئية لبرنامج Googlebot. لاختبار ما إذا تم تنفيذ noindex بشكل صحيح، استخدِم أداة فحص عنوان URL للاطّلاع على ترميز HTML الذي رصده Googlebot أثناء الزحف إلى الصفحة.
يمكنك أيضًا استخدام
تقرير "فهرسة الصفحات"
في Search Console لرصد الصفحات التي استخرج منها Googlebot قاعدة noindex على موقعك الإلكتروني.