'noindex' मेटा टैग की मदद से, किसी पेज को Search में दिखने से रोकना

किसी पेज को Google Search में दिखने से रोकने के लिए, आप पेज के एचटीएमएल कोड में, noindex मेटा टैग शामिल कर सकते हैं या फिर एचटीटीपी अनुरोध के रिस्पॉन्स में, noindex हेडर दिखा सकते हैं. अगली बार जब Googlebot उस पेज को क्रॉल करेगा, तो टैग या हेडर दिखने पर, वह उस पेज को Google Search के नतीजों से बाहर कर देगा. वह इस बात पर ध्यान नहीं देगा कि पेज से दूसरी साइटें लिंक हैं या नहीं.

अगर आपके पास अपने सर्वर का रूट ऐक्सेस नहीं है, तो आप noindex का इस्तेमाल कर सकते हैं. इसकी मदद से, आप अपनी साइट के हर पेज के लिए, यह कंट्रोल कर सकते हैं कि उसे कौन ऐक्सेस कर सकेगा.

noindex लागू करना

noindex लागू करने के दो तरीके होते हैं: मेटा टैग के तौर पर और एचटीटीपी रिस्पॉन्स हेडर के तौर पर. दोनों से एक जैसा नतीजा मिलता है. आप वह तरीका चुनें जो आपकी साइट पर आसानी से लागू किया जा सके.

<meta> टैग

अगर आप चाहते हैं कि ज़्यादातर सर्च इंजन के वेब क्रॉलर आपकी साइट के किसी पेज को इंडेक्स न करें, तो नीचे दिए गए मेटा टैग को अपने पेज के <head> सेक्शन में डालें:

<meta name="robots" content="noindex">

सिर्फ़ Google वेब क्रॉलर को किसी पेज को इंडेक्स करने से रोकने के लिए:

<meta name="googlebot" content="noindex">

आपको पता होना चाहिए कि कुछ सर्च इंजन के वेब क्रॉलर, noindex निर्देश का अलग मतलब निकाल सकते हैं. इस वजह से, ऐसा हो सकता है कि आपका पेज अब भी, दूसरे सर्च इंजन के खोज नतीजों में दिखे.

noindex मेटा टैग के बारे में ज़्यादा जानें.

एचटीटीपी रिस्पॉन्स हेडर

किसी मेटा टैग के बजाय, आप अपने रिस्पॉन्स में noindex या none की वैल्यू वाले X-Robots-Tag हेडर को भी दिखा सकते हैं. यहां एचटीटीपी रिस्पॉन्स का एक उदाहरण दिया गया है, जिसमें X-Robots-Tag, क्रॉलर को पेज इंडेक्स न करने का निर्देश दे रहा है:

HTTP/1.1 200 OK
(…)
X-Robots-Tag: noindex
(…)

noindex रिस्पॉन्स हेडर के बारे में ज़्यादा जानें.

मेटा टैग पहचानने में हमारी सहायता करना

मेटा टैग और एचटीटीपी हेडर देखने के लिए, हमें आपके पेज को क्रॉल करना होता है. अगर पेज अब भी नतीजों में दिख रहा है, तो शायद ऐसा इसलिए है, क्योंकि आपके टैग जोड़ने के बाद से हमने पेज को क्रॉल नहीं किया है. आप Google से अनुरोध कर सकते हैं कि वह यूआरएल जांचने वाले टूल का इस्तेमाल करके, आपके पेज को फिर से क्रॉल करे. दूसरी वजह यह हो सकती है कि robots.txt फ़ाइल, उस यूआरएल को Google वेब क्रॉलर के लिए ब्लॉक कर रही हो. इसलिए, क्रॉलर टैग देख न पा रहे हों. Google को क्रॉल करने की मंज़ूरी देने के लिए, आपको अपनी robots.txt फ़ाइल में बदलाव करने होंगे. अपनी robots.txt फ़ाइल में बदलाव और उसकी जांच करने के लिए, आप robots.txt टेस्टर टूल का इस्तेमाल कर सकते हैं.