रोबोट फ़ाइल के बारे में अक्सर पूछे जाने वाले सवाल

रोबोट फ़ाइल के बारे में आम तौर पर पूछे जाने वाले सवाल

क्या मेरी वेबसाइट के लिए robots.txt फ़ाइल ज़रूरी है?

नहीं. जब Googlebot किसी वेबसाइट पर जाता है, तब सबसे पहले हम क्रॉल करने की अनुमति मांगते हैं. ऐसा करने के लिए, हम robots.txt फ़ाइल को वापस पाने की कोशिश करते हैं. जिस वेबसाइट में robots.txt फ़ाइल, रोबोट मेटा टैग या X-Robots-Tag एचटीटीपी हेडर नहीं होते हैं उसे आम तौर पर, सामान्य रूप से ही क्रॉल और इंडेक्स किया जाता है.

क्रॉलर को ब्लॉक करने के लिए, मुझे कौनसा तरीका अपनाना चाहिए?

यह कई बातों पर निर्भर करता है. कम शब्दों में कहें, तो इन तरीकों में से हर एक का इस्तेमाल करने की अपनी कुछ वजहें हैं:

  • robots.txt: अगर कॉन्टेंट को क्रॉल करने से आपके सर्वर पर समस्या हो रही है, तो इसका इस्तेमाल करें. उदाहरण के लिए, हो सकता है कि आप इनफ़ाइनाइट कैलेंडर स्क्रिप्ट को क्रॉल करने की अनुमति न देना चाहें. निजी कॉन्टेंट को ब्लॉक करने या यूआरएल के कैननिकल होने की जांच करने के लिए, robots.txt का इस्तेमाल न करें. इसके बजाय, सर्वर साइड ऑथेंटिकेशन (पुष्टि करना) का इस्तेमाल करें. अगर आप यह पक्का करना चाहते हैं कि किसी यूआरएल को इंडेक्स न किया जाए, तो रोबोट मेटा टैग या X-Robots-Tag एचटीटीपी हेडर का इस्तेमाल करें.
  • रोबोट मेटा टैग: अगर आप यह कंट्रोल करना चाहते हैं कि किसी एचटीएमएल पेज को खोज नतीजों में कैसे दिखाया जाए, तो इसका इस्तेमाल करें. इसका इस्तेमाल तब भी किया जा सकता है, जब आप किसी पेज को खोज नतीजों में न दिखाना चाहें.
  • X-Robots-Tag एचटीटीपी हेडर: किसी कॉन्टेंट को खोज के नतीजों में कैसे दिखाया जाए, यह कंट्रोल करने के लिए एचटीटीपी हेडर का इस्तेमाल करें. इसके अलावा, अगर आप यह पक्का करना चाहते हैं कि आपका कॉन्टेंट, खोज नतीजों में न दिखाया जाए, तब भी इसी हेडर का इस्तेमाल करें.

क्या robots.txt, रोबोट मेटा टैग या X-Robots-Tag एचटीटीपी हेडर का इस्तेमाल, खोज के नतीजों से किसी दूसरे व्यक्ति की साइट को हटाने के लिए किया जा सकता है?

नहीं. ये तरीके सिर्फ़ उन साइटों पर काम करते हैं जहां आप कोड बदल सकते हैं या फ़ाइलें जोड़ सकते हैं. Google से जानकारी हटाने के तरीके के बारे में ज़्यादा जानें.

मैं ऐसा क्या करूं जिससे Google मेरी वेबसाइट को धीरे-धीरे क्रॉल करे?

आम तौर पर, Google Search Console खाते में जाकर, क्रॉल दर की सेटिंग को बदला जा सकता है.

Robots.txt फ़ाइल से जुड़े सवाल

मैं कई वेबसाइटों के लिए एक जैसी robots.txt फ़ाइल का इस्तेमाल करता/करती हूं. क्या रिलेटिव पाथ की जगह, पूरे यूआरएल का इस्तेमाल किया जा सकता है?

नहीं. robots.txt फ़ाइल में दिए गए डायरेक्टिव (sitemap: को छोड़कर), सिर्फ़ रिलेटिव पाथ के लिए मान्य होते हैं.

क्या robots.txt फ़ाइल को सबडायरेक्ट्री में रखा जा सकता है?

नहीं. फ़ाइल को वेबसाइट की सबसे प्रमुख डायरेक्ट्री में डाला जाना चाहिए.

मैं किसी निजी फ़ोल्डर को ब्लॉक करना चाहता/चाहती हूं. क्या दूसरे लोगों को अपनी robots.txt फ़ाइल पढ़ने से रोका जा सकता है?

नहीं. robots.txt फ़ाइल को दूसरे उपयोगकर्ता पढ़ सकते हैं. अगर कॉन्टेंट के फ़ोल्डर या फ़ाइलों के नाम सार्वजनिक न करना हो, तो उन्हें robots.txt फ़ाइल में न जोड़ें. हमारा सुझाव है कि उपयोगकर्ता एजेंट या अन्य एट्रिब्यूट के आधार पर, आप अलग-अलग robots.txt फ़ाइलों का इस्तेमाल न करें.

क्या क्रॉल करने की अनुमति देने के लिए, मुझे कोई allow डायरेक्टिव जोड़ना होगा?

नहीं, आपको कोई allow डायरेक्टिव जोड़ने की ज़रूरत नहीं है. सभी तरह के यूआरएल इस्तेमाल करने की पूरी छूट है. साथ ही, allow डायरेक्टिव का इस्तेमाल, एक ही robots.txt फ़ाइल में मौजूद disallow डायरेक्टिव को बदलने के लिए किया जाता है.

अगर मेरी robots.txt फ़ाइल में कोई गड़बड़ी है या उसमें ऐसे किसी डायरेक्टिव का इस्तेमाल किया गया है जो काम नहीं करता, तो क्या होगा?

आम तौर पर, robots.txt फ़ाइल की छोटी-मोटी गड़बड़ियों का, वेब क्रॉलर पर कोई खास असर नहीं होता है. आम तौर पर, ज़़्यादा से ज़्यादा यही हो सकता है कि ऐसे डायरेक्टिव को अनदेखा कर दिया जाए जो गलत हों या काम न करते हों. इस बात का ध्यान रखें कि robots.txt फ़ाइल को समझने के दौरान, Google के लिए यह पता लगाना मुश्किल होता है कि लोग असल में चाहते क्या हैं और हम सिर्फ़ फ़ेच की गई robots.txt फ़ाइलों को समझने की कोशिश करते हैं. हालांकि, अगर आपको अपनी robots.txt फ़ाइल की समस्याओं के बारे में पहले से पता है, तो उन्हें आसानी से ठीक किया जा सकता है.

robots.txt फ़ाइल बनाने के लिए, मुझे किस प्रोग्राम का इस्तेमाल करना चाहिए?

आप ऐसे किसी भी प्रोग्राम का इस्तेमाल कर सकते हैं जिससे मान्य टेक्स्ट फ़ाइल बनती है. आम तौर पर, robots.txt फ़ाइलें बनाने के लिए, Notepad, TextEdit, vi या emacs जैसे प्रोग्राम का इस्तेमाल किया जाता है. robots.txt फ़ाइलें बनाने के बारे में ज़्यादा जानें. फ़ाइल बनाने के बाद, robots.txt फ़ाइल की जांच करने वाले टूल का इस्तेमाल करके इसकी जांच करें.

अगर robots.txt disallow डायरेक्टिव का इस्तेमाल करके, Google को किसी पेज को क्रॉल करने से रोका जाता है, तो क्या वह पेज खोज के नतीजों में नहीं दिखेगा?

Google को किसी पेज को क्रॉल करने से रोकने पर, वह पेज Google के इंडेक्स से हट सकता है.

हालांकि, robots.txt disallow इस बात की गारंटी नहीं देता है कि कोई पेज, खोज के नतीजों में नहीं दिखेगा. बाहरी जानकारी, जैसे कि उपयोगकर्ताओं को पेज पर लाने वाले लिंक की मदद से, Google यह तय कर सकता है कि पेज को खोज के नतीजों में दिखाना है या नहीं. अगर किसी पेज को इंडेक्स होने से रोकना है, तो noindex रोबोट मेटा टैग या X-Robots-Tag एचटीटीपी हेडर का इस्तेमाल करें. इस स्थिति में, robots.txt वाले पेज को खोज के नतीजों में दिखने से न रोकें. इसकी वजह यह है कि टैग को देखने और उसका इस्तेमाल करने के लिए, पेज को क्रॉल किया जाना ज़रूरी है. Google के साथ शेयर की जाने वाली जानकारी को कंट्रोल करने का तरीका जानें

मेरी robots.txt फ़ाइल में किए गए बदलावों का असर, खोज के नतीजों में कितनी देर में दिखेगा?

सबसे पहले, robots.txt फ़ाइल की कैश मेमोरी को रीफ़्रेश किया जाना चाहिए. आम तौर पर, हम कॉन्टेंट को एक दिन तक कैश मेमोरी में रखते हैं. अपनी अपडेट की गई robots.txt फ़ाइल को Google के पास सबमिट करके, इस प्रोसेस को कम समय में पूरा किया जा सकता है. बदलावों के बारे में पता लगने के बाद भी, क्रॉल और इंडेक्स करना एक मुश्किल प्रोसेस है. कभी-कभी किसी यूआरएल को क्रॉल और इंडेक्स करने में बहुत समय लग सकता है. इसलिए, इसमें कितना समय लगेगा, यह सही तौर पर नहीं बताया जा सकता. साथ ही, ध्यान रखें कि भले ही आपकी robots.txt फ़ाइल किसी यूआरएल पर जाने की अनुमति न दे रही हो, वह यूआरएल खोज के नतीजों में दिख सकता है. फिर चाहे, हम उसे क्रॉल कर पाएं या न कर पाएं. अगर आप चाहते हैं कि Google से ब्लॉक किए गए पेजों को हटाने की प्रोसेस जल्दी पूरी हो जाए, तो उन्हें हटाने का अनुरोध सबमिट करें.

कुछ समय के लिए, कोई भी क्रॉलर मेरी वेबसाइट को क्रॉल न कर सके, इसके लिए मैं क्या करूं?

अगर आप robots.txt फ़ाइल के साथ ही, बाकी सभी यूआरएल के लिए क्रॉल करने की प्रोसेस को कुछ समय के लिए निलंबित करना चाहें, तो आपको 503 (service unavailable) एचटीटीपी स्टेटस कोड का इस्तेमाल करना होगा. समय-समय पर, robots.txt फ़ाइल को फिर से इस्तेमाल करने की कोशिश की जाएगी. यह कोशिश तब तक होगी, जब तक उस फ़ाइल का ऐक्सेस न मिल जाए. क्रॉलिंग को रोकने के लिए, हम robots.txt फ़ाइल में बदलाव करने का सुझाव नहीं देते हैं.

मेरा सर्वर केस-सेंसिटिव (बड़े और छोटे अक्षरों में अंतर) नहीं है. कुछ फ़ोल्डर को क्रॉल करने पर पूरी तरह से कैसे रोक लगाई जा सकती है?

robots.txt फ़ाइल में दिए गए डायरेक्टिव, केस-सेंसिटिव (बड़े और छोटे अक्षरों में अंतर) होते हैं. ऐसे में यह पक्का करने का सुझाव दिया जाता है कि यूआरएल के कैननिकल होने की जांच करने के तरीके इस्तेमाल करके, यूआरएल का सिर्फ़ एक वर्शन इंडेक्स किया जाए. ऐसा करने से, आपकी robots.txt फ़ाइल में लाइनें कम हो जाती हैं. इस तरह, इसे आसानी से मैनेज किया जा सकता है. अगर आप ऐसा न कर पाएं, तो हमारा सुझाव है कि आप फ़ोल्डर के नामों की सूची बना लें, जिसमें आम तौर पर इस्तेमाल किए जाने वाले अलग-अलग नाम बताएं. इसके अलावा, आप पूरे नाम के बजाय, सिर्फ़ शुरुआत के कुछ वर्णों का इस्तेमाल करके, फ़ोल्डर के नाम को जितना हो सके उतना छोटा रखें. उदाहरण के लिए, /MyPrivateFolder में इस्तेमाल किए गए सभी बड़े और छोटे अक्षर लिखने के बजाय, "/MyP" में इस्तेमाल किए गए वर्ण लिखे जा सकते हैं. ऐसा तब ही करें, जब आप पक्के तौर पर यह कह सकते हैं कि क्रॉल किया जा सकने वाला ऐसा कोई और यूआरएल नहीं है जो इन ही वर्णों से शुरू होता है. इसके अलावा, अगर क्रॉलिंग से जुड़ी कोई समस्या नहीं है, तो रोबोट मेटा टैग या X-Robots-Tag एचटीटीपी हेडर का इस्तेमाल करना भी सही विकल्प हो सकता है.

मेरी साइट, robots.txt फ़ाइल के साथ-साथ सभी यूआरएल के लिए, 403 Forbidden नतीजा देती है. इसके बावजूद, साइट को क्रॉल क्यों किया जा रहा है?

403 Forbidden एचटीटीपी स्टेटस कोड और अन्य सभी 4xx एचटीटीपी स्टेटस कोड आने पर माना जाता है कि robots.txt फ़ाइल मौजूद नहीं है. इसका मतलब है कि क्रॉलर आम तौर पर यह मानेंगे कि वे वेबसाइट के सभी यूआरएल को क्रॉल कर सकते हैं. किसी वेबसाइट को क्रॉल किए जाने से रोकने के लिए, robots.txt फ़ाइल को 200 OK एचटीटीपी स्टेटस कोड के साथ दिखाना चाहिए. साथ ही, इसमें सही disallow नियम शामिल होना चाहिए.

रोबोट मेटा टैग से जुड़े सवाल

क्या रोबोट मेटा टैग को robots.txt फ़ाइल की जगह इस्तेमाल किया जा सकता है?

नहीं. robots.txt फ़ाइल यह तय करती है कि किन पेजों को ऐक्सेस किया जाए. रोबोट मेटा टैग, यह तय करता है कि किसी पेज को इंडेक्स किया जाना चाहिए या नहीं. हालांकि, इस टैग को देखने के लिए, पेज को क्रॉल करना पड़ता है. अगर किसी पेज को क्रॉल करने में समस्या होती है (उदाहरण के लिए, अगर पेज की वजह से सर्वर पर लोड बहुत बढ़ जाता है), तो robots.txt फ़ाइल का इस्तेमाल करें. अगर सिर्फ़ यह तय करना है कि खोज के नतीजों में कोई पेज दिखाया जाए या नहीं, तो इसके लिए आप रोबोट मेटा टैग का इस्तेमाल करें.

क्या रोबोट मेटा टैग का इस्तेमाल करके, किसी पेज के हिस्से को इंडेक्स होने से रोका जा सकता है?

नहीं, रोबोट मेटा टैग, पेज लेवल की एक सेटिंग है.

क्या <head> सेक्शन के बाहर, रोबोट मेटा टैग का इस्तेमाल किया जा सकता है?

नहीं, रोबोट मेटा टैग को, पेज के <head> सेक्शन में होना चाहिए.

क्या रोबोट मेटा टैग, क्रॉल करने की अनुमति नहीं देता है?

नहीं. भले ही, मौजूदा रोबोट मेटा टैग noindex पर सेट हो, लेकिन हमें समय-समय पर उस यूआरएल को फिर से क्रॉल करके देखना होगा कि मेटा टैग बदला गया है या नहीं.

nofollow रोबोट मेटा टैग और rel="nofollow" लिंक एट्रिब्यूट में क्या अंतर है?

nofollow रोबोट मेटा टैग, पेज के सभी लिंक पर लागू होता है. हालांकि, rel="nofollow" लिंक एट्रिब्यूट, पेज के सिर्फ़ चुनिंदा लिंक पर लागू होता है. rel="nofollow" लिंक एट्रिब्यूट के बारे में ज़्यादा जानने के लिए, उपयोगकर्ताओं के बनाए गए स्पैम और rel="nofollow" से जुड़े हमारे दस्तावेज़ देखें.

X-Robots-Tag एचटीटीपी हेडर से जुड़े सवाल

किसी यूआरएल के लिए, X-Robots-Tag की जांच करने का क्या तरीका है?

Google Search Console में जाकर, सर्वर के हेडर आसानी से देखे जा सकते हैं. इसके लिए, यूआरएल जांचने वाले टूल की सुविधा का इस्तेमाल करें. किसी भी यूआरएल के रिस्पॉन्स हेडर की जांच करने के लिए, "सर्वर हेडर की जांच करने वाला टूल" इस्तेमाल करें.

क्या आपको जवाब नहीं मिल रहा है?

अगर आपको इस पेज पर अपने सवाल का जवाब नहीं मिला है, तो साइट के मालिकों के लिए Google के सहायता संसाधन देखें.

हम Google Search Central के आधिकारिक सहायता समुदायों की सेवा इन भाषाओं में भी उपलब्ध कराते हैं: EnglishDeutschEspañolFrançaisItalianoNederlandsPolskiPortuguêsTürkçeРусскийالعربية中文(简体)日本語한국어