रोबोट मेटा टैग, data-nosnippet, और X-Robots-Tag की विशेषताएं

इस दस्तावेज़ में यह जानकारी दी गई है कि कैसे आप पेज और टेक्स्ट के लेवल की सेटिंग की मदद से, यह तय कर सकते हैं कि Google, आपके कॉन्टेंट को खोज के नतीजों में कैसे दिखाता है. आप एचटीएमएल पेज पर या किसी एचटीटीपी हेडर में मेटा टैग शामिल करके, पेज के लेवल की सेटिंग तय कर सकते हैं. आप पेज में दिए गए एचटीएमएल एलिमेंट के लिए data-nosnippet एट्रिब्यूट जोड़कर, टेक्स्ट के लेवल की सेटिंग तय कर सकते हैं.

रोबोट मेटा टैग का इस्तेमाल करना

रोबोट मेटा टैग, किसी पेज पर बारीकी से यह कंट्रोल करने की सुविधा देता है कि उसे किस तरह इंडेक्स किया जाए. साथ ही, उसे Google Search के नतीजों में कैसे दिखाया जाए. किसी पेज के <head> सेक्शन में रोबोट मेटा टैग डालें, जैसे:

<!DOCTYPE html>
<html><head>
<meta name="robots" content="noindex" />
(…)
</head>
<body>(…)</body>
</html>

ऊपर दिए गए उदाहरण में रोबोट मेटा टैग, सर्च इंजन को निर्देश देता है कि वह पेज को खोज के नतीजों में न दिखाएं. name एट्रिब्यूट (robots) की वैल्यू से पता चलता है कि यह निर्देश सभी क्रॉलर पर लागू होता है. किसी खास क्रॉलर को निर्देश देने के लिए, name एट्रिब्यूट की robots वैल्यू की जगह, उस क्रॉलर का नाम डालें जिसे आप निर्देश दे रहे हैं. कुछ चुनिंदा क्रॉलर, उपयोगकर्ता एजेंट के नाम से भी जाने जाते हैं. ये ऐसे क्रॉलर होते हैं जो किसी पेज का अनुरोध करने के लिए अपने उपयोगकर्ता एजेंट का इस्तेमाल करते हैं. Google के स्टैंडर्ड वेब क्रॉलर का उपयोगकर्ता एजेंट नाम Googlebot है. सिर्फ़ Googlebot को अपना पेज इंडेक्स करने से रोकने के लिए, टैग को इस तरीके से अपडेट करें:

<meta name="googlebot" content="noindex" />

यह टैग, Google को खास तौर पर निर्देश देता है कि इस पेज को खोज के नतीजों में न दिखाया जाए. name और content, दोनों एट्रिब्यूट को अंग्रेज़ी के बड़े या छोटे, किसी भी अक्षर में लिखा जा सकता है.

अलग-अलग काम के लिए, सर्च इंजन में अलग-अलग क्रॉलर हो सकते हैं. Google के क्रॉलर की पूरी सूची देखें. उदाहरण के लिए, अगर आप किसी पेज को Google के वेब के खोज नतीजों में दिखाना चाहते हैं, लेकिन उसे Google News में नहीं दिखाना चाहते, तो इस मेटा टैग का इस्तेमाल करें:

<meta name="googlebot-news" content="noindex" />

एक से ज़्यादा क्रॉलर के बारे में एक-एक करके जानकारी देने के लिए, कई रोबोट मेटा टैग का इस्तेमाल करें:

<meta name="googlebot" content="noindex">
<meta name="googlebot-news" content="nosnippet">

X-Robots-Tag एचटीटीपी हेडर का इस्तेमाल करना

किसी यूआरएल के लिए, X-Robots-Tag का इस्तेमाल एचटीटीपी हेडर रिस्पॉन्स के एलिमेंट के तौर पर किया जा सकता है. रोबोट मेटा टैग में इस्तेमाल किए जाने वाले किसी भी निर्देश को X-Robots-Tag के तौर पर भी बताया जा सकता है. यहां एचटीटीपी रिस्पॉन्स का एक उदाहरण दिया गया है. इसमें X-Robots-Tag, क्रॉलर को पेज इंडेक्स न करने का निर्देश दे रहा है:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noindex
(…)

कई X-Robots-Tag हेडर, एचटीटीपी रिस्पॉन्स में जोड़े जा सकते हैं या आप निर्देशों की कॉमा-सेपरेटेड लिस्ट बना सकते हैं. यहां एचटीटीपी हेडर रिस्पॉन्स का एक उदाहरण दिया गया है, जिसमें unavailable_after X-Robots-Tag के साथ noarchive X-Robots-Tag जुड़े हुए हैं.

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noarchive
X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST
(…)

ऐसा हो सकता है कि X-Robots-Tag, निर्देशों से पहले उपयोगकर्ता एजेंट तय करे. उदाहरण के लिए, कुछ शर्तों के साथ X-Robots-Tag एचटीटीपी हेडर के नीचे दिए गए सेट का इस्तेमाल, अलग-अलग सर्च इंजन पर खोज के नतीजों में किसी पेज को दिखाने की अनुमति देने के लिए किया जा सकता है:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: googlebot: nofollow
X-Robots-Tag: otherbot: noindex, nofollow
(…)

उपयोगकर्ता एजेंट तय किए बिना दिए गए निर्देश, सभी क्रॉलर के लिए मान्य होते हैं. एचटीटीपी हेडर, उपयोगकर्ता एजेंट का नाम, और तय की गई वैल्यू को अंग्रेज़ी के बड़े या छोटे अक्षरों में से किसी में भी लिखा जा सकता है.

सही तरह से इंडेक्स करना और निर्देश देना

नीचे दिए गए निर्देश का इस्तेमाल करके, यह तय किया जा सकता है कि रोबोट मेटा टैग और X-Robots-Tag के साथ कोई स्निपेट कैसे दिखे और उस स्निपेट को कैसे इंडेक्स किया जाए. स्निपेट, खोज के नतीजों में दिखने वाला ऐसा टेक्स्ट होता है जिसका इस्तेमाल यह बताने के लिए किया जाता है कि दस्तावेज़ और उपयोगकर्ता की क्वेरी एक-दूसरे से कितना मेल खाते हैं. नीचे दिए गए टेबल में वे सभी निर्देश दिखाए गए हैं जिनका Google पालन करता है. साथ ही, इसमें उनके मतलब भी बताए गए हैं. हर वैल्यू एक खास निर्देश दिखाती है. एक से ज़्यादा निर्देशों को कॉमा-सेपरेटेड लिस्ट में जोड़ा जा सकता है. इन निर्देशों में अंग्रेज़ी के छोटे-बड़े अक्षरों का इस्तेमाल किया जा सकता है.

निर्देश

all

इंडेक्स करने या खोज के नतीजों में दिखाए जाने पर कोई भी पाबंदी नहीं है. यह निर्देश, डिफ़ॉल्ट वैल्यू है और साफ़ तौर पर सूची में शामिल करने पर इसका कोई असर नहीं पड़ता.

noindex

इस पेज को खोज के नतीजों में न दिखाएं. अगर आप इस निर्देश की जानकारी नहीं देते हैं, तो पेज को इंडेक्स किया जा सकता है और उसे खोज के नतीजों में दिखाया जा सकता है.

nofollow

इस पेज पर दिए गए लिंक फ़ॉलो न करें. अगर आप इस निर्देश की जानकारी नहीं देते हैं, तो Google, पेज पर दिए गए लिंक को फ़ॉलो करके, लिंक किए गए पेजों को क्रॉल कर सकता है. nofollow के बारे में ज़्यादा जानें.

none

noindex, nofollow के बराबर.

noarchive

खोज के नतीजों में, कैश में स्टोर हुआ लिंक न दिखाएं. अगर आप इस निर्देश की जानकारी नहीं देते हैं, तो Google कोई ऐसा पेज जनरेट कर सकता है जो कैश मेमोरी में सेव हो. साथ ही, उपयोगकर्ता उस पेज को खोज के नतीजों में देख सकते हैं.

nosnippet

इस पेज के लिए, खोज के नतीजों में कोई टेक्स्ट स्निपेट या वीडियो की झलक न दिखाएं. बेहतर उपयोगकर्ता अनुभव देने के लिए, अब भी स्टैटिक इमेज थंबनेल दिख सकता है. हालांकि, इसके लिए थंबनेल का उपलब्ध होना ज़रूरी है. यह हर तरह के खोज नतीजों (Google पर: Google Web Search, Google Images, डिस्कवर) पर लागू होता है.

अगर आप इस निर्देश की जानकारी नहीं देते हैं, तो Google, पेज से मिली जानकारी के मुताबिक टेक्स्ट स्निपेट या वीडियो की झलक जनरेट कर सकता है.

max-snippet: [number]

खोज के इस नतीजे के लिए, टेक्स्ट स्निपेट के तौर पर ज़्यादा से ज़्यादा [number] वर्णों का इस्तेमाल करें. (ध्यान दें कि यूआरएल, खोज के नतीजे वाले पेज में एक से ज़्यादा खोज नतीजों के तौर पर दिख सकता है.) इससे इमेज या वीडियो की झलक पर कोई असर नहीं पड़ता. यह खोज के हर तरह के नतीजों पर लागू होता है. जैसे, Google Web Search, Google Image, डिस्कवर, Assistant. हालांकि, वर्णों की यह सीमा तब लागू नहीं होती है, जब प्रकाशक ने कॉन्टेंट के इस्तेमाल की अनुमति अलग से दी हो. उदाहरण के लिए, अगर प्रकाशक इन-पेज स्ट्रक्चर्ड डेटा के तौर पर कॉन्टेंट उपलब्ध कराता है या उसका Google के साथ कोई लाइसेंस वाला समझौता है, तो यह सेटिंग उन इस्तेमाल पर लागू नहीं होती है जिनके लिए मंज़ूरी दी जा चुकी है. अगर पार्स किया जा सकने वाला कोई [number] मौजूद न हो, तो इस निर्देश को नज़रअंदाज़ कर दिया जाता है.

अगर आप इस निर्देश की जानकारी नहीं देते हैं, तो स्निपेट की लंबाई Google तय करेगा.

खास वैल्यू:

  • 0: दिखाने के लिए स्निपेट मौजूद नहीं है. nosnippet के बराबर.
  • -1: Google आपकी साइट के लिए स्निपेट की लंबाई उतनी ही रखता है जितनी उसे सही लगती है. उतने ही शब्दों का स्निपेट चुना जाता है जो उपयोगकर्ताओं को आपका कॉन्टेंट ढूंढने और आपकी साइट पर पहुंचाने में मददगार साबित हो.

उदाहरण:

किसी स्निपेट को खोज के नतीजों में दिखने से रोकने के लिए:


<meta name="robots" content="max-snippet:0">

स्निपेट में ज़्यादा से ज़्यादा 20 वर्ण दिखाने के लिए:


<meta name="robots" content="max-snippet:20">

यह बताने के लिए कि आप स्निपेट में जितने चाहें उतने वर्ण शामिल कर सकते हैं:


<meta name="robots" content="max-snippet:-1">

max-image-preview: [setting]

खोज नतीजों में दिखाने के लिए, इस पेज की झलक वाली इमेज का साइज़, ज़्यादा से ज़्यादा पर सेट करें.

अगर आप max-image-preview निर्देश की जानकारी नहीं देते हैं, तो Google, इमेज की झलक को डिफ़ॉल्ट साइज़ में दिखा सकता है.

ये [setting] वैल्यू दी जा सकती हैं:

  • none: दिखाने के लिए इमेज की कोई झलक मौजूद नहीं है.
  • standard: डिफ़ॉल्ट के तौर पर सेट की गई इमेज की झलक दिख सकती है.
  • large: इमेज की बड़ी झलक दिखाई जा सकती है. इसकी चौड़ाई व्यूपोर्ट जितनी हो सकती है.

यह हर तरह के खोज नतीजों पर लागू होता है. जैसे कि Google Web Search, Google Images, डिस्कवर, Assistant. हालांकि, यह सीमा तब लागू नहीं होती है, जब प्रकाशक ने कॉन्टेंट के इस्तेमाल की अनुमति अलग से दी हो. उदाहरण के लिए, अगर प्रकाशक इन-पेज स्ट्रक्चर्ड डेटा (जैसे, एएमपी और किसी लेख के कैननिकल वर्शन) के तौर पर कॉन्टेंट उपलब्ध कराता है या उसका Google के साथ कोई लाइसेंस वाला समझौता है, तो यह सेटिंग उन इस्तेमाल पर लागू नहीं होती है जिनके लिए मंज़ूरी दी जा चुकी है.

अगर आप नहीं चाहते कि Google आपके एएमपी पेजों और किसी लेख के कैननिकल वर्शन को Search या डिस्कवर में बड़े थंबनेल वाली इमेज के साथ दिखाए, तो आप standard या none के लिए एक max-image-preview वैल्यू तय कर सकते हैं.

उदाहरण के लिए:


<meta name="robots" content="max-image-preview:standard">

max-video-preview: [number]

खोज के नतीजों में इस पेज पर, वीडियो के लिए ज़्यादा से ज़्यादा [number] सेकंड के वीडियो स्निपेट का इस्तेमाल करें.

अगर आप max-video-preview निर्देश की जानकारी नहीं देते हैं, तो Google, खोज के नतीजों में वीडियो स्निपेट दिखा सकता है. साथ ही, ऐसे में Google तय करता है कि झलक कितनी लंबी होगी.

खास वैल्यू:

  • 0: ज़्यादा से ज़्यादा, max-image-preview सेटिंग के हिसाब से, एक स्टैटिक इमेज का इस्तेमाल किया जा सकता है.
  • -1: कोई सीमा नहीं है.

यह खोज के हर तरह के नतीजों पर लागू होता है. Google में: Google Web Search, Google Images, Google वीडियो, डिस्कवर, Assistant. अगर पार्स किया जा सकने वाला कोई [number] मौजूद नहीं है, तो इस निर्देश को नज़रअंदाज़ किया जाता है.

उदाहरण:


<meta name="robots" content="max-video-preview:-1">

notranslate

खोज के नतीजों में, इस पेज के कॉन्टेंट का अनुवाद न दिखाएं. अगर आप इस निर्देश का इस्तेमाल नहीं करते हैं, तो Google आपके पेज के कॉन्टेंट का अनुवाद दिखाने के लिए, खोज नतीजों के आगे एक लिंक दिखा सकता है.

noimageindex

इस पेज पर मौजूद इमेज को इंडेक्स न करें. अगर आप इस वैल्यू का इस्तेमाल नहीं करते हैं, तो पेज पर मौजूद इमेज, इंडेक्स की जा सकती हैं और खोज के नतीजों में दिखाई जा सकती हैं.

unavailable_after: [date/time]

बताई गई तारीख या समय के बाद, इस पेज को खोज के नतीजों में न दिखाएं. तारीख या समय, आम तौर पर इस्तेमाल किए जाने वाले फ़ॉर्मैट में ही होना चाहिए. हालांकि, यह RFC 822, RFC 850, और ISO 8601 तक सीमित नहीं है. अगर कोई मान्य तारीख या समय मौजूद नहीं है, तो इस निर्देश को नज़रअंदाज़ कर दिया जाता है. डिफ़ॉल्ट तौर पर, कॉन्टेंट के लिए खत्म होने की कोई तारीख नहीं होती है.

अगर आप इस डायरेक्टिव का इस्तेमाल नहीं करते हैं, तो खोज के नतीजों में पेज दिखता रहेगा.

उदाहरण:


<meta name="robots" content="unavailable_after: 2020-09-21">

इंडेक्स करने और निर्देश दिखाए जाने को एक साथ शामिल करना

आप रोबोट मेटा टैग निर्देशों को कॉमा से जोड़कर, कई दिशा-निर्देशों वाला निर्देश बना सकते हैं. यहां रोबोट मेटा टैग का एक उदाहरण दिया गया है. यह वेब क्रॉलर को पेज इंडेक्स न करने और पेज पर किसी भी लिंक को क्रॉल नहीं करने का निर्देश देता है:

<meta name="robots" content="noindex, nofollow">

यहां एक उदाहरण दिया गया है जिसमें टेक्स्ट स्निपेट के लिए, ज़्यादा से ज़्यादा 20 वर्णों का इस्तेमाल करने और इमेज की बड़ी झलक दिखाने की अनुमति है:

<meta name="robots" content="max-snippet:20, max-image-preview:large">

अलग-अलग क्रॉलर को अलग-अलग निर्देश बताए जाने की स्थिति में, सर्च इंजन नेगेटिव निर्देशों के कुल योग का इस्तेमाल करेगा. उदाहरण के लिए:

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

Googlebot से क्रॉल किए जाने पर, जिस पेज में ये मेटा टैग होंगे उसकी पहचान, noindex, nofollow निर्देश वाले पेज के तौर पर की जाएगी.

data-nosnippet एचटीएमएल एट्रिब्यूट का इस्तेमाल करना

आप यह तय कर सकते हैं कि एचटीएमएल पेज के टेक्स्ट वाले किन हिस्सों को स्निपेट के तौर पर इस्तेमाल न किया जाए. ऐसा करने के लिए, आप एचटीएमएल एलिमेंट के स्तर पर span, div, और section एलिमेंट में, data-nosnippet एचटीएमएल एट्रिब्यूट का इस्तेमाल कर सकते हैं. data-nosnippet को बूलियन एट्रिब्यूट माना जाता है. सभी बूलियन एट्रिब्यूट की तरह ही, इसके लिए दी गई किसी भी वैल्यू को नज़रअंदाज़ कर दिया जाता है. मशीन (कंप्यूटर) आपके पेज को ठीक तरह से समझ सके, इसके लिए ज़रूरी है कि एचटीएमएल सेक्शन एक मान्य एचटीएमएल हो और सभी टैग उसके मुताबिक बंद किए जाते हों.

उदाहरण:

<p>This text can be shown in a snippet
<span data-nosnippet>and this part would not be shown</span>.</p>

<div data-nosnippet>not in snippet</div>
<div data-nosnippet="true">also not in snippet</div>
<div data-nosnippet="false">also not in snippet</div>
<!-- all values are ignored -->

<div data-nosnippet>some text</html>
<!-- unclosed "div" will include all content afterwards -->

<mytag data-nosnippet>some text</mytag>
<!-- NOT VALID: not a span, div, or section -->

आम तौर पर, Google किसी पेज को इंडेक्स करने के लिए रेंडर करता है, लेकिन यह ज़रूरी नहीं है कि इंडेक्स किया गया हर पेज रेंडर किया गया हो. इस वजह से, data-nosnippet को रेंडर करने के पहले और बाद में, कभी भी निकाला जा सकता है. रेंडर करने की प्रोसेस का सही इस्तेमाल करने के लिए, JavaScript से मौजूदा नोड के data-nosnippet एट्रीब्यूट को जोड़ें या हटाएं नहीं. JavaScript की मदद से DOM एलिमेंट जोड़ते समय, data-nosnippet एट्रिब्यूट शामिल करें. पेज के DOM में एलिमेंट जोड़ते समय, ऐसा करना ज़रूरी होता है. अगर पसंद के मुताबिक बनाए गए एलिमेंट इस्तेमाल किए जाते हैं, तो data-nosnippet का इस्तेमाल करने के लिए div, span या section के साथ उन्हें रैप करें या रेंडर करें.

स्ट्रक्चर्ड डेटा का इस्तेमाल करना

रोबोट मेटा टैग उस कॉन्टेंट को कंट्रोल करते हैं जिसे Google, खोज के नतीजों में दिखाने के लिए वेब पेजों से अपने-आप निकालता है. हालांकि, कई प्रकाशक खोज नतीजों में दिखाने के लिए खास जानकारी उपलब्ध कराते हैं. इसके लिए, वे schema.org वाले स्ट्रक्चर्ड डेटा का भी इस्तेमाल करते हैं. रोबोट मेटा टैग की सीमाएं दूसरे क्रिएटिव कामों के लिए तय स्ट्रक्चर्ड डेटा के article.description और description की वैल्यू छोड़कर, उस स्ट्रक्चर्ड डेटा के इस्तेमाल पर असर नहीं डालती हैं. इन description वैल्यू के आधार पर झलक की ज़्यादा से ज़्यादा लंबाई तय करने के लिए, max-snippet robots मेटा टैग का इस्तेमाल करें. उदाहरण के लिए, किसी पेज के recipe स्ट्रक्चर्ड डेटा को रेसिपी कैरसेल में जोड़ा जा सकता है. टेक्स्ट की झलक सीमित होने पर भी ऐसा किया जा सकता है. आप max-snippet से, टेक्स्ट की झलक की लंबाई तय कर सकते हैं. हालांकि, यह robots मेटा टैग तब लागू नहीं होता है, जब ज़्यादा बेहतर नतीजों (रिच रिज़ल्ट) के लिए स्ट्रक्चर्ड डेटा का इस्तेमाल करके जानकारी दी गई हो.

अपने वेब पेज के लिए स्ट्रक्चर्ड डेटा के इस्तेमाल को मैनेज करने के लिए, आप स्ट्रक्चर्ड डेटा के टाइप और उनकी वैल्यू बदल सकते हैं. अगर आप सिर्फ़ वही डेटा उपलब्ध कराना चाहते हैं जो खोज के नतीजों में दिखे, तो आप जानकारी जोड़ या हटा सकते हैं. यह भी ध्यान दें कि data-nosnippet एलिमेंट में स्ट्रक्चर्ड डेटा इस्तेमाल किए जाने पर भी खोज के नतीजों में स्ट्रक्चर्ड डेटा का इस्तेमाल किया जा सकता है.

X-Robots-Tag को लागू करना

आप अपनी साइट के वेब सर्वर सॉफ़्टवेयर की कॉन्फ़िगरेशन फ़ाइलों के ज़रिए, साइट के एचटीटीपी रिस्पॉन्स में X-Robots-Tag जोड़ सकते हैं. उदाहरण के लिए, आप Apache सर्वर पर .htaccess और httpd.conf फ़ाइलों का इस्तेमाल कर सकते हैं. एचटीटीपी रिस्पॉन्स के साथ X-Robots-Tag के इस्तेमाल का यह फ़ायदा होता है कि आप क्रॉल करने से जुड़े निर्देश तय कर सकते हैं. ये निर्देश पूरी साइट पर लागू होते हैं. रेगुलर एक्सप्रेशन के काम करने से यह बहुत ज़्यादा सुविधाजनक बन जाता है.

उदाहरण के लिए, पूरी साइट पर मौजूद सभी .PDF फ़ाइलों के लिए, एचटीटीपी रिस्पॉन्स में noindex, nofollow X-Robots-Tag जोड़ने के लिए, साइट की रूट .htaccess फ़ाइल या Apache पर httpd.conf फ़ाइल या NGINX पर साइट की .conf फ़ाइल में, यह स्निपेट जोड़ें

Apache:

<Files ~ "\.pdf$">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>

NGINX:

location ~* \.pdf$ {
  add_header X-Robots-Tag "noindex, nofollow";
}

आप इमेज फ़ाइलों जैसी उन गैर-एचटीएमएल फ़ाइलों के लिए X-Robots-Tag का इस्तेमाल कर सकते हैं जिनके लिए रोबोट मेटा टैग का इस्तेमाल नहीं किया जा सकता. यहां एक पूरी साइट पर इमेज फ़ाइलों (.png, .jpeg, .jpg, .gif) के लिए noindexX-Robots-Tag निर्देश जोड़ने का एक उदाहरण दिया गया है:

Apache:

<Files ~ "\.(png|jpe?g|gif)$">
  Header set X-Robots-Tag "noindex"
</Files>

NGINX:

location ~* \.(png|jpe?g|gif)$ {
  add_header X-Robots-Tag "noindex";
}

क्रॉल करने वाले निर्देशों के साथ इंडेक्स / नतीजे दिखाने वाले निर्देशों का इस्तेमाल करना

रोबोट मेटा टैग और X-Robots-Tag एचटीटीपी हेडर का पता तब चलता है, जब किसी यूआरएल को क्रॉल किया जाता है. अगर किसी पेज को robots.txt फ़ाइल से क्रॉल करने से मना कर दिया जाता है, तो इंडेक्स करने या निर्देश दिखाने के बारे में कोई जानकारी नहीं मिलेगी. इसलिए, उसे अनदेखा कर दिया जाएगा. अगर इंडेक्स करने या निर्देशों से जुड़ी जानकारी शामिल करना ज़रूरी है, तो उन निर्देशों वाले यूआरएल को क्रॉल करने से रोका नहीं जा सकता.