Google के क्रॉलर (उपयोगकर्ता एजेंट) से जुड़ी खास जानकारी

ऐसे प्रोग्राम (जैसे कि रोबोट या स्पाइडर) जो कि लिंक की मदद से एक वेबपेज से दूसरे वेबपेज पर जाते हैं. इस तरीके से वे वेबसाइटें खोजते हैं और उन्हें स्कैन करते हैं. इस तरह के सभी प्रोग्राम को "क्रॉलर" कहा जाता है. Google के मुख्य क्रॉलर को Googlebot कहा जाता है. इस टेबल में, Google के उन आम क्रॉलर के बारे में जानकारी दी गई है जिन्हें आप अपने रेफ़रलकर्ता लॉग में देख सकते हैं. साथ ही, टेबल में यह भी बताया गया है कि उन क्रॉलर को robots.txt, रोबोट मेटा टैग, और X-Robots-Tag के एचटीटीपी निर्देशों में कैसे दिखाया जाना चाहिए.

इस टेबल में उन क्रॉलर को दिखाया गया है जिनका इस्तेमाल Google के अलग-अलग प्रॉडक्ट और सेवाएं करती हैं:

  • उपयोगकर्ता एजेंट टोकन का इस्तेमाल robots.txt में मौजूद User-agent: लाइन में किया जाता है, ताकि आपकी साइट के लिए क्रॉल करने के नियम लिखते समय, सही तरह के क्रॉलर से मैच किया जा सके. जैसा कि टेबल में दिखाया गया है, कुछ क्रॉलर के पास एक से ज़्यादा टोकन हैं. किसी नियम को लागू करने के लिए, आपको उस नियम के लिए एक ही क्रॉलर टोकन को मैच (मिलान) कराना होगा. हालांकि, यह सूची पूरी नहीं है, लेकिन इसमें ऐसे ज़्यादातर क्रॉलर मौजूद हैं जिन्हें आप अपनी वेबसाइट पर देख सकते हैं.
  • उपयोगकर्ता एजेंट की पूरी स्ट्रिंग, क्रॉलर का पूरा ब्यौरा है. यह ब्यौरा, अनुरोध और आपके वेब लॉग में दिखता है.
क्रॉलर उपयोगकर्ता एजेंट टोकन (प्रॉडक्ट टोकन) उपयोगकर्ता एजेंट की पूरी स्ट्रिंग
APIs-Google

APIs-Google

APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
AdSense

Mediapartners-Google

Mediapartners-Google

AdsBot मोबाइल वेब Android

(Android पर मौजूद वेब पेज के विज्ञापन की क्वालिटी की जांच करता है)

AdsBot-Google-Mobile

Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot मोबाइल वेब

(iPhone पर मौजूद वेब पेज के विज्ञापन की क्वालिटी की जांच करता है)

AdsBot-Google-Mobile

Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot

(डेस्कटॉप पर मौजूद वेब पेज के विज्ञापन की क्वालिटी की जांच करता है)

AdsBot-Google

AdsBot-Google (+http://www.google.com/adsbot.html)
Googlebot इमेज
  • Googlebot-Image
  • Googlebot
Googlebot-Image/1.0
Googlebot News
  • Googlebot-News
  • Googlebot
Googlebot-News
Googlebot वीडियो
  • Googlebot-Video
  • Googlebot
Googlebot-Video/1.0

Googlebot डेस्कटॉप

Googlebot

  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

    या (बहुत कम इस्तेमाल किया जाता है):
  • Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot स्मार्टफ़ोन

Googlebot

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

मोबाइल AdSense

Mediapartners-Google

(अलग-अलग तरह के मोबाइल डिवाइस) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

मोबाइल ऐप्लिकेशन Android

(Android ऐप्लिकेशन पर मौजूद पेज के विज्ञापन की क्वालिटी की जांच करता है. AdsBot-Google robots नियमों का पालन करता है.)

AdsBot-Google-Mobile-Apps

AdsBot-Google-Mobile-Apps

Feedfetcher

FeedFetcher-Google

robots.txt के नियमों का पालन नहीं करता है - यहां इसकी वजह बताई गई है

FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)

Google Read Aloud

Google-Read-Aloud

robots.txt के नियमों का पालन नहीं करता है - यहां इसकी वजह बताई गई है

मौजूदा एजेंट:

  • डेस्कटॉप एजेंट: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/advanced/crawling/overview-google-crawlers)
  • मोबाइल एजेंट: Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/advanced/crawling/overview-google-crawlers)

पुराना एजेंट (अब इस्तेमाल में नहीं है): google-speakr

Duplex on the web

DuplexWeb-Google

, * वाइल्डकार्ड को अनदेखा कर सकता है - यहां इसकी वजह बताई गई है

Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Mobile Safari/537.36

Google फ़ेविकॉन

(कई तरह की सेवाओं के लिए फ़ेविकॉन को डाउनलोड करता है)

Google Favicon

, उपयोगकर्ताओं के अनुरोधों के लिए, robots.txt के नियमों का पालन नहीं करता है

Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon
Web Light

googleweblight

robots.txt के नियमों का पालन नहीं करता है - यहां इसकी वजह बताई गई है

Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19
Google StoreBot Storebot-Google

डेस्कटॉप एजेंट: Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36

मोबाइल एजेंट: Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Mobile Safari/537.36

robots.txt में मौजूद उपयोगकर्ता एजेंट

robots.txt फ़ाइल में कई उपयोगकर्ता एजेंट की पहचान की जाती है, लेकिन Google खास तौर पर दिखाए गए एजेंट को फ़ॉलो करता है. अगर आप चाहते हैं कि Google आपके सभी पेजों को क्रॉल करे, तो आपको किसी robots.txt फ़ाइल की ज़रूरत नहीं है. अगर आप Google के सभी क्रॉलर को अपना कुछ कॉन्टेंट क्रॉल करने की अनुमति देना चाहते हैं या उन्हें ऐसा करने से रोकना चाहते हैं, तो आप Googlebot को उपयोगकर्ता एजेंट के तौर पर दिखाकर ऐसा कर सकते हैं. उदाहरण के लिए, अगर आप अपने सभी पेजों को Google Search में दिखाने के साथ-साथ, AdSense विज्ञापनों को भी अपने पेजों पर दिखाना चाहते हैं, तो आपको किसी robots.txt फ़ाइल की ज़रूरत नहीं है. इसी तरह, अगर आप चाहते हैं कि Google के क्रॉलर आपके कुछ पेजों को क्रॉल न कर पाएं, तो Googlebot उपयोगकर्ता एजेंट को ब्लॉक करने पर, Google के अन्य सभी उपयोगकर्ता एजेंट भी ब्लॉक हो जाएंगे.

अगर आप ज़्यादा कंट्रोल चाहते हैं, तो आप अपनी ज़रूरत के हिसाब से खास तरीके अपना सकते हैं. उदाहरण के लिए, हो सकता है कि आप अपने सभी पेजों को Google Search में दिखाना चाहें, लेकिन शायद यह न चाहें कि आपकी निजी डायरेक्ट्री में मौजूद इमेज को क्रॉल किया जाए. ऐसे में, Googlebot-Image उपयोगकर्ता एजेंट को अपनी निजी डायरेक्ट्री में मौजूद फ़ाइलों को क्रॉल करने की अनुमति नहीं देने के लिए, (Googlebot को, सभी फ़ाइलों को क्रॉल करने की अनुमति देते हुए) robots.txt का इस्तेमाल इस तरह करें:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal

एक और उदाहरण लेते हैं, मान लीजिए कि आप अपने सभी पेजों पर विज्ञापन दिखाना चाहते हैं, लेकिन आप नहीं चाहते कि वे पेज Google Search में दिखें. यहां, आप Googlebot पर रोक लगाएंगे, लेकिन Mediapartners-Google उपयोगकर्ता एजेंट को अनुमति देंगे, कुछ इस तरह से:

User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

रोबोट मेटा टैग में मौजूद उपयोगकर्ता एजेंट

कुछ पेज अलग-अलग क्रॉलर से जुड़े निर्देश देने के लिए, एक से ज़्यादा रोबोट मेटा टैग का इस्तेमाल करते हैं, जैसे कि:

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

इस मामले में, Google सभी नेगेटिव निर्देशों का इस्तेमाल करेगा और Googlebot, noindex और nofollow, दोनों निर्देशों का पालन करेगा. उन तरीकों को कंट्रोल करने के बारे में ज़्यादा जानकारी जिनकी मदद से, Google आपकी साइट को क्रॉल और इंडेक्स करता है.