Google के क्रॉलर (उपयोगकर्ता एजेंट) से जुड़ी खास जानकारी

लिंक की मदद से एक वेबपेज से दूसरे वेबपेज पर जाकर, अपने-आप वेबसाइटों को खोजने और स्कैन करने वाले प्रोग्राम को "क्रॉलर" कहा जाता है. जैसे, रोबोट या स्पाइडर. Google के मुख्य क्रॉलर को Googlebot कहा जाता है. इस टेबल में, Google के उन आम क्रॉलर के बारे में जानकारी दी गई है जिन्हें आप रेफ़र करने वाले यूआरएल के अपने लॉग में देख सकते हैं. साथ ही, यह जानकारी भी दी गई है कि उन क्रॉलर को robots.txt, रोबोट मेटा टैग, और X-Robots-Tag के एचटीटीपी डायरेक्टिव में कैसे दिखाना चाहिए.

दिए गए टेबल में उन क्रॉलर को दिखाया गया है जिनका इस्तेमाल, Google के अलग-अलग प्रॉडक्ट और सेवाएं करती हैं:

  • उपयोगकर्ता एजेंट टोकन का इस्तेमाल robots.txt में मौजूद User-agent: लाइन में किया जाता है, ताकि आपकी साइट के लिए क्रॉल करने के नियम बनाते समय, सही तरह के क्रॉलर से मिलान किया जा सके. जैसा कि टेबल में दिखाया गया है, कुछ क्रॉलर के पास एक से ज़्यादा टोकन होते हैं. किसी नियम को लागू करने के लिए, आपको एक ही क्रॉलर टोकन का मिलान कराना होगा. हालांकि, यह सूची पूरी नहीं है, लेकिन इसमें ऐसे ज़्यादातर क्रॉलर मौजूद हैं जिन्हें आप अपनी वेबसाइट पर देख सकते हैं.
  • उपयोगकर्ता एजेंट की पूरी स्ट्रिंग, क्रॉलर की पूरी जानकारी होती है. यह जानकारी अनुरोध और आपके वेब लॉग में दिखती है.

क्रॉलर

APIs-Google

उपयोगकर्ता एजेंट टोकन APIs-Google
उपयोगकर्ता एजेंट की पूरी स्ट्रिंग APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)

AdSense

उपयोगकर्ता एजेंट टोकन Mediapartners-Google
उपयोगकर्ता एजेंट की पूरी स्ट्रिंग Mediapartners-Google

AdsBot मोबाइल वेब Android

Android डिवाइस पर मौजूद वेब पेज के विज्ञापन की क्वालिटी की जांच करता है.

उपयोगकर्ता एजेंट टोकन AdsBot-Google-Mobile
उपयोगकर्ता एजेंट की पूरी स्ट्रिंग Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot मोबाइल वेब

iPhone पर मौजूद वेब पेज के विज्ञापन की क्वालिटी की जांच करता है.

उपयोगकर्ता एजेंट टोकन AdsBot-Google-Mobile
उपयोगकर्ता एजेंट की पूरी स्ट्रिंग Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot

डेस्कटॉप पर मौजूद वेब पेज के विज्ञापन की क्वालिटी की जांच करता है.

उपयोगकर्ता एजेंट टोकन AdsBot-Google
उपयोगकर्ता एजेंट की पूरी स्ट्रिंग AdsBot-Google (+http://www.google.com/adsbot.html)

Googlebot इमेज

उपयोगकर्ता एजेंट टोकन
  • Googlebot-Image
  • Googlebot
उपयोगकर्ता एजेंट की पूरी स्ट्रिंग Googlebot-Image/1.0

Googlebot News

उपयोगकर्ता एजेंट टोकन
  • Googlebot-News
  • Googlebot
उपयोगकर्ता एजेंट की पूरी स्ट्रिंग Googlebot-News

Googlebot वीडियो

उपयोगकर्ता एजेंट टोकन
  • Googlebot-Video
  • Googlebot
उपयोगकर्ता एजेंट की पूरी स्ट्रिंग Googlebot-Video/1.0

Googlebot डेस्कटॉप

उपयोगकर्ता एजेंट टोकन Googlebot
उपयोगकर्ता एजेंट की पूरी स्ट्रिंग
  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
  • Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot स्मार्टफ़ोन

उपयोगकर्ता एजेंट टोकन Googlebot
उपयोगकर्ता एजेंट की पूरी स्ट्रिंग Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

मोबाइल AdSense

उपयोगकर्ता एजेंट टोकन Mediapartners-Google
उपयोगकर्ता एजेंट की पूरी स्ट्रिंग (Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

मोबाइल ऐप्लिकेशन Android

Android ऐप्लिकेशन पर मौजूद पेज के विज्ञापन की क्वालिटी की जांच करता है. यह AdsBot-Google robots के नियमों का पालन करता है.

उपयोगकर्ता एजेंट टोकन AdsBot-Google-Mobile-Apps
उपयोगकर्ता एजेंट की पूरी स्ट्रिंग AdsBot-Google-Mobile-Apps

Google Feedfetcher

उपयोगकर्ता एजेंट टोकन FeedFetcher-Google
उपयोगकर्ता एजेंट की पूरी स्ट्रिंग FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)

Google Read Aloud

उपयोगकर्ता एजेंट टोकन Google-Read-Aloud
उपयोगकर्ता एजेंट की पूरी स्ट्रिंग

मौजूदा एजेंट:

  • डेस्कटॉप एजेंट:
    Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/advanced/crawling/overview-google-crawlers)
  • मोबाइल एजेंट:
    Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/advanced/crawling/overview-google-crawlers)

पुराना एजेंट (अब इस्तेमाल में नहीं है):

google-speakr

Duplex on the web

उपयोगकर्ता एजेंट टोकन DuplexWeb-Google
उपयोगकर्ता एजेंट की पूरी स्ट्रिंग Mozilla/5.0 (Linux; Android 11; Pixel 2; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Mobile Safari/537.36

Google फ़ेविकॉन

उपयोगकर्ता एजेंट टोकन Google Favicon
उपयोगकर्ता एजेंट की पूरी स्ट्रिंग Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon

Web Light

उपयोगकर्ता एजेंट टोकन googleweblight
उपयोगकर्ता एजेंट की पूरी स्ट्रिंग Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19

Google StoreBot

उपयोगकर्ता एजेंट टोकन Storebot-Google
उपयोगकर्ता एजेंट की पूरी स्ट्रिंग
  • डेस्कटॉप एजेंट:

    Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36

  • मोबाइल एजेंट:

    Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Mobile Safari/537.36

robots.txt में मौजूद उपयोगकर्ता एजेंट

robots.txt फ़ाइल में कई उपयोगकर्ता एजेंट की पहचान की जाती है, लेकिन Google खास तौर पर दिखाए गए एजेंट को फ़ॉलो करता है. अगर आप चाहते हैं कि Google आपके सभी पेजों को क्रॉल करे, तो आपको किसी robots.txt फ़ाइल की ज़रूरत नहीं है. अगर आप Google के सभी क्रॉलर को अपना कुछ कॉन्टेंट क्रॉल करने की अनुमति देना चाहते हैं या उन्हें ऐसा करने से रोकना चाहते हैं, तो आप Googlebot को उपयोगकर्ता एजेंट के तौर पर दिखाकर ऐसा कर सकते हैं. उदाहरण के लिए, अगर आप अपने सभी पेजों को Google Search में दिखाने के साथ-साथ, AdSense विज्ञापनों को भी अपने पेजों पर दिखाना चाहते हैं, तो आपको किसी robots.txt फ़ाइल की ज़रूरत नहीं है. इसी तरह, अगर आप चाहते हैं कि Google के क्रॉलर आपके कुछ पेजों को क्रॉल न कर पाएं, तो Googlebot उपयोगकर्ता एजेंट को ब्लॉक करने पर, Google के अन्य सभी उपयोगकर्ता एजेंट भी ब्लॉक हो जाएंगे.

अगर आप ज़्यादा कंट्रोल चाहते हैं, तो आप अपनी ज़रूरत के हिसाब से खास तरीके अपना सकते हैं. उदाहरण के लिए, हो सकता है कि आप अपने सभी पेजों को Google Search में दिखाना चाहें, लेकिन शायद यह न चाहें कि आपकी निजी डायरेक्ट्री में मौजूद इमेज को क्रॉल किया जाए. ऐसे में, Googlebot-Image उपयोगकर्ता एजेंट को अपनी निजी डायरेक्ट्री में मौजूद फ़ाइलों को क्रॉल करने से रोकने के लिए, (Googlebot को, सभी फ़ाइलों को क्रॉल करने की अनुमति देते हुए) robots.txt का इस्तेमाल इस तरह करें:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal

अब एक और उदाहरण लेते हैं. मान लीजिए कि आप अपने सभी पेजों पर विज्ञापन दिखाना चाहते हैं, लेकिन आप नहीं चाहते कि वे पेज Google Search में दिखें. यहां, आप Googlebot पर रोक लगाएंगे, लेकिन Mediapartners-Google उपयोगकर्ता एजेंट को अनुमति देंगे, कुछ इस तरह से:

User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

रोबोट मेटा टैग में मौजूद उपयोगकर्ता एजेंट

कुछ पेज अलग-अलग क्रॉलर के हिसाब से डायरेक्टिव देने के लिए, एक से ज़्यादा रोबोट मेटा टैग का इस्तेमाल करते हैं, जैसे कि:

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

इस मामले में, Google सभी नेगेटिव डायरेक्टिव का इस्तेमाल करेगा और Googlebot noindex और nofollow, दोनों डायरेक्टिव को फ़ॉलो करेगा. उन तरीकों को कंट्रोल करने के बारे में ज़्यादा जानकारी जिनकी मदद से Google, आपकी साइट को क्रॉल और इंडेक्स करता है.