पुष्टि करना कि सर्वर को ऐक्सेस करने वाला बॉट, Googlebot है या नहीं

आप इस बात की पुष्टि कर सकते हैं कि आपके सर्वर को ऐक्सेस करने वाला वेब क्रॉलर Googlebot ही है या Google का कोई दूसरा उपयोगकर्ता एजेंट. अगर आपको लगता है कि स्पैम करने वाले व्यक्ति या समस्या पैदा करने वाले अन्य व्यक्ति, Googlebot होने का दावा करके आपकी साइट को ऐक्सेस कर रहे हैं, तो आप इस विकल्प का इस्तेमाल कर सकते हैं. जिन लोगों या संगठनों को अनुमति मिली है उनकी सूची में, Google, वेबसाइट के मालिकों के लिए आईपी पतों की सार्वजनिक सूची पोस्ट नहीं करता. ऐसा इसलिए, क्योंकि आईपी पते की ये सीमाएं बदल सकती हैं. इसकी वजह से, किसी भी ऐसी वेबसाइट के मालिक को समस्या होती है जिसने इन सीमाओं को हार्ड कोड किया है. इसलिए, आपको डीएनएस लुकअप चलाना चाहिए. इसे चलाने का तरीका यहां बताया गया है.

इसकी पुष्टि करने के लिए कि साइट को ऐक्सेस करने वाला क्रॉलर, Googlebot है या नहीं:

  1. host निर्देश का इस्तेमाल करके, अपने लॉग में दिए गए उस आईपी पते पर रिवर्स डीएनएस लुकअप चलाएं जो आपके सर्वर को ऐक्सेस करता है.
  2. पुष्टि करें कि डोमेन नाम googlebot.com या google.com है.
  3. फिर से मिले डोमेन नाम में host निर्देश का इस्तेमाल करके, पहले चरण में मिले डोमेन के नाम पर फ़ॉरवर्ड डीएनएस लुकअप चलाएं. पुष्टि करें कि यह आपके लॉग में ऐक्सेस करने वाले मूल आईपी पते के समान है.

पहला उदाहरण:

> host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

> host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

दूसरा उदाहरण:

> host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

> host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77