Google, जगह और भाषा के मुताबिक बने पेजों को किस तरह से क्रॉल करता है

अगर आपकी साइट पर जगह-भाषा के हिसाब से कॉन्टेंट दिखाने वाले पेज (मतलब, आपकी साइट के उपयोगकर्ताओं को उनके देश या भाषा के मुताबिक अलग-अलग कॉन्टेंट दिखता है) हैं, तो हो सकता है कि Google अलग-अलग जगह-भाषा के हिसाब से बना आपका पूरा कॉन्टेंट क्रॉल, इंंडेक्स या रैंक न करे. ऐसा इसलिए है, क्योंकि आम तौर पर Googlebot क्रॉलर के डिफ़ॉल्ट आईपी पते अमेरिका के होते हैं. इसके अलावा, अनुरोध के हेडर में Accept-Language सेट किए बिना ही क्रॉलर, एचटीटीपी अनुरोध भेजता है.

जगह के हिसाब से क्रॉल करने की सुविधा

Googlebot, अमेरिका के आईपी पतों के साथ-साथ दूसरे देशों के आईपी पते भी क्रॉल करने के लिए इस्तेमाल करता है.

हम हमेशा सुझाव देते हैं कि अपनी साइट पर किसी खास देश के आईपी पते का इस्तेमाल करके, आने वाले Googlebot को भी उस देश के उपयोगकर्ता की तरह ही मानें. इसका मतलब है कि अगर अमेरिका के उपयोगकर्ताओं को अपनी साइट का कॉन्टेंट ऐक्सेस करने से रोका जाता है और ऑस्ट्रेलिया में रहने वाले लोगों को इसकी अनुमति दी जाती है, तो ऐसा ही Googlebot के साथ भी करना चाहिए. आपके सर्वर को अमेरिका का आईपी पता इस्तेमाल करने वाले Googlebot पर भी रोक लगानी चाहिए, लेकिन ऑस्ट्रेलिया का आईपी पता इस्तेमाल करने वाले Googlebot को कॉन्टेंट का ऐक्सेस देना चाहिए.

दूसरी ज़रूरी बातें