Googlebot की क्रॉल दर को कम करना

किसी साइट पर क्रॉल करने की सबसे अच्छी रफ़्तार को तय करने के लिए, Google के पास बेहतरीन एल्गोरिदम हैं. हमारा मकसद आपके सर्वर के बैंडविड्थ पर ज़्यादा दबाव डाले बिना, हर विज़िट में आपकी साइट के ज़्यादा से ज़्यादा पेज क्रॉल करना है. कुछ मामलों में, आपकी साइट पर Google के क्रॉल करने से आपके इन्फ़्रास्ट्रक्चर पर बहुत ज़्यादा लोड हो सकता है या किसी भी तरह की रुकावट के दौरान अनचाहा किराया लग सकता है. इसे कम करने के लिए, आप Googlebot के किए जाने वाले अनुरोधों की संख्या कम करने का फ़ैसला ले सकते हैं.

अगर आप Googlebot की क्रॉल दर को कम करना चाहते हैं, तो यहां दिए गए कुछ विकल्प अपना सकते हैं:

Search Console की मदद से क्रॉल दर कम करें (सुझाया गया)

अगर आप क्रॉल दर को तेज़ी से कम करना चाहते हैं, तो Search Console में Googlebot की क्रॉल दर बदलें. इस सेटिंग में किए गए बदलाव आम तौर पर कुछ दिनों में दिखने लगते हैं. इस सेटिंग का इस्तेमाल करने के लिए, पहले अपनी साइट के मालिकाना हक की पुष्टि करें. पक्का करें कि आप क्रॉल दर के लिए वह मान तय न करें जो आपकी साइट की ज़रूरतों के लिए बहुत कम है. Googlebot के लिए क्रॉल बजट का क्या मतलब है, इस बारे में ज़्यादा जानें.

Google को क्रॉल दर अपने-आप कम करने दें

अगर आपको कुछ समय (उदाहरण के लिए, कुछ घंटे या एक-दो दिन) के लिए क्रॉल दर कम करनी है, तो गड़बड़ी वाली सूचना के पेज पर सारा कॉन्टेंट शामिल करने के बजाय, उसके साथ 500, 503 या 429 एचटीटीपी नतीजे वाले कोड शामिल करें. Googlebot आपकी साइट की क्रॉल दर को उस समय कम कर देता है, जब उसे 500, 503 या 429 एचटीटीपी नतीजे वाले कोड के साथ काफ़ी बड़ी संख्या में यूआरएल मिले हों (उदाहरण के लिए, अगर आपने अपनी वेबसाइट बंद कर दी है). यह बदलाव, इन गड़बड़ियों के लौटाने वाले यूआरएल के क्रॉल और वेबसाइट में, दोनों ही जगह दिखता है. एक बार इन गड़बड़ियों की संख्या कम हो जाने पर, क्रॉल दर अपने-आप फिर से बढ़नी शुरू हो जाएगी.