शुक्रवार, 17 फ़रवरी, 2023
पिछले कुछ महीनों में, हमें वेबसाइट के मालिकों और कॉन्टेंट डिलीवरी नेटवर्क
(सीडीएन) में एक बढ़ोतरी का पता चला है, जिसमें Googlebot की क्रॉल दर को कम करने के लिए, 404 और 4xx की अन्य क्लाइंट गड़बड़ियों (
429 को छोड़कर) का इस्तेमाल किया जा रहा है.
इस ब्लॉग पोस्ट का छोटा वर्शन है: कृपया ऐसा न करें; हमारे पास इस बारे में दस्तावेज़ हैं कि Googlebot की क्रॉल दर को कैसे कम किया जा सकता है. इस जानकारी से Googlebot की क्रॉल दर को बेहतर तरीके से मैनेज करने का तरीका जानें.
बुनियादी बातों को जानें: 4xx गड़बड़ियां, क्लाइंट की गड़बड़ियों के लिए हैं
क्लाइंट को 4xx गड़बड़ी वाले सर्वर से गड़बड़ियां भेजे जाने का मतलब है कि
क्लाइंट का अनुरोध कुछ हद तक गलत है. इस कैटगरी में ज़्यादातर गड़बड़ियां ठीक नहीं हैं:
"नहीं मिला" जैसी गड़बड़ियां, "अनुमति नहीं हैं", "मैं चाय की प्याली हूं", (हां, यह एक बात है). वे सर्वर पर होने वाली किसी भी गड़बड़ी का
सुझाव नहीं देते.
इसका एक अपवाद 429 है, जिसका मतलब है "बहुत ज़्यादा अनुरोध". यह गड़बड़ी,
हमारे Googlebot के साथ-साथ काम करने वाले किसी भी अच्छे व्यवहार वाले रोबोट के लिए इस बात का संकेत है कि उसे थोड़ा धीरे हो जाना चाहिए,
क्योंकि उसकी वजह से सर्वर ओवरलोड हो रहा है.
Googlebot को क्रॉल करने की अनुरोध संख्या को सीमित करने के लिए 4xx गड़बड़ियां खराब क्यों हैं (429 को छोड़कर)
क्लाइंट गड़बड़ियां बस यही हैं: क्लाइंट गड़बड़ियां. आम तौर पर, वे सर्वर से जुड़ी किसी गड़बड़ी का सुझाव नहीं देते हैं.
ऐसा नहीं है कि पेज ओवरलोड हो, ऐसा भी नहीं है कि पेज पर कोई गंभीर गड़बड़ी का पता चला हो या पेज अनुरोध का जवाब
न दे रहा हो उनका मतलब यह है कि क्लाइंट का अनुरोध किसी तरह से गलत था. उदाहरण के लिए,
सर्वर ओवरलोड लोड होने के दौरान आने वाली 404 गड़बड़ी का कोई सही तरीका नहीं है.
मान लें कि ऐसा ही होता है: आपको गलती से अपने दोस्त से 404 गड़बड़ी का मैसेज मिलता है,
जो आपकी साइट पर गलत पेजों को लिंक करता है. इस वजह से, Googlebot धीरे-धीरे क्रॉल करता है. यह
काफ़ी बुरा होगा. 403, 410, 418 के लिए भी ऐसा ही किया जाता है.
एक बार फिर, इसका एक बड़ा अपवाद 429 स्टेटस कोड है. इसका मतलब है "बहुत ज़्यादा
अनुरोध".
4xx के साथ क्रॉल करने की अनुरोध संख्या को सीमित करने का Googlebot पर क्या असर पड़ता है
सभी 4xx एचटीटीपी स्टेटस कोड (429 को छोड़कर) की वजह से,
आपका कॉन्टेंट Google Search से हट जाएगा. इससे भी खराब बात यह है कि अगर आप अपनी robots.txt फ़ाइल को 4xx एचटीटीपी स्टेटस कोड के साथ दिखाते हैं, तो उसे उसी तरह माना जाएगा जैसे वह मौजूद नहीं है. अगर आपका कोई ऐसा नियम है जिसकी वजह से आपकी खराब फ़ाइलों को क्रॉल करने अनुमति नहीं दी जाती है, तो Googlebot को इसकी जानकारी भी मिल जाती है. यह किसी भी पक्ष के लिए अच्छा नहीं है.
Googlebot की क्रॉल दर को सही तरीके से कैसे कम करें
Googlebot की क्रॉल दर को कम करने के तरीकों और Googlebot और Search से इंडेक्स करने की प्रोसेस, अलग-अलग एचटीटीपी स्टेटस कोड को कैसे मैनेज करते हैं, इस बारे में हमारे पास ज़्यादा जानकारी है; इन्हें ज़रूर देखें. कम शब्दों में कहें, तो आप इनमें से कोई भी काम करना चाहेंगे/चाहेंगी:
- क्रॉल दर को कम करने के लिए, Search Console का इस्तेमाल करना.
-
Googlebot के ज़्यादा तेज़ी से क्रॉल करने पर,
500,503या429एचटीटीपी स्टेटस कोड दिखाना.
अगर आपको ज़्यादा सलाह या जानकारी चाहिए, तो हमसे Twitter पर संपर्क करें या हमारे सहायता फ़ोरम में पोस्ट करें.