सोमवार, 16 जनवरी, 2017
हाल ही में, हमने "क्रॉल बजट" की कई परिभाषाएं सुनी हैं. हालांकि, हमारे पास कोई एक ऐसा शब्द नहीं है जिससे हमें "क्रॉल बजट" के बारे में पूरी जानकारी मिल सके. इस पोस्ट से, आपको यह जानकारी मिलेगी कि हमारे पास क्रॉल बजट से जुड़ी कौनसी परिभाषाएं हैं और Googlebot के लिए इस बजट के क्या मायने हैं.
सबसे पहले, हम यह बताना चाहते हैं कि ज़्यादातर पब्लिशर को क्रॉल बजट के बारे में चिंता करने की ज़रूरत नहीं है. इसकी जानकारी नीचे दी गई है. अगर नए पेज अक्सर उसी दिन क्रॉल किए जाते हैं जिस दिन वे पब्लिश होते हैं, तो वेबमास्टर को क्रॉल बजट पर ध्यान देने की ज़रूरत नहीं है. इसी तरह, अगर किसी साइट पर ज़्यादा यूआरएल नहीं हैं, तो ज़्यादातर मामलों में साइट को बेहतर तरीके से क्रॉल किया जाएगा. हालांकि, अगर किसी साइट के यूआरएल हज़ारों में हैं, तो उसे पूरी तरह से क्रॉल करने में परेशानी हो सकती है.
बड़ी साइटों के लिए इन सभी बातों को प्राथमिकता देना ज़रूरी है कि क्या क्रॉल करना है, कब क्रॉल करना है, और साइट को होस्ट करने वाला सर्वर, क्रॉल करने के लिए कितने रिसॉर्स उपलब्ध करा सकता है. उदाहरण के लिए, यह उन साइटों के लिए ज़रूरी है जो यूआरएल पैरामीटर के आधार पर पेजों को अपने-आप जनरेट करती हैं.
क्रॉल दर की सीमा
Googlebot को वेब का एक अच्छा सदस्य बनने के लिए डिज़ाइन किया गया है. क्रॉल करना इसकी मुख्य प्राथमिकता है. इसमें, इस बात का ध्यान रखा जाता है कि यह साइट पर आने वाले उपयोगकर्ताओं के अनुभव को खराब न करे. हम इसे "क्रॉल दर की सीमा" कहते हैं. इससे, किसी साइट को फ़ेच करने की ज़्यादा से ज़्यादा दर तय होती है.
सीधे शब्दों में कहें, तो इससे पता चलता है कि साइट को क्रॉल करने के लिए Googlebot, एक साथ काम करने वाले कितने कनेक्शन का इस्तेमाल कर सकता है. साथ ही, यह पता चलता है कि एक पेज को फ़ेच करने के बाद, दूसरे पेज को फ़ेच करना शुरू करने में कितना इंतज़ार करना पड़ता है. क्रॉल दर इन वजहों से बढ़ या घट सकती है:
- क्रॉल की स्थिति: अगर साइट कुछ समय के लिए तेज़ी से खुलती है, तो क्रॉल दर की सीमा बढ़ जाती है. इसका मतलब है कि साइट को क्रॉल करने के लिए ज़्यादा कनेक्शन इस्तेमाल किए जा सकते हैं. अगर साइट धीरे काम करती है या सर्वर की गड़बड़ियां मिलती है, तो क्रॉल दर की सीमा घट जाती है और Googlebot आपकी साइट को कम क्रॉल करता है.
- Search Console में सेट की गई सीमा: वेबसाइट के मालिक अपनी साइट के लिए, Googlebot की क्रॉल दर घटा सकते हैं. ध्यान दें कि क्रॉल दर सीमा बढ़ाने से, साइट की क्रॉल दर अपने-आप नहीं बढ़ेगी.
क्रॉल करने की ज़रूरत
अगर इंडेक्स करने की ज़रूरत नहीं है, तो Googlebot की गतिविधि कम होगी. भले ही, क्रॉल करने की दर, तय की गई सीमा तक न पहुंची हो. क्रॉल करने की ज़रूरत तय करने वाली दो सबसे अहम बातें ये हैं:
- लोकप्रियता: ऐसे यूआरएल जो इंटरनेट पर ज़्यादा लोकप्रिय हैं उन्हें अक्सर क्रॉल किया जाता है, ताकि उनके नए वर्शन हमारे इंडेक्स में मौजूद रहें.
- पुराना होना: हमारे सिस्टम, इंडेक्स में यूआरएल को पुराना होने से रोकने की कोशिश करते हैं.
इसके अलावा, साइट को नए यूआरएल पर ले जाने जैसे मामलों में क्रॉल करने की ज़रूरत बढ़ सकती है, ताकि साइट के कॉन्टेंट को नए यूआरएल पर फिर से इंडेक्स किया जा सके.
हम क्रॉल दर और क्रॉल करने की ज़रूरत को एक साथ मिलाकर, क्रॉल बजट तय करते हैं. इससे पता चलता है कि Googlebot, कुल कितने यूआरएल क्रॉल कर सकता है और कितने करना चाहता है.
क्रॉल बजट पर असर डालने वाली वजहें
हमारे विश्लेषण के मुताबिक, साइट पर बड़ी संख्या में कम अहमियत वाले यूआरएल होने की वजह से, साइट के क्रॉल और इंडेक्स होने पर बुरा असर पड़ सकता है. हमें पता चला है कि साइट पर यूआरएल की अहमियत के हिसाब से, कम अहमियत वाले यूआरएल इन कैटगरी में आते हैं:
- वेबसाइट पर फ़िल्टर लगाकर खोजना और सेशन के आइडेंटिफ़ायर
- साइट पर मौजूद डुप्लीकेट कॉन्टेंट
- सॉफ़्ट गड़बड़ी वाले पेज
- हैक किए गए पेज
- पुराने कॉन्टेंट वाले कई सारे लिंक और प्रॉक्सी
- हल्की क्वालिटी और स्पैम वाला कॉन्टेंट
इस तरह के पेजों पर सर्वर के रिसॉर्स बर्बाद करने से, साइट पर असल में अहमियत रखने वाले पेजों को क्रॉल करने की गतिविधि कम हो जाएगी. इससे, साइट पर मौजूद बेहतरीन कॉन्टेंट को खोजने में ज़्यादा समय लग सकता है.
सबसे ज़्यादा पूछे जाने वाले सवाल
क्रॉल करने की प्रोसेस, Google के खोज नतीजों में साइटों के दिखने के लिए एक एंट्री पॉइंट है. किसी वेबसाइट को बेहतर तरीके से क्रॉल करने से, Google Search में उस साइट को इंडेक्स करने में मदद मिलती है.
क्या साइट की गति का असर मेरे क्रॉल बजट पर पड़ता है? इस पर गड़बड़ियों का क्या असर पड़ता है?
साइट की रफ़्तार को बेहतर बनाने से, क्रॉल दर बढ़ने के साथ-साथ उपयोगकर्ताओं का अनुभव भी बेहतर होता है. Googlebot के लिए, तेज़ी से लोड होने वाली साइट का मतलब है कि उसका सर्वर अच्छा है. इसलिए, वह कनेक्शन की संख्या सीमित होने पर भी ज़्यादा कॉन्टेंट क्रॉल कर सकता है. वहीं दूसरी ओर, ज़्यादा संख्या में 5xx गड़बड़ियां दिखने या कनेक्शन के टाइम आउट होने से पता चलता है कि सर्वर ठीक से काम नहीं कर रहा है. इससे, क्रॉल करने की प्रोसेस धीमी हो जाती है.
हमारा सुझाव है कि Search Console में मौजूद, क्रॉल करने पर मिली गड़बड़ियों से जुड़ी रिपोर्ट पर ध्यान दें. इससे, सर्वर की गड़बड़ियां कम करने में मदद मिलेगी.
क्या क्रॉल करने की प्रोसेस का असर मेरी साइट की रैंकिंग पर पड़ता है?
ज़रूरी नहीं है कि क्रॉल दर बढ़ने से, खोज के नतीजों में आपकी साइट की रैंक बेहतर हो जाएगी. Google, खोज के नतीजों की रैंक तय करने के लिए, सैकड़ों सिग्नल का इस्तेमाल करता है. क्रॉल करने की प्रोसेस, पेज को खोज के नतीजों में दिखाने के लिए ज़रूरी है, लेकिन यह कोई रैंकिंग सिग्नल नहीं है.
क्या वैकल्पिक यूआरएल और एम्बेड किए गए कॉन्टेंट को क्रॉल बजट में गिना जाता है?
आम तौर पर, Googlebot जिस यूआरएल को भी क्रॉल करता है उसे साइट के क्रॉल बजट में गिना जाता है. एएमपी या hreflang जैसे वैकल्पिक यूआरएल और सीएसएस, JavaScript, और AJAX (उदाहरण के लिए, XHR) कॉल जैसे एम्बेड किए गए कॉन्टेंट को क्रॉल करना पड़ सकता है. इसमें, साइट के क्रॉल बजट का इस्तेमाल किया जाएगा. इसी तरह, रीडायरेक्ट की लंबी चेन बनाने से, क्रॉल करने की प्रोसेस में परेशानी हो सकती है.
क्या crawl-delay नियम से Googlebot को कंट्रोल किया जा सकता है?
crawl-delay robots.txt के असामान्य नियम को Googlebot प्रोसेस नहीं करता.
क्या nofollow नियम से क्रॉल बजट पर असर पड़ता है?
यह कई बातों पर निर्भर करता है. क्रॉल किया जाने वाला हर यूआरएल, क्रॉल बजट पर असर डालता है. इसलिए, आपके पेज से किसी यूआरएल
को nofollow के तौर पर मार्क करने के बावजूद भी उसे क्रॉल किया जा सकता है. ऐसा तब होगा, जब आपकी साइट के किसी दूसरे पेज या वेब
पर मौजूद किसी पेज से उस लिंक को nofollow के तौर पर लेबल नहीं किया गया होगा.
मैंने robots.txt का इस्तेमाल करके, जिन यूआरएल को क्रॉल करने की अनुमति नहीं दी है, क्या वे मेरे क्रॉल बजट पर कोई असर डालते हैं?
नहीं, जिन यूआरएल को अनुमति नहीं दी जाती वे क्रॉल बजट पर असर नहीं डालते हैं.
साइट को क्रॉल करने की प्रोसेस ऑप्टिमाइज़ कैसे की जाए, इस बारे में जानकारी पाने के लिए, क्रॉल करने की प्रोसेस को ऑप्टिमाइज़ करने पर बनी हमारी ब्लॉग पोस्ट देखें. इसे 2009 में पब्लिश किया गया था और इसमें दी गई जानकारी आज भी लागू होती है. अगर आपका कोई सवाल है, तो फ़ोरम में पूछें!