Google के यूज़र एजेंट आपकी वेबसाइट से किस तरह इंटरैक्ट करते हैं, यह जानने से आपको अपने सबसे ज़रूरी पेजों को Google के अलग-अलग प्लैटफ़ॉर्म पर ज़्यादा जगहों पर दिखाने में मदद मिल सकती है. इससे आपके सर्वर पर ज़्यादा लोड भी नहीं पड़ेगा. चाहे आप साइट के मालिक हों या डेवलपर, इस दस्तावेज़ से आपको यह बेहतर तरीके से कंट्रोल करने में मदद मिलती है कि आपकी साइट को कैसे क्रॉल किया जाता है.
ज़्यादा जानें
इस बात की पुष्टि की जा सकती है कि आपके सर्वर को ऐक्सेस करने वाला वेब क्रॉलर या फ़ेचर, वाकई Google का है या नहीं. जैसे, Googlebot.
शुरू करना
Google के क्रॉलर, आपकी वेबसाइट और सर्वर के हिसाब से अपने-आप अडजस्ट हो जाते हैं. इससे वे आपके सबसे अच्छे और नए कॉन्टेंट को आसानी से ढूंढकर दिखा पाते हैं. सर्वर और क्रॉलिंग से जुड़ी ज़रूरी स्थितियों को मैनेज करने के लिए, आपके पास ज़रूरत पड़ने पर क्रॉल दर को कम करने का विकल्प होता है.
शुरू करना
robots.txt फ़ाइल का इस्तेमाल करके, अलग-अलग पेजों या पूरी वेबसाइट को क्रॉल करने की अनुमति दी जा सकती है या इसे रोका जा सकता है.
शुरू करना

क्रॉलिंग की प्राथमिकताओं से, Google पर आपकी साइट के दिखने की जगह पर क्या असर पड़ता है

Google के अलग-अलग प्रॉडक्ट के लिए, क्रॉलिंग इंफ़्रास्ट्रक्चर को शेयर किया जाता है. इसका मतलब है कि सबसे सही तरीकों का इस्तेमाल करने से, आपके वेब कॉन्टेंट को ज़्यादा असरदार तरीके से खोजा जा सकता है और Google पर दिखाया जा सकता है.
Google Search, Googlebot का इस्तेमाल करके आपकी साइट को क्रॉल करता है. इससे वह उपयोगकर्ताओं के लिए काम का कॉन्टेंट ढूंढ पाता है.
Google-Extended का इस्तेमाल, Gemini ऐप्लिकेशन और Gemini के लिए Vertex AI API करते हैं. Google-Extended के बारे में ज़्यादा जानें.
Storebot-Google उपयोगकर्ता एजेंट के लिए तय की गई क्रॉल करने की सेटिंग का असर, Google Shopping के सभी प्लैटफ़ॉर्म पर पड़ता है.
AdSense क्रॉलर, हिस्सा लेने वाली साइटों पर जाकर, उन पर काम के विज्ञापन दिखाता है.
Googlebot-News उपयोगकर्ता एजेंट के लिए तय की गई क्रॉल करने की सेटिंग का असर, Google News प्रॉडक्ट पर पड़ता है. इनमें news.google.com और Google News ऐप्लिकेशन शामिल हैं.
Google-NotebookLM फ़ेचर, उन अलग-अलग यूआरएल का अनुरोध करता है जिन्हें NotebookLM के उपयोगकर्ताओं ने अपने प्रोजेक्ट के सोर्स के तौर पर उपलब्ध कराया है.