यूआरएल हटाने के बारे में जानकारी, पहला भाग: यूआरएल और डायरेक्ट्री

मंगलवार, 30 मार्च, 2010

इन दिनों इंटरनेट पर बहुत ज़्यादा कॉन्टेंट है. कभी-कभी, आपको ऐसा कॉन्टेंट भी मिल सकता है जो इंटरनेट पर नहीं होना चाहिए था. जैसे, भड़काने वाली ब्लॉग पोस्ट जो आपको पब्लिश नहीं करनी चाहिए थी या गोपनीय डेटा जो गलती से सार्वजनिक हो गया हो. ज़्यादातर मामलों में, इस तरह के कॉन्टेंट को मिटाने या इसके ऐक्सेस पर प्रतिबंध लगाने से, कुछ समय बाद इसे खोज के नतीजों से अपने-आप हटा दिया जाता है. हालांकि, यह मुमकिन है कि आपको Google की ओर से इंडेक्स किए गए अनचाहे कॉन्टेंट को तुरंत हटाना हो और कॉन्टेंट के अपने-आप हटने का इंतज़ार न करना हो. ऐसे में, खोज के नतीजों से कॉन्टेंट को जल्दी हटाने के लिए, यूआरएल हटाने वाले टूल का इस्तेमाल किया जा सकता है. ऐसा सिर्फ़ तब किया जा सकता है, जब वह कुछ शर्तों को पूरा करता हो. इस बारे में हम नीचे बताएंगे.

हमारे पास आपके लिए कई ब्लॉग पोस्ट हैं, जिनमें कई तरह का कॉन्टेंट हटाने और आम गलतियों से बचने का तरीका बताया गया है. इस पहली पोस्ट में, मैं कुछ बुनियादी बातों के बारे में बताऊंगी: किसी एक यूआरएल को हटाना, पूरी डायरेक्ट्री या साइट को हटाना, और हटाए गए कॉन्टेंट को फिर से शामिल करना. मेरा सुझाव है कि आप अपने बारे में इंटरनेट पर उपलब्ध जानकारी मैनेज करने के बारे में हमारी पिछली पोस्ट भी पढ़ें.

किसी एक यूआरएल को हटाना

आम तौर पर, आपके यूआरएल हटाने के अनुरोधों को मंज़ूरी मिलने के लिए, यूआरएल का मालिकाना हक रखने वाले को सहमति देनी होगी कि उस कॉन्टेंट को हटाया जा सकता है. भले ही, यूआरएल का मालिकाना हक आपके पास हो या किसी और के पास. किसी एक यूआरएल के लिए, इन तीन तरीकों से सहमति दी जा सकती है:

  • robots.txt फ़ाइल का इस्तेमाल करके, पेज को क्रॉल करने से रोकना
  • noindex meta टैग का इस्तेमाल करके, पेज को इंडेक्स होने से रोकना
  • पेज के लिए 404 या 410 स्टेटस कोड दिखाकर यह बताना कि पेज अब मौजूद नहीं है

यूआरएल हटाने का अनुरोध सबमिट करने से पहले, इस बात की जांच कर लें कि यूआरएल को सही तरीके से ब्लॉक किया गया है या नहीं:

  • robots.txt: वेबमास्टर टूल की Googlebot के तौर पर फ़ेच करें या robots.txt की जांच करें सुविधाओं का इस्तेमाल करके, यह पता लगाया जा सकता है कि यूआरएल की अनुमति को सही तरीके से हटाया गया है या नहीं.
  • noindex meta टैग: 'Googlebot के तौर पर फ़ेच करें' का इस्तेमाल करके, यह पक्का किया जा सकता है कि meta टैग, <head> और </head> टैग के बीच में दिखें. अगर आपको ऐसे पेज की जांच करनी है जिसकी पुष्टि वेबमास्टर टूल में नहीं की जा सकती, तो ब्राउज़र में यूआरएल खोलें. इसके बाद, व्यू > पेज सोर्स पर जाएं और पक्का करें कि आपको <head> और </head> टैग के बीच meta टैग दिखता हो.
  • 404 और 410 स्टेटस कोड: आपके पास 'Googlebot के तौर पर फ़ेच करें' का इस्तेमाल करने का विकल्प है. इसके अलावा, लाइव एचटीटीपी हेडर या web-sniffer.net जैसे टूल की मदद से, यह पुष्टि की जा सकती है कि यूआरएल सही कोड दिखा रहा है या नहीं. कभी-कभी "मिटाए गए" पेजों पर "404" या "नहीं मिला" जैसा मैसेज दिख सकता है, लेकिन असल में पेज के हेडर में 200 स्टेटस कोड दिखता है. इसलिए, हेडर की जांच करने वाले सही टूल का इस्तेमाल करके, दोबारा जांच करना बेहतर होता है.

अगर अनचाहा कॉन्टेंट किसी पेज से हटाया गया है, लेकिन ऊपर बताए गए किसी भी तरीके की मदद से पेज को ब्लॉक नहीं किया गया है, तो हमारे खोज के नतीजों से उस यूआरएल को पूरी तरह से नहीं हटाया जा पाएगा. ऐसा आम तौर पर तब होता है, जब कॉन्टेंट होस्ट करने वाली वेबसाइट का मालिकाना हक आपके पास नहीं होता. हमारी अगली पोस्ट, यूआरएल हटाने वाली सीरीज़ के दूसरे भाग में हम बताएंगे कि ऐसी स्थिति में क्या करना चाहिए.

अगर कोई यूआरएल ऊपर दी गई शर्तों में से किसी एक को पूरा करता है, तो यूआरएल हटाने वाले टूल पर जाकर उसे हटाया जा सकता है. इसके लिए, टूल में वह यूआरएल डालें जिसे आपको हटाना है और "वेबमास्टर ने पहले ही पेज को ब्लॉक किया" विकल्प को चुनें. ध्यान दें कि Google Search का वह यूआरएल नहीं डालना है जहां कॉन्टेंट दिख रहा है. इसके बजाय, आपको वह यूआरएल डालना चाहिए जहां कॉन्टेंट को होस्ट किया गया था. उदाहरण के लिए, https://www.google.com/search?q=embarrassing+stuff नहीं, बल्कि https://www.example.com/embarrassing-stuff.html डालें.

यह पक्का करने के लिए कि आपने सही यूआरएल डाला है, इसकी ज़्यादा जानकारी हमारे सहायता केंद्र के लेख में दी गई है. याद रखें कि अगर हमें उस यूआरएल की जानकारी नहीं मिलती जिससे आपको परेशानी हो रही है, तो हम आपके बताए गए कॉन्टेंट को नहीं हटा पाएंगे.

पूरी डायरेक्ट्री या साइट को हटाना

किसी डायरेक्ट्री या पूरी साइट को हटाने के लिए, यह ज़रूरी है कि साइट की robots.txt फ़ाइल में डायरेक्ट्री या साइट की अनुमति को हटाया गया हो. उदाहरण के लिए, https://www.example.com/secret/ डायरेक्ट्री को हटाने के लिए, robots.txt फ़ाइल में ये चीज़ें शामिल होनी चाहिए: 

User-agent: *
Disallow: /secret/

डायरेक्ट्री के रूट के लिए, 404 स्टेटस कोड दिखाना काफ़ी नहीं है. ऐसा इसलिए है, क्योंकि 404 दिखाने पर भी, डायरेक्ट्री फ़ाइलें दिखा सकती है. किसी डायरेक्ट्री या पूरी साइट को ब्लॉक करने के लिए, robots.txt का इस्तेमाल करने से यह पक्का हो जाता है कि उस डायरेक्ट्री या साइट के सभी यूआरएल को भी ब्लॉक किया गया है. वेबमास्टर टूल की Googlebot के तौर पर फ़ेच करें या robots.txt की जांच करें सुविधाओं का इस्तेमाल करके, यह पता किया जा सकता है कि किसी डायरेक्ट्री को सही तरीके से ब्लॉक किया गया है या नहीं.

साइट के लिए, जिन लोगों के मालिकाना हक की पुष्टि हो चुकी है सिर्फ़ वे, वेबमास्टर टूल में पूरी साइट या डायरेक्ट्री को हटाने का अनुरोध कर सकते हैं. किसी डायरेक्ट्री या साइट को हटाने का अनुरोध करने के लिए, उस साइट पर क्लिक करें. इसके बाद, साइट कॉन्फ़िगरेशन > क्रॉलर ऐक्सेस > यूआरएल हटाएं पर जाएं. अगर आपने अपनी साइट का रूट, उस यूआरएल के तौर पर डाला है जिसे आपको हटाना है, तो आपसे यह पुष्टि करने के लिए कहा जाएगा कि क्या आपको पूरी साइट हटानी है. अगर आपने कोई सबडायरेक्ट्री डाली है, तो ड्रॉप-डाउन मेन्यू से "डायरेक्ट्री हटाएं" का विकल्प चुनें.

कॉन्टेंट को फिर से शामिल करना

अपने मालिकाना हक वाली किसी भी साइट को हटाने के अनुरोध, किसी भी समय रद्द किए जा सकते हैं. इनमें वे अनुरोध भी शामिल हैं जिन्हें दूसरे लोगों ने सबमिट किया है. ऐसा करने के लिए, यह ज़रूरी है कि आप वेबमास्टर टूल में इस साइट के पुष्टि किए गए मालिक हों. मालिकाना हक की पुष्टि करने के बाद, साइट कॉन्फ़िगरेशन > क्रॉलर ऐक्सेस > यूआरएल हटाएं > हटाए गए यूआरएल (या > दूसरों का बनाया हुआ) पर जाएं. इसके बाद, ऐसे किसी भी अनुरोध के आगे "रद्द करें" पर क्लिक करें जिसे आपको रद्द करना है.

क्या अब भी आपके कुछ सवाल हैं? Google के खोज के नतीजों से कॉन्टेंट हटाने के बारे में जानने के लिए, हमारी बाकी की सीरीज़ से जुड़े रहें. अगर आपको इंतज़ार नहीं करना है, तो यूआरएल हटाने और अलग-अलग मामलों से जुड़ी समस्याओं को हल करने के बारे में हमारे सहायता फ़ोरम पर पहले ही बहुत कुछ बताया जा चुका है. अगर दूसरे लोगों के अनुभवों को पढ़ने के बाद भी आपको कोई सवाल पूछना है, तो आपको ऐसा करना चाहिए. ध्यान रखें कि ज़्यादातर मामलों में, यूआरएल या साइट के बारे में जाने बिना, किसी कॉन्टेंट को हटाने के बारे में सही सलाह देना मुश्किल होता है. हमारा सुझाव है कि अपना यूआरएल शेयर करने के लिए, यूआरएल को छोटा करने की सेवा का इस्तेमाल करें, ताकि जिस यूआरएल को लेकर आपको परेशानी है उसे आपकी पोस्ट के हिस्से के तौर पर इंडेक्स न किया जाए. यूआरएल छोटा करने वाली कुछ सेवाएं, आपकी समस्या ठीक होने के बाद शॉर्टकट को बंद करने की अनुमति देंगी.

आखिर में, हो सकता है कि आप अपने बारे में ऑनलाइन उपलब्ध जानकारी को मैनेज करने के बारे में पढ़ना चाहें.

इसे वेबमास्टर ट्रेंड ऐनलिस्ट, सूज़न मॉस्क्वा ने पोस्ट किया है