Blokowanie indeksowania przez wyszukiwarki za pomocą tagu noindex
noindex to reguła ustawiona za pomocą tagu <meta> lub nagłówka odpowiedzi HTTP, która służy do zapobiegania indeksowaniu treści przez wyszukiwarki, które obsługują regułę noindex (np. Google). Kiedy podczas indeksowania Googlebot wyodrębni ten tag lub nagłówek, całkowicie wyeliminuje stronę z wyników wyszukiwania Google niezależnie od tego, czy w innych witrynach znajdują się prowadzące do niej linki.
Dyrektywa noindex pozwala kontrolować dostęp do poszczególnych stron witryny i przydaje się, gdy nie masz dostępu do katalogu głównego serwera.
Stosowanie dyrektywy noindex
Są 2 sposoby stosowania dyrektywy noindex: w postaci tagu <meta> oraz jako nagłówka odpowiedzi HTTP. Dają one taki sam efekt, więc wybierz metodę, którą łatwiej zastosować w Twojej witrynie i która lepiej pasuje do Twojego typu treści. Określenie reguły noindex w pliku robots.txt nie jest obsługiwane przez Google.
Możesz też połączyć regułę noindex z innymi regułami kontrolującymi indeksowanie. Możesz na przykład połączyć podpowiedź nofollow z regułą noindex: <meta name="robots" content="noindex, nofollow" />.
Tag <meta>
Aby zapobiec indeksowaniu pewnej strony z Twojej witryny przez wszystkie wyszukiwarki, które obsługują regułę noindex, umieść w sekcji <head> danej strony ten tag <meta>:
<meta name="robots" content="noindex">
Aby zapobiec indeksowaniu strony tylko przez roboty Google:
<meta name="googlebot" content="noindex">
Pamiętaj, że niektóre wyszukiwarki mogą interpretować regułę noindex inaczej. W efekcie w innych wyszukiwarkach strona może wciąż pojawiać się w wynikach wyszukiwania.
Więcej informacji o tagu noindex <meta>
Nagłówek odpowiedzi HTTP
Zamiast tagu <meta> możesz w odpowiedzi zwrócić nagłówek HTTP X-Robots-Tag z wartością noindex lub none.
Nagłówka odpowiedzi możesz użyć w przypadku zasobów w formacie innym niż HTML, takich jak pliki PDF, pliki wideo lub pliki graficzne. Przykładowa odpowiedź HTTP z nagłówkiem X-Robots-Tag informującym wyszukiwarki, że mają nie indeksować strony, wygląda tak:
HTTP/1.1 200 OK (...) X-Robots-Tag: noindex (...)
Więcej informacji o nagłówku odpowiedzi z dyrektywą noindex
Debugowanie problemów noindex
Aby zobaczyć tagi <meta> i nagłówki HTTP, musimy najpierw zindeksować Twoją stronę. Jeśli strona nadal pojawia się w wynikach wyszukiwania, dzieje się tak prawdopodobnie dlatego, że nie zindeksowaliśmy jej od czasu dodania reguły noindex. W zależności od znaczenia strony w internecie może minąć kilka miesięcy, zanim Googlebot ponownie ją odwiedzi. Możesz poprosić Google o ponowne zindeksowanie strony za pomocą narzędzia do sprawdzania adresów URL.
Jeśli musisz szybko usunąć stronę witryny z wyników wyszukiwania Google, przeczytaj dokumentację dotyczącą usuwania treści.
Powodem może też być to, że plik robots.txt blokuje robotom indeksującym Google dostęp do danego adresu URL, co uniemożliwia im znalezienie tagu. Aby odblokować Google dostęp do strony, musisz wprowadzić zmiany w pliku robots.txt.
Na koniec upewnij się, że reguła noindex jest widoczna dla Googlebota. Aby sprawdzić, czy implementacja noindex jest prawidłowa, użyj narzędzia do sprawdzania adresów URL. Pozwoli to zobaczyć kod HTML, który Googlebot zeskanował w trakcie indeksowania strony.
Możesz też skorzystać z raportu Indeksowanie stron w Search Console, aby monitorować strony w witrynie, z których Googlebot wyodrębnił regułę noindex.