Блокировка индексирования при помощи директивы noindex
noindex – это правило, которое задается с помощью тега <meta> или заголовка HTTP-ответа и запрещает индексирование контента поисковыми системами, поддерживающими noindex, например Google. Обнаружив такой тег или заголовок во время сканирования страницы, робот Googlebot проигнорирует ее, даже если на нее ссылаются другие сайты.
Директива noindex позволяет управлять доступом к отдельным страницам сайта. Это может быть полезно, если у вас нет доступа к корневому каталогу на сервере.
Как внедрять правило noindex
Внедрить правило noindex можно двумя способами: как тег <meta> или как заголовок HTTP-ответа. Они работают одинаково, поэтому выбор подходящего способа будет зависеть от вашего сайта и типа контента, расположенного на нем. Google не поддерживает указание правила noindex в файле robots.txt.
noindex можно объединять с другими правилами, которые управляют индексированием. Например, можно объединить атрибут nofollow и правило noindex: <meta name="robots" content="noindex, nofollow" />.
Тег <meta>
Чтобы ни одна поисковая система, поддерживающая правило noindex, не могла проиндексировать страницу вашего сайта, поместите следующий тег <meta> в раздел <head>:
<meta name="robots" content="noindex">
Если вы хотите закрыть доступ к странице только роботам Google, используйте следующий код:
<meta name="googlebot" content="noindex">
Учитывайте, что некоторые поисковые системы могут по-другому интерпретировать правило noindex и показывать в результатах поиска страницу, на которой оно используется.
Подробнее о теге <meta> с атрибутом noindex…
Заголовок HTTP-ответа
Вместо тега <meta> можно возвращать HTTP-заголовок X-Robots-Tag со значением noindex или none в ответе.
Вы можете использовать этот способ для файлов, формат которых отличается от HTML, например PDF, видео и изображений. Ниже приведен пример HTTP-ответа с заголовком X-Robots-Tag, запрещающим поисковым системам индексировать страницу:
HTTP/1.1 200 OK (...) X-Robots-Tag: noindex (...)
Подробнее о заголовках ответов с директивой noindex…
Устранение проблем с правилом noindex
Чтобы обнаружить теги <meta> и HTTP-заголовки, мы должны просканировать вашу страницу. Если страница продолжает появляться в результатах поиска, вероятно, мы ещё не обработали ее после добавления правила noindex. Робот Googlebot может повторно посетить страницу только спустя несколько месяцев. Воспользуйтесь инструментом проверки URL, чтобы запросить повторное сканирование страницы роботом Google.
Если вам нужно быстро убрать страницу сайта из результатов поиска Google, ознакомьтесь с документацией по удалению.
Другая возможная причина: файл robots.txt запрещает роботу Googlebot доступ к URL и не дает ему обнаружить метатег. Чтобы предоставить роботам Google доступ к вашей странице, вам необходимо изменить файл robots.txt.
Наконец, убедитесь, что правило noindex доступно роботу Googlebot. Проверьте, корректно ли внедрено правило noindex: воспользуйтесь инструментом проверки URL, чтобы увидеть HTML, который робот Googlebot получил при сканировании страницы.
Вы можете также использовать отчет об индексировании страниц в Search Console, чтобы отслеживать страницы сайта, из которых робот Googlebot извлек правило noindex.