Как выбирать, какой контент с вашего сайта будет доступен Google

Вы можете управлять тем, какие данные с вашего сайта мы будем обрабатывать и представлять в результатах поиска. Есть несколько причин скрывать от Google представленный на сайте контент.

  • Конфиденциальность. Возможно, на вашем сайте размещены данные, которые нужно сохранить в тайне. Вы можете запретить Google сканировать их, чтобы они не появлялись в результатах поиска.
  • Низкая ценность определенного контента для пользователей.

    Если в разных разделах вашего сайта опубликованы одинаковые материалы, это может отрицательно повлиять на рейтинг ваших страниц в Google Поиске. Например, контент может дублироваться из-за того, что для упрощения навигации по вашему сайту вы используете функцию поиска по нему. Некоторые методы реализации функции поиска создают и показывают новую страницу результатов по каждому запросу. Google может по отдельности просканировать все страницы с результатами поиска, если доступ к ним не заблокирован. Как следствие, обнаружив сайт с большим количеством похожих страниц, наши алгоритмы зачастую интерпретируют повторяющийся контент как спам, и из-за этого позиции ваших веб-страниц в результатах поиска Google могут ухудшиться.

    Если на вашем сайте публикуется контент из сторонних источников, который есть и на других интернет-ресурсах, то страницы с большим количеством таких материалов Google Поиск будет расценивать как менее важные. Чтобы в подобной ситуации повысить позиции своих страниц в результатах поиска, вы можете заблокировать доступ к скопированному контенту.

  • Необходимость сосредоточить внимание на самом важном контенте. Если у вас очень крупный сайт с тысячами URL, на ваших страницах может быть много второстепенного или повторяющегося контента. Советуем заблокировать подобные страницы для роботов Google: это позволит вам привлечь внимание пользователей к тем материалам, которые по-настоящему важны.

Как блокировать доступ к контенту

Ниже перечислены основные способы, позволяющие предотвратить появление материалов в результатах поиска Google.

Методы

Удаление контента

Для всех типов контента

Самый надежный способ – удалить информацию с сайта. Тогда она не появится ни в наших результатах поиска, ни где-либо ещё. Если же она уже есть в Google, то для ее полного удаления вам, вероятно, понадобится выполнить дополнительные действия.

Защита файлов паролем

Для всех типов контента

Если у вас есть конфиденциальные или личные данные, которые нужно скрыть от поисковой системы Google, то самый простой и эффективный способ сделать это – поместить их в защищенный паролем каталог сервера. Робот Googlebot и другие системы сканирования не смогут получить к нему доступ.

Для опытных пользователей. Если вы используете веб-сервер Apache, то сможете защитить каталог на сервере паролем, изменив файл .htaccess. В интернете доступно много инструментов, позволяющих решить эту задачу.

Указание правил в файле robots.txt и/или срочный запрос на удаление

Для изображений

Запретите сканирование изображений в файле robots.txt.

Директива noindex

Для веб-страниц

Директива noindex запрещает Google сканировать и показывать в результатах поиска определенный URL. Страницу по-прежнему можно будет открыть по ссылкам или напрямую, но в Google Поиске она перестанет появляться. Этот способ требует высокой компетенции в сфере информационных технологий и может быть недоступен вам, если вы используете систему управления контентом для публикации веб-страниц.

Запрет на показ контента в некоторых сервисах Google

Для веб-страниц

Вы можете запретить демонстрацию материалов со своего сайта в отдельных, а не во всех сервисах Google.

Метатег nosnippet

Для описания в результатах поиска

Добавьте тег <meta name="robots" content="nosnippet" /> в раздел head HTML-кода страницы, чтобы ее описание не показывалось в Google. Но в этом случае в результатах поиска может появляться сообщение, что описание отсутствует ("Нет информации об этой странице").

Инструмент "Параметры URL"

Для веб-страниц, разделов сайтов, шаблонов URL

Запретить сканирование URL с определенными параметрами можно при помощи инструмента "Параметры URL". Применять этот метод рекомендуется лишь опытным пользователям: если допустить ошибки, могут быть заблокированы крупные области пространства URL вашего сайта, а для устранения неполадок потребуется немало усилий

Как удалить из Google имеющийся контент

Сведения о том, как удалить информацию из Google, можно найти на сайте Google Developers.