Изучив, как агенты пользователя Google взаимодействуют с вашим сайтом, вы сможете сделать так, чтобы самые важные страницы появлялись в большем количестве сервисов Google, не перегружая при этом свои серверы. Владельцы и разработчики сайтов могут использовать эту документацию, чтобы лучше контролировать сканирование своих сайтов.
Подробнее
Вы можете проверить, действительно ли доступ к вашему сайту получает робот Googlebot, другой поисковый робот или загрузчик Google.
Начать
Поисковые роботы Google автоматически адаптируются к вашему сайту и серверу, чтобы эффективно находить и показывать лучший и самый свежий контент. Чтобы помочь вам справиться с экстренными ситуациями, связанными с сервером и сканированием, вы можете снизить частоту сканирования.
Начать
С помощью файла robots.txt можно разрешить или запретить сканирование отдельных страниц или всего сайта.
Начать

Как настройки сканирования влияют на то, где ваш сайт показывается в Google

Инфраструктура сканирования Google используется в разных продуктах Google. Это значит, что, следуя рекомендациям, вы помогаете Google эффективнее находить ваш веб-контент и показывать его в Google.
Googlebot сканирует ваш сайт, чтобы найти контент, который может быть интересен пользователям.
Google-Extended используется приложениями Gemini и Vertex AI API для Gemini. Подробнее о Google-Extended…
Настройки сканирования, адресованные агенту пользователя Storebot-Google, влияют на все платформы Google Покупок.
Робот AdSense сканирует сайты, участвующие в программе, с целью размещения на них подходящих объявлений.
Настройки сканирования, адресованные агенту пользователя Googlebot-News, влияют на Google Новости, в том числе на сайт news.google.com и приложение "Google Новости".
Загрузчик Google-NotebookLM запрашивает отдельные URL, указанные пользователями NotebookLM в качестве источников для своих проектов.