Как снизить частоту сканирования сайта роботами Google

Инфраструктура сканирования Google использует сложные алгоритмы, позволяющие определить оптимальную частоту сканирования того или иного сайта. Мы стремимся к тому, чтобы наша система обрабатывала как можно больше страниц на вашем сайте за один сеанс, не оказывая излишней нагрузки на сервер. В некоторых случаях сканирование вашего сайта роботами Google может привести к чрезмерной нагрузке на вашу инфраструктуру или непредвиденным расходам, связанным с перебоями в работе ресурса. Если вы столкнулись с подобными проблемами, попробуйте сократить количество запросов, выполняемых поисковыми роботами Google.

Почему частота сканирования может резко увеличиться

Резкое увеличение частоты сканирования может быть обусловлено проблемами с сайтом, например непродуманной его структурой. Ниже перечислены некоторые из подобных проблем, о которых нам удалось узнать.

• Неэффективная конфигурация URL на сайте, обычно обусловленная его функционалом. Вот ее примеры:
  • фасетная навигация или иные функции сортировки и фильтрации на ресурсе;
  • календарь, содержащий множество URL для тех или иных дат;
• цели динамических поисковых объявлений.

Мы настоятельно рекомендуем вам обратиться в вашу хостинговую компанию и изучить журналы доступа к серверу, чтобы проанализировать источники трафика и узнать, какие из них могли быть причиной резкого увеличения частоты сканирования. После этого изучите наши руководства по оптимизации эффективности сканирования и управлению сканированием URL фасетной навигации.

Как срочно сократить трафик от поисковых роботов (для экстренных случаев)

Внимание! Если снизить частоту сканирования роботами Google, это будет иметь ряд последствий. В частности, робот Googlebot будет обнаруживать меньше новых страниц для Google Поиска, существующие страницы станут обновляться реже (например, цены и данные о наличии товара могут отображаться в результатах поиска Google с запозданием), а удаленные страницы будут дольше оставаться в индексе. Ваши кампании Google Рекламы могут быть отменены или приостановлены, а объявления перестанут показываться.

Если вам нужно срочно снизить частоту сканирования на небольшой период времени (например, на несколько часов или дней), передавайте в ответ на запросы сканирования код статуса HTTP-ответа 500, 503 или 429, а не 200. Если на сайте много URL, которые возвращают коды статуса HTTP-ответа 500, 503 или 429 (такое может произойти, если вы полностью отключили сайт), инфраструктура сканирования Google будет обрабатывать ваш ресурс реже. Уменьшенная частота сканирования будет действовать для всего имени хоста вашего сайта, например subdomain.example.com, и повлияет на сканирование URL, которые возвращают как коды ошибок, так и контент. Если количество этих ошибок сократится, частота сканирования автоматически начнет увеличиваться.

Внимание! Мы не рекомендуем применять этот вариант дольше двух дней, поскольку при этом могут возникнуть проблемы с показом контента вашего сайта в продуктах Google. Например, если при сборе данных для Google Поиска один и тот же URL возвращает эти коды статуса в течение нескольких дней, то он может быть удален из индекса Google.

Запросы на снижение частоты сканирования (в исключительных случаях)

Если ваша инфраструктура не позволяет возвращать коды ошибок поисковым роботам Google, отправьте нам специальный запрос, чтобы сообщить о проблемах с чрезмерной частотой сканирования и указать ее оптимальное значение для вашего сайта. Обратите внимание, что на обработку и выполнение такого запроса может потребоваться несколько дней, и при этом запросить увеличение частоты сканирования невозможно.