Пятница, 24 ноября 2023 г.
8 января 2024 года в Search Console перестанет работать инструмент, ограничивающий частоту сканирования. Он был доступен более десяти лет, но утратил актуальность после того, как мы улучшили принципы сканирования и инструменты для издателей.
Робот Googlebot реагирует на то, как тот или иной сайт (точнее, сервер, на котором размещен этот сайт) отвечает на HTTP-запросы от него. Например, если для разных URL от сервера постоянно поступает код статуса HTTP 500, робот Googlebot будет автоматически и почти мгновенно замедлять сканирование подобных ресурсов. Аналогичным образом сканирование будет замедлено, если значительно увеличится время ответа на те или иные запросы. Если из-за частого сканирования ваш сайт не выдерживает нагрузки, ознакомьтесь с этой справочной статьей.
Инструмент ограничения частоты запросов действовал медленнее, чем алгоритм робота. В некоторых случаях новые ограничения, связанные с частотой сканирования, начинали действовать спустя более чем сутки. К счастью, владельцам сайтов редко приходилось пользоваться этим инструментом. А когда такая потребность возникала, им было достаточно установить минимально возможную скорость сканирования. После того как инструмент ограничения частоты сканирования будет удален, мы уменьшим минимальную скорость сканирования до величины, сопоставимой с прежними ограничениями частоты сканирования. Таким образом, параметры, заданные прежде для сайтов с невысоким уровнем интереса, будут по-прежнему действовать и наши поисковые роботы не будут расходовать пропускную способность подобных ресурсов.
В связи с развитием автоматического регулирования частоты сканирования и нашим стремлением к простоте мы приняли решение прекратить поддержку инструмента ограничения частоты сканирования в Search Console. Если вы заметите необычные действия робота Googlebot или если возникнет экстренная ситуация, вы можете сообщить нам об этом с помощью специальной формы. Однако учтите, что вы можете быстрее уменьшить частоту сканирования, если отправите роботу Googlebot инструкции, используя ответы сервера. Подробную информацию об этом можно найти в нашей документации.
Задать нам вопросы вы можете на справочных форумах Центра Google Поиска.