Четверг, 17 сентября 2020 г.
С ноября 2020 года робот Googlebot начнет сканировать некоторые сайты по протоколу HTTP/2.
Как только в основных браузерах появилась поддержка очередной версии HTTP – HTTP/2 (или h2), – специалисты по веб-технологиям начали интересоваться, когда робот Googlebot сможет сканировать сайты по обновленному протоколу.
Сегодня мы рады сообщить вам, что с середины ноября 2020 г. Googlebot будет сканировать некоторые сайты по протоколу HTTP/2.
Что такое HTTP/2
Как уже было сказано, это вторая крупная версия HTTP – основного протокола, который используется в интернете для передачи данных. HTTP/2 значительно надежнее, эффективнее и быстрее своего предшественника благодаря обновленной архитектуре и функциям, обеспечивающим связь между серверами и клиентами (например, браузерами). Если вы хотите подробнее изучить эту тему, у нас есть большая статья, посвященная HTTP/2.
Что нам даст это нововведение
В целом мы рассчитываем, что это приведет к более рациональному использованию серверных ресурсов. Протокол h2 позволяет роботу Googlebot передавать сразу несколько файлов, установив всего одно TCP-соединение с сервером. Раньше для этого нужно было подключаться к серверу несколько раз. Чем меньше соединений установлено, тем меньше ресурсов сервера и робота Googlebot расходуется на сканирование.
Внедрение нового протокола
На первом этапе мы планируем использовать h2 для сканирования небольшого количества сайтов. Постепенно мы будем добавлять сайты, которым такие возможности нового протокола, как мультиплексирование нескольких запросов, уже могут принести ощутимую пользу.
Робот Googlebot будет сам определять, какой протокол применять при сканировании, в зависимости от того, поддерживает ли сайт HTTP/2 и позволит ли это повысить эффективность работы сервера сайта и робота Googlebot. Если ваш сервер поддерживает h2 и робот Googlebot уже сканирует значительную часть вашего сайта, возможно, дальнейшее сканирование будет осуществляться по протоколу HTTP/2. Вам ничего не нужно предпринимать.
Если же ваш сервер поддерживает только HTTP/1.1, ничего страшного. Использование этого протокола не является недостатком и не влияет на качество и объемы сканирования.
Как запретить использование h2
Предварительное тестирование не выявило никаких проблем и не ухудшило индексирование. Однако мы понимаем, что в силу различных причин вам может понадобиться запретить сканирование по протоколу HTTP/2. Для этого настройте сервер так, чтобы он отправлял код статуса HTTP 421 в ответ на попытки робота Googlebot сканировать ваш сайт по протоколу h2. Если в настоящий момент это не представляется возможным, в качестве временного решения проблемы отправьте сообщение команде Googlebot.
Если у вас возникли вопросы по использованию протокола HTTP/2 роботом Googlebot, поищите ответ в этом списке или напишите нам в Твиттере или на справочных форумах.
Ответы на возможные вопросы
Почему вы обновляете механизмы сканирования сейчас?
Программное обеспечение, которое позволяет роботу Googlebot сканировать сайты по протоколу h2, прошло все необходимые этапы тестирования и может использоваться в рабочей версии.
Нужно ли поскорее обновить сервер?
Это решать вам. Однако мы будем применять протокол h2 только там, где он поддерживается и может оказаться полезным. Если же его использование не даст никаких преимуществ, робот Googlebot продолжит сканирование по протоколу h1.
Как узнать, поддерживает ли мой сайт h2?
Подробную информацию об этом можно найти в блоге Cloudflare.
Как внедрить поддержку h2 на сайте?
Все зависит от вашего сервера. Проконсультируйтесь с администратором сервера или со своим хостинг-провайдером.
Могу ли я сделать так, чтобы робот Googlebot сканировал мой сайт по протоколу h2?
Нет. Если сайт поддерживает h2, мы можем сканировать его по этому протоколу, но при условии, что это несет определенные преимущества и для сайта, и для робота Googlebot (например, позволит заметно сэкономить ресурсы). В противном случае мы продолжим сканировать его по HTTP/1.1.
Почему вы не сканируете по протоколу h2 все сайты, поддерживающие его?
Мы пришли к выводу, что для некоторых сайтов это не дает особых преимуществ (например, если сайт не может обрабатывать большое количество запросов в секунду). Поэтому мы решили использовать протокол h2 только в тех случаях, когда это приносит пользу сайту. Мы продолжаем изучать, как протокол h2 влияет на эффективность, и впоследствии можем изменить критерии для его применения при сканировании.
Как узнать, по какому протоколу сканируется мой сайт?
Если вы зарегистрированы в Search Console и ваш сайт может сканироваться по протоколу h2, вы получите соответствующее уведомление в аккаунте этого сервиса. Также вы можете узнать это из журналов сервера (например, в файле access.log, если вы используете Apache).
Какие возможности h2 поддерживает робот Googlebot?
Робот Googlebot поддерживает большинство нововведений протокола h2. Изучение части функций, которые могут оптимизировать отрисовку (например, push-уведомлений от сервера), ещё продолжается.
Поддерживает ли робот Googlebot незащищенный протокол HTTP/2 (h2c)?
Нет. Робот Googlebot может применить HTTP/2 для сканирования вашего сайта, только если на нем используется HTTPS и поддерживается HTTP/2. По этому же принципу обращаются к сайтам и современные браузеры.
Будет ли робот Googlebot использовать расширение ALPN для выбора протокола при сканировании?
ALPN (application-layer protocol negotiation – согласование протоколов уровня приложений) будет использоваться только для сайтов, сканируемых по протоколу h2. При этом для ответов сервера также будет использоваться только этот протокол. Если в ответе сервера при подключении TLS будет использован другой протокол, сканирование приостановится и в следующий раз будет выполняться по протоколу HTTP/1.1.
Как новые возможности h2 помогают при сканировании?
Вот некоторые наиболее важные преимущества нового протокола:
- Мультиплексирование множества запросов в одном соединении TCP позволяет экономить ресурсы.
- Сжатие данных в заголовках HTTP позволяет значительно уменьшить их размер, что также дает экономию ресурсов.
- Использование push-технологий на стороне сервера мы пока не внедрили и пока только анализируем это решение. Она может оптимизировать отрисовку, но на данный момент у нас нет никаких конкретных данных.
Если вы хотите больше узнать о конкретных нововведениях протокола h2 и о том, как они влияют на сканирование, задавайте нам вопросы в Твиттере.
Будет ли робот Googlebot сканировать больше или чаще после внедрения h2?
Основное преимущество протокола h2 заключается в экономии ресурсов – как для сканируемого сайта, так и для робота Googlebot. Выбор протокола не влияет ни на индексирование сайта, ни на объемы его сканирования.
Если сайт сканируется по протоколу h2, дает ли это какие-то преимущества в ранжировании?
Нет.