Среда, 2 октября 2019 г.
Как мы уже сообщали на конференции Google I/O в этом году, робот Googlebot теперь применяет для обработки веб-страниц браузер на основе Chrome. В связи с этим в декабре 2019 г. агент пользователя будет обновлен. Впоследствии мы продолжим периодически обновлять номера версий с учетом изменений в Chrome.
Дополнительную информацию о строках агента пользователя и о том, как Google обрабатывает веб-страницы, вы можете найти в статьях о поисковых роботах Google (агентах пользователя) и устранении неполадок при индексации JavaScript.
Актуальные агенты пользователя робота Googlebot
Мобильный агент пользователя
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)
Агент пользователя для обычных веб-страниц
Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)
ИЛИ
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +https://www.google.com/bot.html) Safari/537.36
Новый принцип работы Googlebot и агента пользователя
С декабря мы начнем периодически обновлять приведенные выше строки пользовательских агентов, чтобы они отражали версию Chrome, используемую роботом Googlebot. В строках ниже вместо W.X.Y.Z будет указываться актуальная версия Chrome, например вместо W.X.Y.Z вы увидите такой номер: 76.0.3809.100. Номер версии будет регулярно обновляться.
Мобильный агент пользователя
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)
Агент пользователя для обычных веб-страниц
Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)
ИЛИ
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +https://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Как протестировать сайт
Проведенные нами исследования говорят о том, что это изменение не повлияет на большинство сайтов.
Если веб-мастер в соответствии с нашими рекомендациями настроил проверку поддержки функций и использует прогрессивное улучшение, его сайт будет обрабатываться так же, как раньше.
Если же на сайте реализовано определение агента пользователя, это может вызвать проблемы. Мы настоятельно рекомендуем отказаться от этого метода и использовать проверку поддержки функций. Если же вы не можете этого сделать, ограничьтесь поиском слова Googlebot в описании агента пользователя.
В ходе проверки мы обнаружили некоторые распространенные проблемы, связанные с нововведением:
- Вместо контента страница выдает сообщение об ошибке. Например, робот Googlebot может быть воспринят как пользователь, у которого включен блокировщик рекламы, и в таком случае ему запрещается доступ к контенту.
- Страница выполняет переадресацию на документ, доступ к которому заблокирован с помощью файла robots.txt или директивы noindex.
Если вы не уверены, что на вашей веб-странице нет ошибок, попробуйте открыть ее в браузере, применив новый агент пользователя для робота Googlebot. Чтобы переопределить агент пользователя в Chrome, следуйте этим инструкциям.
Есть вопросы? Задайте их на форуме для веб-мастеров. Также рекомендуем посмотреть наши серии вопросов и ответов на YouTube и подписаться на наш канал в Твиттере.