Поисковые роботы Google (агенты пользователей)

Под термином "поисковый робот" (иногда его также называют просто роботом или "пауком") понимается любая программа, которая автоматически обнаруживает и сканирует сайты, переходя по ссылкам от страницы к странице. Наш основной поисковый робот называется Googlebot. В таблице ниже приведена информация об основных поисковых роботах Google, которые могут упоминаться в журналах переходов. Также из таблицы вы узнаете, как указывать этих роботов в файле robots.txt, метатегах robots и HTTP-директивах X-Robots-Tag.

Поисковые роботы, перечисленные в таблице ниже, обеспечивают работу различных продуктов и сервисов Google.

  • Токен агента пользователяуказывается в строке User-agent: файла robots.txt и позволяет выбирать, на каких поисковых роботов будет распространяться то или иное правило сканирования. Как видно из таблицы, некоторым роботам соответствует несколько токенов, но для того, чтобы правило действовало, достаточно одного. Приведенный ниже перечень не является исчерпывающим, но содержит информацию о роботах, которые с наибольшей вероятностью будут посещать ваш сайт.
  • Полная строка агента пользователя – это полное описание поискового робота. Оно указывается в запросах и журналах.

Поисковые роботы

APIs-Google

Токен агента пользователя APIs-Google
Полная строка агента пользователя APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)

AdSense

Токен агента пользователя Mediapartners-Google
Полная строка агента пользователя Mediapartners-Google

AdsBot Mobile Web Android

Проверяет качество рекламы на веб-страницах, предназначенных для устройств Android.

Токен агента пользователя AdsBot-Google-Mobile
Полная строка агента пользователя Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot Mobile Web

Проверяет качество рекламы на веб-страницах, предназначенных для устройств iOS.

Токен агента пользователя AdsBot-Google-Mobile
Полная строка агента пользователя Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot

Проверяет качество рекламы на веб-страницах, предназначенных для компьютеров.

Токен агента пользователя AdsBot-Google
Полная строка агента пользователя AdsBot-Google (+http://www.google.com/adsbot.html)

Googlebot Image

Токены агента пользователя
  • Googlebot-Image
  • Googlebot
Полная строка агента пользователя Googlebot-Image/1.0

Googlebot News

Токены агента пользователя
  • Googlebot-News
  • Googlebot
Полная строка агента пользователя Googlebot-News

Googlebot Video

Токены агента пользователя
  • Googlebot-Video
  • Googlebot
Полная строка агента пользователя Googlebot-Video/1.0

Googlebot Desktop

Токен агента пользователя Googlebot
Полные строки агента пользователя
  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
  • Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot Smartphone

Токен агента пользователя Googlebot
Полная строка агента пользователя Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Mobile AdSense

Токен агента пользователя Mediapartners-Google
Полная строка агента пользователя (Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

Mobile Apps Android

Проверяет качество рекламы в приложениях для устройств Android. Этот робот действует в соответствии с теми же правилами, что и AdsBot-Google.

Токен агента пользователя AdsBot-Google-Mobile-Apps
Полная строка агента пользователя AdsBot-Google-Mobile-Apps

Feedfetcher

Токен агента пользователя FeedFetcher-Google
Полная строка агента пользователя FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)

Google Read Aloud

Токен агента пользователя Google-Read-Aloud
Полные строки агента пользователя

Текущие агенты пользователя:

  • Версия для компьютеров:
    Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/advanced/crawling/overview-google-crawlers)
  • Версия для мобильных устройств:
    Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/advanced/crawling/overview-google-crawlers)

Прежняя версия (больше не поддерживается):

google-speakr

Duplex в интернете

Токен агента пользователя DuplexWeb-Google
Полная строка агента пользователя Mozilla/5.0 (Linux; Android 11; Pixel 2; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Mobile Safari/537.36

Google Favicon

Токен агента пользователя Google Favicon
Полная строка агента пользователя Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon

Web Light

Токен агента пользователя googleweblight
Полная строка агента пользователя Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19

Google StoreBot

Токен агента пользователя Storebot-Google
Полные строки агента пользователя
  • Версия для компьютеров:

    Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36

  • Версия для мобильных устройств:

    Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Mobile Safari/537.36

Агенты пользователей в файлах robots.txt

Если в файле robots.txt обнаружится несколько токенов агентов пользователей, робот Google последует правилу с наиболее точно соответствующим ему токеном. Если вы хотите оставить сайт доступным для всех наших роботов, такой файл вообще не нужен. Чтобы запретить или разрешить всем поисковым роботам Google доступ к определенному контенту, укажите в правиле агент пользователя Googlebot. К примеру, чтобы все страницы сайта появлялись в Google Поиске, а на самих страницах показывались объявления AdSense, не используйте файл robots.txt. Если же вы решите полностью запретить Google сканировать некоторые страницы, правило для агента пользователя Googlebot заблокирует доступ к контенту и всем остальным нашим роботам.

В случае необходимости вы можете указать агент пользователя более точно. Предположим, вы хотите, чтобы все страницы сайта показывались в Google Поиске, но чтобы при этом не сканировались изображения из вашего личного каталога. В таком случае в файле robots.txt запретите агенту пользователя Googlebot-Image сканировать файлы в каталоге /personal. При этом робот Googlebot по-прежнему будет иметь доступ к файлам во всех каталогах. Запись должна выглядеть следующим образом:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal

Рассмотрим другой пример. Вы хотите разместить на всех страницах рекламу, но сами они не должны появляться в Google Поиске. В таком случае следует полностью заблокировать доступ агенту пользователя Googlebot, но разрешить сканирование агенту пользователя Mediapartners-Google. Запись должна выглядеть так:

User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

Агенты пользователей в метатегах robots

Некоторые страницы содержат несколько тегов meta, в которых указаны инструкции для различных поисковых роботов. Примеры:

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

В этом случае Google будет следовать всем запрещающим инструкциям, а Googlebot выполнит обе директивы: noindex и nofollow. Подробнее об управлении сканированием и индексированием сайта роботами Google