Сканирование страниц с региональными настройками
Если контент на страницах вашего сайта меняется в зависимости от региональных настроек посетителя, некоторые языковые версии могут остаться непросканированными. Причина заключается в том, что по умолчанию робот Googlebot отправляет HTTP-запросы с американских IP-адресов и не использует заголовок запросов Accept-Language.
Региональные настройки и робот Googlebot
Googlebot использует IP-адреса, относящиеся не только к США, но и к другим странам.
Мы советуем отвечать на запросы робота Googlebot из определенной страны так же, как на запросы обычных пользователей. К примеру, если вы запрещаете доступ к своему контенту пользователям из США, но разрешаете просматривать его жителям Австралии, те же самые настройки должны применяться к роботам Googlebot из этих двух стран.
Дополнительные рекомендации
- У робота Googlebot одна и та же строка агента пользователя независимо от конфигурации сканирования. Подробнее о строках агентов пользователя, которые идентифицируют поисковых роботов Google…
- Вы можете проверить, действительно ли запрос из определенного региона отправлен роботом Googlebot, – это делается с помощью обратного DNS-запроса.
- Рекомендуем во всех языковых версиях задать одни и те же исключения для роботов, то есть указать одинаковые правила в тегах robots (
meta) и в файле robots.txt.