Как Google сканирует регионозависимые страницы

Если на вашем сайте есть регионозависимые страницы (то есть страницы вашего сайта отображаются по-разному в зависимости от страны или языка посетителя), робот Google может не просканировать, не проиндексировать или не проранжировать весь их контент. Причина заключается в том, что его IP-адреса по умолчанию относятся к США. Кроме того, робот отправляет запросы HTTP без параметра Accept-Language в заголовке.

Региональные настройки и робот Googlebot

Googlebot использует IP-адреса, относящиеся не только к США, но и к другим странам.

Мы советуем отвечать на запросы робота Googlebot из определенной страны так же, как на запросы обычных пользователей. К примеру, если вы запрещаете доступ к своему контенту пользователям из США, но разрешаете просматривать его жителям Австралии, те же самые настройки должны применяться к роботам Googlebot.

Дополнительные рекомендации