Как коды статуса HTTP, а также ошибки сети и DNS влияют на положение страниц в Google Поиске

На этой странице описывается, как коды статуса HTTP, а также ошибки сети и DNS отражаются на позиции вашего контента в Google Поиске. Мы поговорим о 20 наиболее распространенных кодах статуса, которые обнаруживает на веб-страницах робот Googlebot, а также о самых частых ошибках сети и DNS. Такие редко встречающиеся коды, как 418 (I'm a teapot), в этой статье не рассматриваются. Все перечисленные на этой странице проблемы приводят к появлению ошибки или предупреждения в отчете о статистике сканирования сайтов, доступном в Search Console.

Коды статуса HTTP

Когда сервер, на котором размещен сайт, получает запрос клиента (например, браузера или поискового робота), в ответ он отправляет код статуса HTTP. Каждый такой код имеет свое значение, но многие из них предполагают, что запрос будет обрабатываться одинаково. Например, о переадресации могут сигнализировать несколько разных кодов.

Сообщения об ошибке, генерируемые в Search Console, относятся к кодам статуса в диапазоне 4xx–5xx, а также к неудачной переадресации (3xx). Если в ответе сервера указан код статуса 2xx, полученный контент может быть проиндексирован.

Коды статуса HTTP
2xx (success)

Роботы Google проверяют, можно ли проиндексировать контент. Если страница не загружается, например появляется пустая страница или сообщение об ошибке, в отчете Search Console появится ложная ошибка 404.

200 (success)

Робот Googlebot передает страницу для индексации. Наши алгоритмы могут проиндексировать контент, но это не гарантировано.

201 (created)
202 (accepted)

Робот Googlebot ждет некоторое время, не загрузится ли страница, а затем передает ее для индексирования. Время ожидания зависит от агента пользователя. Например, у робота Googlebot для смартфонов и у Googlebot Image оно разное.

204 (no content)

Робот Googlebot сообщает алгоритмам индексирования, что контент не получен. В отчете об индексировании сайта будет указана ложная ошибка 404.

3xx (redirects)

Робот Googlebot выполняет до 10 переходов в цепочке переадресаций. Если за это время поисковый робот не получает контент, в отчете об индексации сайта Search Console будет указана ошибка переадресации. Количество переходов робота Googlebot зависит от агента пользователя, например оно будет отличаться у робота Googlebot для смартфонов и Googlebot Image.

301 (moved permanently)

Робот Googlebot выполняет переадресацию, а алгоритм индексации интерпретирует это действие как явный сигнал того, что перенаправление должно выполняться на каноническую страницу.

302 (found)

Робот Googlebot выполняет переадресацию, а алгоритм индексации интерпретирует это действие как неявный сигнал того, что перенаправление должно выполняться на каноническую страницу.

303 (see other)
304 (not modified)

Робот Googlebot сообщает алгоритму индексирования, что страница не была изменена с момента предыдущего сканирования. В связи с этим система может по-новому интерпретировать сигналы, относящиеся к определенному URL. Если же она этого не сделает, то код статуса не повлияет на индексацию.

307 (temporary redirect) Этот код интерпретируется так же, как и 302.
308 (moved permanently) Этот код интерпретируется так же, как и 301.
4xx (client errors)

Роботы Google не индексируют URL с кодом статуса 4xx, а те URL, которые уже проиндексированы 4xx и выдают код статуса, удаляются.

400 (bad request)

Все ошибки 4xx, за исключением 429, обрабатываются таким же образом. Googlebot сообщает, что контент отсутствует.

Если ранее URL был проиндексирован, мы удалим его из индекса. Обнаруженные страницы с кодом 404 не обрабатываются. Частота сканирования постепенно снижается.

401 (unauthorized)
403 (forbidden)
404 (not found)
410 (gone)
411 (length required)
429 (too many requests)

Робот Googlebot интерпретирует код статуса 429 как сигнал того, что сервер перегружен и что имеет место его ошибка.

5xx (server errors)

В случае ошибок сервера 5xx и 429 роботы Google временно замедляют сканирование. Уже проиндексированные URL сохраняются в индексе, но в скором времени удаляются.

500 (internal server error)

Робот Googlebot снижает скорость сканирования сайта. Частота сканирования уменьшается пропорционально количеству отдельных URL, которые возвращают ошибку сервера. Google удаляет из индекса URL, постоянно возвращающие такую ошибку.

502 (bad gateway)
503 (service unavailable)

Ошибки сети и DNS

Ошибки сети и DNS отрицательно влияют на показ URL в результатах поиска Google. Робот Googlebot интерпретирует тайм-ауты сети, факты сброса подключения и ошибки DNS, так же как и ошибки серверов 5xx. В случае сетевых ошибок сканирование начинает постепенно замедляться, поскольку сетевая ошибка является признаком того, что сервер может не справиться с нагрузкой. Проиндексированные ранее URL, которые в настоящее время недоступны, будут удалены из индекса Google в течение нескольких дней. Search Console может создавать сообщения о каждой возникающей ошибке.

Ошибки отладки сети

Эти ошибки возникают до того, как Google начинает сканирование URL, или во время этого процесса. Поскольку они зачастую уже присутствуют до того, как сервер возвращает ответ, то из-за отсутствия кода статуса диагностика этих ошибок может вызывать трудности. Чтобы отладить ошибки тайм-аута и сброса подключения, выполните следующие действия:

  • Проверьте настройки брандмауэра и записи в журнале. В них может быть задано общее правило блокировки.
  • Проанализируйте сетевой трафик с помощью таких инструментов как tcpdump и Wireshark. Они помогут вам найти в пакетах TCP аномалии, относящиеся к определенному сетевому компоненту или модулю сервера.
  • Если вы не можете найти ничего подозрительного, обратитесь к своему хостинг-провайдеру.

Ошибка может относиться к любому серверному компоненту, который обрабатывает сетевой трафик. Возможно, что перегруженные интерфейсы сети не могут передавать пакеты, что приводит к тайм-аутам (невозможности установить подключение) и сбросу подключений (отправляется пакет RST, поскольку порт был закрыт по ошибке).

Ошибки отладки DNS

Ошибки DNS чаще всего вызваны неправильной конфигурацией. Чтобы устранить их, выполните следующие действия:

  • Проверьте записи DNS. Убедитесь, что записи A и CNAME ведут на правильные IP-адреса и имена хостов. Пример:
    dig +nocmd example.com a +noall +answer
    dig +nocmd www.example.com cname +noall +answer
  • Убедитесь, что все ваши DNS-серверы указывают на правильные IP-адреса вашего сайта. Пример:
    dig +nocmd example.com ns +noall +answer
    example.com.    86400  IN  NS  a.iana-servers.net.
    example.com.    86400  IN  NS  b.iana-servers.net.
    dig +nocmd @a.iana-servers.net example.com +noall +answer
    example.com.    86400  IN  A  93.184.216.34
    dig +nocmd @b.iana-servers.net example.com +noall +answer
    ...
  • Если вы внесли изменения в конфигурацию DNS в течение последних 72 часов, возможно, вам придется подождать, пока ваши изменения повлияют на всю сеть DNS.
  • Если вы используете собственный DNS-сервер, убедитесь, что он исправен и не перегружен.