Ошибки сканирования: новое поколение

Понедельник, 12 марта 2012 г.

Возможность узнать, возникли ли при сканировании сайта какие-либо ошибки, – одна из наиболее популярных функций Search Console. Сегодня мы расскажем о важных обновлениях, благодаря которым эти сведения станут ещё более информативными.

Теперь мы можем определять новые типы ошибок и сообщать вам о них. Кроме того, данные теперь разбиты на две категории: ошибки сайта и ошибки URL.

Ошибки сайта

Это ошибки, которые влияют на работу всего сайта и не связаны с отдельными URL. К ним относятся проблемы с DNS-преобразованием, перебои при обмене данными с веб-сервером, а также ошибки при получении файла robots.txt. Раньше мы сообщали об этих ошибках с разбивкой по URL, но потом поняли, что это не очень логично, ведь это проблемы, из-за которых Googlebot даже не может отправлять запросы к нужным URL. Поэтому мы стали учитывать эти ошибки на уровне всего сайта. А если количество таких ошибок на сайтах становится слишком велико, то мы сообщаем об этом владельцам.

Доля ошибок сайта и их количество в Search Console

Если на вашем сайте не было зафиксировано подобных ошибок за последнее время (это достаточно распространенный случай), то в этом разделе не будет никаких данных. Вместо них вы увидите флажки, показывающие, что все в порядке.

Раздел в Search Console, где показано, что ошибок сайта нет

Ошибки URL

Ошибки URL связаны с отдельными страницами. Это означает, что при попытке сканирования URL роботу Googlebot удалось преобразовать DNS-запись, подключиться к серверу, получить и обработать файл robots.txt и запросить URL, но потом возникла какая-то проблема. Ошибки URL делятся на категории в зависимости от их причины. Если ваш сайт предоставляет данные для Google Новостей или мобильные данные (т. е. содержит разметку CHTML или XHTML), то ошибки, связанные с таким контентом, будут показаны в отдельных категориях.

Текущие и архивные ошибки URL в Search Console, сгруппированные по типам

Меньше ошибок

Раньше в отчет включалось до 100 000 ошибок каждого типа. Проанализировать такой большой объем информации почти невозможно: было сложно определить, является ли ошибка критической (не работает главная страница сайта) или ее решение можно отложить на потом (в ссылке на ваш сайт с другого ресурса есть опечатка). Просмотреть все 100 000 ошибок вручную нереально без возможности сортировать данные, искать их и отмечать уже просмотренные URL. В новой версии этой функции мы постарались сделать так, чтобы в первую очередь вы могли узнавать о самых серьезных неполадках. В каждой категории отображается 1000 самых критичных, на наш взгляд, ошибок, которые нужно обязательно устранить. Вы можете сортировать и фильтровать их, просматривать связанные с ними данные и отмечать исправленные URL.

Функция сортировки ошибок сканирования в Search Console

Если у вас будет больше 1000 ошибок определенного типа, мы не будем показывать их все – только общее количество, а также диаграмму с данными за последние 90 дней. Если вы считаете, что этой информации недостаточно, сообщите нам об этом. В настоящее время мы думаем над тем, нужно ли предоставить пользователям возможность скачивать данные обо всех существующих ошибках при помощи автоматизированного решения (API).

Мы также убрали список страниц, заблокированных в файле robots.txt. Хотя эта информация иногда помогает выявить проблему, в большинстве случаев эти страницы блокируются вами намеренно. Поскольку мы стремились уделить внимание именно ошибкам, информация об URL в файле robots.txt будет показываться на странице функции "Доступ для роботов" в разделе "Конфигурация сайта".

Больше информации

Если нажать на отдельный URL в списке, откроется панель с подробной информацией об ошибке, включая дату последнего сканирования URL и дату обнаружения ошибки, а также ее краткое описание.

Подробная информация об ошибке URL

Нажав на ссылку с URL, вызвавшим ошибку, можно узнать, что происходит при попытке перехода по этой ссылке. Также вы можете пометить ошибку как исправленную (в дальнейшем мы затронем эту тему), изучить справочные материалы об интересующем вас типе ошибок, проверить файлы Sitemap, содержащие этот URL, и другие страницы, ссылающиеся на него. Кроме того, робот Googlebot может повторно просканировать URL, чтобы получить больше информации об ошибке или проверить работоспособность страницы после внесения изменений.

Панель управления в Search Console, показывающая, какие ссылки ведут на страницу с ошибкой

Эффективное решение проблем

Новая версия функции "Ошибки сканирования" поможет вам сосредоточиться на решении самых важных проблем. Теперь в начале списка ошибок будут приводиться те из них, которые вы можете исправить прямо сейчас, например заменить неработающие ссылки на своем сайте, решить проблемы с серверным программным обеспечением, обновить файлы Sitemap для очистки неактивных URL или добавить переадресацию 301 на новую страницу. Ранжирование ошибок осуществляется на основе многих факторов. Помимо прочего, мы проверяем, добавлен ли в файл Sitemap нужный URL, сколько ссылок на него имеется на вашем и чужих сайтах, а также переходили ли пользователи на данную страницу из результатов поиска в последнее время.

После решения проблемы можно протестировать URL с помощью робота Googlebot. Если вы являетесь пользователем с полным доступом, вы также можете пометить ошибку как исправленную. Она будет исключена из списка. И в дальнейшем исправленные ошибки не будут появляться в списке, если, конечно, роботы Google не обнаружат их при повторном сканировании URL.

Панель в Search Console, в меню которой пользователь может присвоить ошибкам статус "Исправлено"

Мы вложили много сил в работу над функцией "Ошибки сканирования" и надеемся, что она будет вам полезна. Если у вас есть замечания или предложения, вы можете рассказать о них на нашем форуме.