Понедельник, 2 мая 2011 г.
Представьте себе: вы открываете Инструменты Google для веб-мастеров, чтобы посмотреть, насколько успешен ваш сайт… и обнаруживаете, что страница Ошибки сканирования пестрит сообщениями об ошибках 404 (Not found).
Всё пропало?
Спокойствие, только спокойствие. Давайте поговорим подробнее об ошибках 404 и разберемся в том, как они влияют (и влияют ли) на позиции вашего сайта в результатах поиска Google.
Снижаются ли позиции сайта из-за ошибок 404, которые указаны в Инструментах для веб-мастеров?
Ошибки 404 – это нормальное явление. Интернет не статичен: на одних сайтах появляются новые страницы, на других удаляются старые. В последнем случае при обращении к странице она должна возвращать код ответа HTTP 404 (в идеальной ситуации). В поисковых системах это учитывается. Как видно на скриншоте выше, ошибки 404 встречаются в интернете повсюду, в том числе и на сайтах Google. Мы рекомендуем владельцам сайтов при удалении страницы настраивать веб-сервер так, чтобы он возвращал именно код ответа 404 или 410, а не ложную ошибку soft
404. Не забывайте, что поисковый робот Google может получить код ответа HTTP только от тех URL, которые доступны для сканирования. Если сканирование URL запрещено в файле robots.txt, эта процедура выполнена не будет. Тот факт, что некоторые URL вашего сайта удалены или возвращают ошибку 404, не влияет на то, какие позиции другие URL вашего сайта (с кодом статуса 200 (Success)) занимают в результатах поиска.
То есть ошибки 404 не представляют никакой опасности для моего сайта?
Ошибки 404, возвращаемые некоторыми URL, сами по себе не влияют на позиции сайта в результатах поиска Google. Однако некоторые типы ошибок 404 рекомендуется устранять по другим причинам. Например, если код 404 возвращают важные страницы, постарайтесь узнать, почему при их сканировании робот Google видит именно код 404. Если URL в ссылке на вашу страницу незначительно отличается от правильного (например, www.example.com/awsome вместо www.example.com/awesome), причина может быть в простой опечатке. В этом случае можно не возвращать ошибку 404, а настроить переадресацию 301 на правильный URL, чтобы избежать потери трафика. Кроме того, пользователям, оказавшимся на странице вашего сайта с кодом статуса 404, можно вместо сухого сообщения "Не найдено (404)" предложить помощь в поиске нужных сведений.
Что такое ложные ошибки soft 404?
Ложная ошибка soft 404 подразумевает, что при обращении к несуществующему URL веб-сервер возвращает любой код ответа, кроме 404 или 410. Нередко владельцы сайтов хотят показывать пользователям красивые страницы 404 с полезной информацией и считают, что для этого нужно отправлять код ответа 200. Это распространенное заблуждение. Вы можете возвращать код 404 и при этом предлагать пользователям любой контент, который вы сочтете необходимым. Ещё один пример: при получении запроса с неизвестным URL сайт не возвращает ошибку 404, а перенаправляет пользователя на главную страницу. В обоих случаях неточная настройка может затруднить анализ и индексирование вашего сайта поисковыми роботами Google, поэтому советуем проверять, правильные ли коды ответов для несуществующего контента заданы на вашем сервере. Внимание! Не все страницы с текстом "Не найдено (404)" действительно возвращают код ответа 404. Используйте функцию Просмотреть как Googlebot в Инструментах для веб-мастеров для дополнительной проверки. Сведения о правильной настройке кодов ответа на сервере можно найти в справочной документации вашего поставщика услуг хостинга.
Как определить, какой код должен возвращать URL при удалении страницы: 404, 301 или 410?
Если вы удаляете страницу с сайта, ваши дальнейшие действия будут зависеть от того, хотите ли вы разместить контент где-то ещё или же удалить его окончательно. Если вы перемещаете контент на новый URL, настройте переадресацию 301 со старого адреса на новый, чтобы пользователи автоматически попадали на нужную страницу. Если же вы совсем удаляете опубликованный контент и на вашем сайте нет похожих материалов, которые могли бы заинтересовать посетителя, то для старого URL нужно настроить сообщение об ошибке 404 или 410. В настоящее время Google обрабатывает ошибки 410 (Gone) и 404 (Not found) одинаково, поэтому вы можете выбрать любой вариант.
Большинство ошибок 404 в таблице относится к URL, которых никогда не было на моем сайте.
Что это значит и откуда они берутся?
Если робот Google обнаружит в интернете ссылку, ведущую на ваш домене, он может просканировать ее. В этом случае при отсутствии контента на целевой странице ваш сервер должен вернуть код ошибки 404. Такие ссылки могут появляться по разным причинам: опечатка при указании страницы на вашем сайте, ошибки при настройке (в частности, если ссылки создаются системой управления контентом или иным автоматическим инструментом) или попытки Google распознать и просканировать ссылки во встроенном контенте, например в коде JavaScript. Кроме того, иногда мы проверяем, как ваши серверы обрабатывают неизвестные URL. Если в Инструментах для веб-мастеров появились сообщения об ошибках 404, относящиеся к URL, которые отсутствуют на вашем сайте, игнорируйте их. Мы не можем знать, какие URL важны для вас, а какие действительно должны возвращать код 404, поэтому показываем все ошибки 404, обнаруженные на вашем сайте. Решение о том, исправлять их или нет, остается за вами.
Владелец другого сайта скопировал контент с моего, что привело к целому ряду ошибок 404. Все они относятся к URL, которые похожи на действительные, но содержат вставки в виде кода, например https://www.example.com/images/kittens.jpg" width="100" height="300" alt="kittens"/>. Может ли это навредить моему сайту?
Как правило, такие неработающие ссылки не повод для беспокойства. Мы понимаем, что владельцы сайтов ничего не могут поделать с копированием контента или добавлением подозрительных ссылок на их ресурсы. Если вы разбираетесь в регулярных выражениях, то можете настроить переадресацию для этих URL, но в целом подобные проблемы не влияют на позиции сайта в результатах поиска. Напоминаем, что в случае кражи уникальных материалов с вашего сайта вы можете отправить запрос на удаление контента.
На прошлой неделе мы устранили все ошибки 404, перечисленные в Инструментах для веб-мастеров, но сообщения о них никуда не пропали. Мы что-то сделали не так? Будут ли сообщения об этих ошибках удалены через некоторое время?
В столбце "Обнаружено" на странице "Ошибки сканирования" для каждой ошибки указана последняя дата ее обнаружения. Если дата в этом столбце предшествует дню, когда вы исправили ошибку, это значит, что с тех пор мы больше не сталкивались с этой проблемой. Если запись появилась позже, значит при сканировании мы по-прежнему выявляем ошибку 404.
Внедрив исправление, вы можете проверить новый код ответа, который будет получать наш поисковый робот. Для этого воспользуйтесь функцией Просмотреть как Googlebot. Проверьте несколько URL. Если всё в порядке, то вскоре относящиеся к ним ошибки сканирования начнут удаляться из списка.
Можно ли быстрее убрать ошибки 404 из аккаунта, если воспользоваться инструментом удаления URL Google?
Нет. Инструмент удаления URL предназначен для удаления URL из результатов поиска Google, а не из аккаунта Инструментов для веб-мастеров, и применять его нужно только для срочных запросов на удаление. Если ваш URL уже возвращает код 404, со временем он будет автоматически исключен из результатов поиска. Дополнительные сведения о возможностях инструмента удаления URL приведены в нашем блоге во второй половине статьи Как мы удаляем URL (часть 4): отслеживание запросов и что не нужно удалять.
Вам хотелось бы узнать об ошибках 404 больше? Прочитайте сообщения по теме Неделя 404 в нашем блоге или посетите справочный форум для веб-мастеров.