Понедельник, 26 июня 2023 г.
Протокол Sitemap увидел свет в 2005 году. Он помогает поисковым системам находить новые URL и планировать сканирование уже известных URL. Этот популярный протокол не менялся уже 15 лет. Основные функции протокола ещё находят применение, однако некоторые из них уже не соответствуют требованиям современного интернета.
В связи с этим мы прекращаем поддерживать функцию запроса файлов Sitemap и даем дополнительные рекомендации по использованию элемента lastmod.
Запросы файлов Sitemap
В протоколе Sitemap для отправки файлов Sitemap в поисковые системы используется анонимный метод REST. Наши внутренние исследования, а также исследования в других поисковых системах, например Bing, показали, что анонимная отправка файлов Sitemap не очень эффективна. К примеру, в Google Поиске большинство отправленных файлов Sitemap оказываются спамом. В связи с этим мы прекращаем поддержку запроса файлов Sitemap, а конечная точка станет недоступна через 6 месяцев. Вы по-прежнему сможете отправлять файлы Sitemap с помощью файла robots.txt и Search Console, однако обращение к более не используемой конечной точке REST будет вызывать ошибку 404. Если какой-либо код или плагин предполагает обращение к этой конечной точке, это никак не скажется на работе Google Поиска. С другой стороны, никакого полезного эффекта также не будет.
Элемент lastmod
Многие годы мы наблюдали за тем, как менялась степень использования элемента lastmod на сайтах. Вероятно, это зависело от типа публикуемого контента или особенностей систем управления контентом, однако теперь элемент lastmod находит широкое применение. Например, мы используем его в качестве сигнала, который позволяет планировать сканирование ранее обнаруженных URL.
Элемент lastmod должен быть в поддерживаемом формате данных (согласно документации на сайте sitemaps.org). В противном случае при отправке файла Sitemap Search Console немедленно уведомит вас о несоответствии формата данных. Кроме того, этот элемент необходимо поддерживать в актуальном состоянии. Если страница последний раз редактировалась 7 лет назад, а в элементе lastmod вы утверждаете, что она была изменена вчера, то мы перестанем вам верить во всем, что касается даты последнего изменения страниц.
Вы можете использовать элемент lastmod для всех страниц в файле Sitemap или только для тех, в которых вы уверены. Например, не все системы управления контентом способны определять дату последнего изменения главной страницы или страницы категории, поскольку такие страницы попросту служат для систематизации остальных страниц сайта. В таком случае элемент lastmod для этих страниц можно не использовать.
Когда мы говорим "последнее изменение", мы имеем в виду последнее существенное изменение. Если ваша система управления контентом немного изменила текст на боковой панели или в нижнем колонтитуле, обновлять для этой страницы значение элемента lastmod не нужно.
Если же вы изменили основной текст, добавили или изменили структурированные данные или обновили ссылки, значение элемента lastmod необходимо изменить.
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<lastmod>2005-01-01</lastmod>
<loc>http://www.example.com/</loc>
<changefreq>monthly</changefreq>
<priority>0.8</priority>
</url>
</urlset>
Небольшая ремарка: если взглянуть на атрибут xmlns в файле Sitemap, то можно заметить, что для URI используется протокол HTTP, а не HTTPS. Ошибки здесь нет – перед вами справка для синтаксических анализаторов, содержащая сведения об элементах файлов XML. Не стоит отправлять нам отзывы о документации в связи с этим несоответствием.
Элементы changefreq и priority
В Google элементы changefreq и priority не используются.
Более того, элемент changefreq аналогичен элементу lastmod.
Значение элемента priority присваивается слишком субъективно, и, по нашим наблюдениям, он в недостаточной степени отражает истинный приоритет той или иной страницы относительно других страниц сайта.
Где можно почитать о файлах Sitemap? Изучите нашу документацию или посетите сайт sitemaps.org. А если вы просто хотите поговорить о файлах Sitemap, ждем вас на форуме Центра Google Поиска и в Твиттере.