Как идентифицировать из Google Поиска в веб-аналитике или журналах сервера

Идентифицировать трафик из Google Поиска можно не только с помощью Search Console, но и в собственной системе веб-аналитики или журналах сервера. Для этого нужно посмотреть на HTTP-заголовок Referer, который отправляется, когда пользователь переходит по ссылке из Google Поиска на ваш сайт. На этой странице рассказывается, какие значения Referer следует искать, с чем их сопоставлять в аналитике и журналах и почему эти данные могут не совпадать с данными Search Console.

Как Google Поиск задает заголовок Referer

Когда пользователь нажимает на ссылку в Google Поиске, браузер или приложение добавляет HTTP-заголовок запроса Referer, который указывает, откуда поступил запрос. В Google Поиске используется правило в отношении источника перехода origin. Это означает, что заголовок Referer содержит только схему и хост ссылающейся страницы, но не путь URL или параметры запроса.

В таблице ниже перечислены значения Referer, которые отправляет Google Поиск, в зависимости от того, где пользователь нажал на ссылку. Для трафика из рекомендаций указываются значения, соответствующие приложению Google, Google Поиску в интернете или другой платформе, на которой пользователь просматривал рекомендации.

Значения Referer по источникам
Google Поиск в интернете https://www.google.com/ или местный домен Google, например https://www.google.co.uk/ или https://www.google.co.jp/
Приложение Google на устройстве Android android-app://com.google.android.googlequicksearchbox/https/www.google.com (когда приложение открывает ссылку на вкладке браузера) или https://www.google.com/ (или местный домен Google)
Приложение Google на устройстве iOS https://www.google.com/ (или местный домен Google)

Другие сервисы Google, которые размещаются на тех же источниках (например, Google Картинки), отправляют аналогичные значения Referer, поэтому такой трафик также учитывается, если вы настраиваете фильтрацию по этим шаблонам.

Почему заголовок Referer иногда пуст

Даже если в Google Поиске используется правило в отношении источника перехода origin, браузер или операционная система пользователя могут не добавлять заголовок Referer (или блокировать доступ JavaScript к document.referrer) из соображений конфиденциальности и безопасности. Это происходит по умолчанию в нескольких распространенных сценариях, в том числе следующих:

  • режимы инкогнито и защита от создания цифровых отпечатков в браузере;
  • открытие результатов поиска в новой вкладке в некоторых браузерах;
  • переход из встроенного виджета поиска на мобильном устройстве во внешний браузер;
  • посещения пользователей, у которых включены расширения для обеспечения конфиденциальности или строгие настройки браузера.

Кроме того, отслеживание посетителей на основе JavaScript может не регистрировать все посещения из-за настроек конфиденциальности браузера, ответов на запросы согласия и блокировщиков рекламы.

Как выполнять фильтрацию по заголовку Referer в аналитике или журналах

Большинство систем веб-аналитики автоматически распознают эти значения Referer и классифицируют посещения как органический поисковый трафик из Google. Если трафик из Google Поиска отсутствует или показывается как реферальный или прямой, проверьте, не переклассифицируют ли его специальные правила каналов, исключения источников переходов или фильтры в настройках аналитики.

Если вы используете собственную аналитику или анализируете журналы сервера напрямую, сопоставляйте поле Referer со значениями Referer для Google Поиска. Браузер также отправляет заголовок Referer при получении ресурсов, таких как изображения, файлы CSS и JavaScript, но для этих запросов значением является URL вашей страницы. Чтобы подсчитать количество посещений из Google Поиска, учитывайте только запросы к целевым страницам.

Почему ваши данные могут не совпадать с данными Search Console

Идентификация трафика из Google Поиска на сайте с помощью заголовка Referer не является точной, и данные, зарегистрированные в системе веб-аналитики или журналах сервера, часто не совпадают с данными о кликах, представленными в Search Console. Распространенные технические причины расхождений:

  • Настройки конфиденциальности и конфигурации клиентов. Настройки конфиденциальности браузера, расширения, блокировщики рекламы или варианты согласия пользователя могут блокировать скрипты аналитики, удалять параметры запроса URL или скрывать HTTP-заголовок Referer.
  • Перенаправления на вашем сайте. Перенаправления на стороне клиента (например, JavaScript или meta refresh) могут заменять Referer на URL вашей страницы, а перенаправления, которые не сохраняют строку запроса, удаляют параметры URL, такие как gclid (обычно используется для добавления тегов объявлений). Перенаправление, которое отправляет более строгий заголовок Referrer-Policy, также может удалить Referer.
  • Разные методологии измерения. Search Console регистрирует клик, когда пользователь нажимает на ссылку в Google Поиске, а инструменты веб-аналитики регистрируют посещение или сеанс только после того, как целевая страница загрузится и выполнит код отслеживания.
  • Платный и органический трафик. Search Console регистрирует только обычные клики в Google Поиске и не включает клики по объявлениям Google Рекламы, в то время как система веб-аналитики может включать платный трафик в общие показатели в зависимости от настроек.

Подробнее о том, почему данные Google Аналитики отличаются от показателей Search Console…