После запуска Business Messages отслеживает ключевые показатели эффективности вашего агента. Вы можете получить доступ к своим метрикам через консоль разработчика Business Communications или через BigQuery .
Если вам нужна дополнительная аналитика для оценки успеха вашего агента, вы можете отслеживать специальные показатели, отслеживая события и другие атрибуты разговоров вашего агента.
Получите доступ к своим показателям
Вы можете получить доступ к метрикам на уровне партнера и агента в отчете Data Studio через консоль разработчика Business Communications. Кроме того, вы можете использовать BigQuery для просмотра или программного доступа к метрикам вашего агента.
Чтобы предоставить доступ к метрикам другим пользователям,
- Добавьте их в качестве пользователей в свою партнерскую учетную запись.
- Расскажите им, как получить доступ к метрикам через консоль разработчика бизнес-коммуникаций или BigQuery.
Метрики на уровне партнера
Метрики на уровне партнера отображают данные для всех агентов, которыми вы управляете.
- Откройте консоль разработчика Business Communications и войдите в свою учетную запись Google Business Messages.
- В нижней части карточки панели мониторинга «Метрики» нажмите «Просмотреть метрики» .
Метрики на уровне агента
Метрики уровня агента отображают данные только для выбранного агента.
- Откройте консоль разработчика Business Communications и войдите в свою учетную запись Google Business Messages.
Выберите своего агента.
Метрики отображаются на карточке панели мониторинга «Метрики» .
Чтобы просмотреть более подробные показатели, нажмите «Аналитика» на левой панели навигации.
Метрики через BigQuery
BigQuery — это бессерверное, масштабируемое и экономичное хранилище данных с машинным обучением, простым доступом к данным и прогнозной аналитикой. Вы можете получить доступ к данным в BigQuery либо через пользовательский интерфейс BigQuery, либо через BigQuery API, в зависимости от вашего варианта использования. См. документацию BigQuery .
Данные метрик в BigQuery доступны в течение 1,5 лет.
Чтобы получить доступ к метрикам агента в BigQuery, вам необходимо выполнить следующие требования:
- Доступ к платформе Google Cloud. Если вы администратор, узнайте, как включить GCP для вашей организации .
- Доступ к BigQuery. Узнайте, как получить BigQuery .
- Проект с настройкой биллинга в BigQuery. Узнайте, как настроить выставление счетов в Google Cloud . Если у вас нет проекта с настройками биллинга, вы можете работать с данными BigQuery в пробной среде. Узнайте, как попробовать BigQuery .
Если у вас есть доступ к BigQuery, вы можете получить доступ к данным вашего агента в следующем проекте, наборах данных и представлениях:
- Идентификатор проекта :
bizcomms-bm-metrics - Наборы данных :
partner_metrics_user_viewsиpartner_metrics_sa_views - Просмотры :
message_metrics,session_metrics,quality_metricsиintent_metrics
Например, чтобы просмотреть все поля из представления message_metrics, вы можете использовать следующий запрос:
SELECT * FROM bizcomms-bm-metrics.partner_metrics_user_views.message_metrics
Доступные метрики
Business Messages отслеживает показатели по четырем категориям: «Сообщение» , «Сеанс» , «Качество» и «Намерение» .
Следующие элементы являются общими для всех категорий показателей:
| Метрика | Определение | Примеры значений |
|---|---|---|
date | День (в формате UTC), когда был создан сеанс. | 2021-12-31См. Тип даты BigQuery . |
agent_id | Идентификатор агента, информация о сеансе которого вычисляется. | 12345678-9012-3456-789012345678 |
agent_name | Имя агента. | Growing Tree Bank |
brand_id | Идентификатор бренда, которому принадлежит агент. | 12345678-9012-3456-789012345678 |
brand_name | Название бренда, которому принадлежит агент. | Growing Tree International |
partner_id | Идентификатор партнера, представляющего бренд. | 12345678-9012-3456-789012345678 |
partner_name | Имя партнера, представляющего бренд. | XYZ Messaging |
Метрики сообщений
Метрики сообщений рассчитываются на основе общего количества доставленных сообщений за определенный день. Эти показатели включают в себя следующие элементы:
| Метрика | Определение | Примеры значений |
|---|---|---|
message_sender | Кто отправил сообщение. | USER ,AGENT |
message_type | Тип сообщения. | TEXT ,RICH_TEXT ,PHOTO ,RICH_CARD |
representative_type | Тип представителя, отправившего это сообщение. Пусто для сообщений, отправленных пользователями. | BOT ,HUMAN |
total_messages | Общее количество доставленных сообщений. | 11 |
Метрики сеанса
Сеанс — это ограниченная по времени группа взаимодействий, таких как сообщения и события в разговоре. Сеанс начинается, когда сообщение отправлено, но сеанс в данный момент не активен. Сессия закрывается, когда
- нет сообщений в течение 24 рабочих часов (для агентов с возможностью обмена сообщениями только для людей] (/business-communication/business-messages/guides/how-to/agents /availability). Если в течение следующих 7 дней будет < 24 рабочих часов , вместо этого мы будем использовать 24 часа.)
- сообщений нет в течение 30 минут (для агентов с возможностью обмена сообщениями только для ботов)
- вы отправляете опрос пользователю
- пользователь удаляет разговор
- пользователь блокирует агента
Показатели сеансов рассчитываются на основе общего количества сеансов, как активных, так и завершенных, за определенный день. Эти показатели включают в себя следующие элементы:
| Метрика | Определение | Примеры значений |
|---|---|---|
session_initiator | Кто инициировал сеанс. | USER ,AGENT |
session_initiating_entry_point | Точка входа, которая инициировала сеанс. | См. Точка входа . |
session_containment_type | Типы репрезентативных взаимодействий в разговоре: от отсутствия репрезентативного сообщения до сообщений только бота и сообщений живого агента. | UNRESPONDED ,BOT_ONLY_CONVERSATION ,LIVE_AGENT_REQUEST_UNFULFILLED ,LIVE_AGENT_CONVERSATION ,CALL_INITIATED |
has_agent_response | Сеанс имеет по крайней мере один ответ от агента. | TRUE ,FALSE |
has_live_agent_response | Сеанс имеет по крайней мере один ответ от действующего агента. | TRUE ,FALSE |
has_live_agent_request | В сеансе имеется хотя бы один запрос активного агента. | TRUE ,FALSE |
session_depth_bucket | Сколько сообщений было обменяно во время сеансов. | 1 ,2-3 ,4-9 ,10-24 ,25- |
survey_sent | Если опрос был отправлен для этой сессии. | TRUE ,FALSE |
survey_responded | Если пользователь ответил на опрос. | TRUE ,FALSE |
positive_survey_response | Если ответ на опрос имеет положительную оценку. Имеет смысл только тогда, когда survey_responded имеет значение TRUE . | TRUE ,FALSE |
total_sessions | Общее количество сеансов. | 1000 |
average_session_depth | Среднее количество сообщений, которыми обмениваются во время сеансов. | 23.11 |
Показатели качества
Показатели качества рассчитываются на основе общего количества завершенных сеансов за определенный день. Эти показатели включают в себя следующие элементы:
| Метрика | Определение | Примеры значений |
|---|---|---|
date_calculated | День (в формате UTC), указывающий, когда были рассчитаны метрики. | 2021-12-31См. Тип даты BigQuery . |
state | Текущее состояние агента. | GOOD_STANDING ,REQUIRES_ATTENTION |
survey_count | Количество опросов, использованных для расчета рейтинга опроса. Если за последние 7 дней было получено менее 10 ответов на опросы, то используются самые последние опросы (максимум 9) за последние 35 дней. В противном случае используются все ответы опроса за последние 7 дней. | 84 |
survey_score | Процент положительных ответов на опрос. | Диапазон от 0 до 1 . |
session_count | Количество сеансов, использованных для расчета MRR. Если за последние 7 дней было менее 3 сеансов, то используются самые последние сеансы (максимум 9) за последние 35 дней. В противном случае используются все сеансы за последние 7 дней. | 143 |
mrr | Коэффициент ответа продавца (MRR) . Количество сеансов, на которые были получены ответы агента (бота или живого агента), по отношению к общему количеству сеансов. | Диапазон от 0 до 1 . |
hmrr | Частота ответов продавца (HMRR) . Число сеансов, на которые были получены ответы живого агента, по отношению к общему количеству сеансов, содержащих один или несколько запросов действующего агента или ответов живого агента. | Диапазон от 0 до 1 . |
live_agent_request_count | Количество запросов действующего агента, использованных для расчета hmrr . Если за последние 7 дней было меньше 10 запросов действующего агента, то используются 9 последних запросов действующего агента за последние 35 дней. В противном случае используются все запросы действующего агента за последние 7 дней. | 42 |
suspension_date | День (в формате UTC), когда агент может быть заблокирован из-за низкого качества. Устанавливается только для агентов с состоянием REQUIRES_ATTENTION. | 2021-12-31См. Тип даты BigQuery . |
Метрики намерений
Метрики намерений используют машинное обучение для определения намерений сеансов с вашим агентом. Метрики намерений извлекаются из сообщений пользователей в завершенных сеансах за определенный день. Только английский. Эти показатели включают в себя следующие элементы:
| Метрика | Определение | Примеры значений |
|---|---|---|
intent | Тип намерения сеанса. | SALES_LEAD ,SERVICE |
count | Количество сеансов с указанным типом intent . | 11 |
Отслеживайте специальные показатели
Если у вас другие предпочтения в отношении метрик или вам требуется более подробная информация, чем доступна в отчете о качестве, вы можете собрать свои собственные данные метрик.
Вот некоторые показатели, которые вы можете получить:
- Удовлетворенность клиентов . Отправляйте опросы , чтобы собирать и отслеживать удовлетворенность пользователей. Вы можете настроить вопросы опроса в соответствии с вашими требованиями к сбору данных.
- Сообщения отправлены . Собирайте детали каждый раз, когда ваш агент отправляет сообщение .
- Сообщения получены . Собирайте детали каждый раз, когда ваш агент получает сообщение .
- Скорость ответа агента . Отслеживайте, как часто ваш агент отвечает на сообщения пользователей. Отслеживайте разницу между частотой ответов ботов и живых агентов.
- Время ответа агента . Зафиксируйте, сколько времени требуется вашему агенту, чтобы ответить на сообщения пользователей. Отслеживайте разницу между временем ответа бота и живого агента.
- Квитанции о доставке . Фиксируйте
DELIVEREDсобытия. - Читайте квитанции . Захват событий
READ. - Вовлеченность пользователей . Регистрируйте события
IS_TYPING, количество ответов пользователя и разницу во времени между событиямиDELIVEREDилиREADи следующими ответами пользователя. Тип взаимодействия . Определите, как пользователи реагируют на ваши сообщения. Используйте значимые данные обратной передачи для отслеживания предлагаемых ответов и действий, а также отслеживайте форматы ответов, чтобы определить, отправляют ли пользователи изображения или текстовые сообщения.
Собрав метрики, вы можете анализировать и систематизировать их так, как лучше всего соответствует потребностям вашего бизнеса.
Мониторинг производительности и пороговые значения приостановки
Для оценки производительности агентов Business Messages отслеживает несколько показателей, чтобы гарантировать, что агенты обеспечивают хорошее взаимодействие с пользователем. Если показатели агента падают ниже порогового значения, Business Messages предупреждает вас по электронной почте о статусе агента еженедельно. Если агент остается ниже порогового значения в течение 28 дней, Business Messages может приостановить работу агента. Если ваш агент заблокирован, см. раздел Исправление приостановленного агента .
Business Messages использует следующие показатели для отслеживания эффективности агентов:
| Метрика | Описание | Порог громкости | Нормальный порог громкости | Порог низкой громкости |
|---|---|---|---|---|
| Удовлетворенность клиентов (CSAT) | Оценка удовлетворенности клиентов показывает общий опыт, который клиент получил после взаимодействия с агентом. | 10 опросов | 80% | 0% |
| Коэффициент откликов продавцов (MRR) | Количество сеансов, на которые были получены ответы агента (бота или живого агента), по отношению к общему количеству сеансов. | 3 сеанса | 95% | 60% |
| Частота ответов продавца (HMRR) | Количество сеансов, на которые были получены ответы живого агента, по отношению к общему количеству сеансов, содержащих один или несколько запросов действующего агента или ответов живого агента. | 10 запросов живого агента | 95% | 0% |
Объем каждой метрики измеряется относительно независимого порога объема метрики, выше или ниже которого определяется, можно ли измерить производительность агента по сравнению с порогом нормального объема или порогом низкого объема для этой метрики.
Например, если у агента есть 9 опросов, 10 сеансов и 9 запросов активного агента, то производительность агента измеряется по пороговому значению 0 для CSAT, 95 для MRR и 0 для HMRR. Если состояние агента ниже любого из этих пороговых значений, он помечается как состояние «Требуется внимание».
Если агент продолжает находиться в состоянии «Требуется внимание» в течение 28 или более дней, его действие может быть приостановлено.
Улучшите свои показатели
Если производительность вашего агента низкая, убедитесь, что ваш агент выполняет следующие действия.
Обрабатывайте сообщения и отвечайте на них без технических проблем
- Убедитесь, что ваш вебхук получает , подтверждает, обрабатывает и маршрутизирует все входящие сообщения, независимо от их типа и содержимого.
- Убедитесь, что у вашего агента есть эффективная запасная стратегия на случай отсутствия обязательного поля в полезных данных сообщения. Отсутствие или удаление пользовательских сообщений из-за отсутствия поля приводит к ухудшению взаимодействия с пользователем.
- Убедитесь, что ваш агент успешно отправляет все ожидаемые типы сообщений.
Отвечайте разумно и сострадательно
- Ответ на каждое сообщение. Автоматические ответы могут помочь вам ответить на распространенные вопросы.
- Помните о точках входа в разговор пользователей и реагируйте соответственно. Например, пользователи, перешедшие с Google Maps, с большей вероятностью будут заинтересованы в информации о конкретном местоположении, такой как часы работы и проверка наличия товара.
- Для сообщений с привязкой к местоположению перенаправляйте вопросы тем людям, которые лучше всего смогут на них ответить.
- Если живой агент недоступен, используйте автоматизацию для ответа пользователю. Сообщите им часы чата вашего агента и то, как еще они могут с кем-то связаться (например, номер телефона службы поддержки).
Предоставьте руководство
- Используйте приветственное сообщение , написанное дружелюбным и приветливым тоном, чтобы обозначить ожидания относительно того, что может сделать ваш агент.
- Используйте средства начала разговора , чтобы помочь пользователям выполнить общие или автоматизированные задачи.
- Если пользователь задает вопрос, с которым ваш агент не может справиться, ответьте, указав, на какие вопросы он может ответить.
Обращайтесь с данными осторожно
- По возможности собирайте данные о местоположении и другие данные из получаемых вами сообщений, а не запрашивайте их.
- Не запрашивайте конфиденциальную информацию (учетные данные для входа, банковские/кредитные данные, личные идентификационные номера).
- Запрашивайте данные только тогда, когда это необходимо. Чрезмерное использование данных создает плохой пользовательский опыт.
- Когда вам нужны данные, четко объясните, почему и как вы будете их использовать.
Вести себя асинхронно
- Не отмечайте беседы как неактивные. Общение через бизнес-сообщения является асинхронным, поэтому пользователи могут не отвечать немедленно.
- Не следите за неотвечающими пользователями. Пользователи не отключаются после выхода из беседы.
Дополнительные рекомендации по обеспечению производительности агента см. в требованиях и рекомендациях .