Después del lanzamiento, Business Messages hará un seguimiento de las métricas clave de rendimiento para tu agente. Puedes acceder a tus métricas a través de la página Empresa Desarrollador de comunicaciones Consola o a través de BigQuery.
Si necesitas estadísticas adicionales para medir el éxito de tu agente, puedes Hacer un seguimiento de las métricas personalizadas mediante la supervisión de eventos y otros atributos de las conversaciones de tu agente.
Accede a tus métricas
Puedes acceder a las métricas a nivel del socio y del agente en un informe de Data Studio. a través de la Consola para desarrolladores de Business Communications. Como alternativa, puedes usar BigQuery para navegar o acceder de manera programática a las métricas de tu agente.
Para otorgar acceso a las métricas a otros usuarios,
- Agregarlos como usuarios a tu cuenta de socio.
- Indícales cómo acceder a las métricas a través de Business Communications. Consola para desarrolladores o BigQuery.
Métricas a nivel del socio
Las métricas a nivel de socio muestran los datos de todos los agentes que administras.
- Abre la página de desarrollador de comunicaciones empresariales. Consola y accede con tu Cuenta de Google de Business Messages.
- En la parte inferior de la tarjeta Panel de métricas, haz clic en Ver métricas.
Métricas a nivel del agente
Las métricas a nivel del agente solo muestran datos del agente seleccionado.
- Abre la página de desarrollador de comunicaciones empresariales. Consola y accede con tu Cuenta de Google de Business Messages.
Elige tu agente.
Las métricas aparecen en la tarjeta Panel de métricas.
Para ver métricas más detalladas, haz clic en Analytics en el panel de navegación izquierdo.
Métricas a través de BigQuery
BigQuery es una solución sin servidores un almacén de datos escalable y rentable con aprendizaje automático, datos análisis predictivo y acceso de lectura. Puedes acceder a datos en BigQuery a través de la IU o la API de BigQuery según tu caso de uso. Consulta la documentación de BigQuery documentación.
Los datos de métricas en BigQuery están disponibles durante 1.5 años.
Para acceder a las métricas del agente en BigQuery, debes cumplir con los siguientes requisitos: requisitos:
- Acceso a Google Cloud Platform. Si eres administrador, obtén información sobre cómo en GCP para tu organización.
- acceso a BigQuery. Descubre cómo obtener BigQuery
- Un proyecto con configuración de facturación en BigQuery Aprende a configurar Google Cloud Facturación. Si Si no tienes un proyecto con configuración de facturación, puedes trabajar con datos de BigQuery. en un entorno de prueba. Más información para probar BigQuery
Cuando tienes acceso a BigQuery, puedes acceder a los datos de tu agente en la proyecto, conjuntos de datos y vistas siguientes:
- Project ID (ID del proyecto):
bizcomms-bm-metrics - Conjuntos de datos:
partner_metrics_user_viewsypartner_metrics_sa_views - Vistas:
message_metrics,session_metrics,quality_metricsyintent_metrics
Por ejemplo, para ver todos los campos de la vista message_metrics, puedes utilizar el menú siguiente consulta:
SELECT * FROM bizcomms-bm-metrics.partner_metrics_user_views.message_metrics
Métricas disponibles
Business Messages hace un seguimiento de las métricas en cuatro categorías: Mensaje, Sesión Calidad e Intención.
Los siguientes elementos son comunes en todas las categorías de métricas:
| Métrica | Definición | Valores de muestra |
|---|---|---|
date |
El día (en UTC) en el que se creó la sesión. |
2021-12-31 de Consulta Tipo de fecha de BigQuery. |
agent_id |
El ID del agente cuya información de sesión se calcula. |
12345678-9012-3456-789012345678
|
agent_name |
El nombre del agente. |
Growing Tree Bank
|
brand_id |
El ID de la marca a la que pertenece el agente. |
12345678-9012-3456-789012345678
|
brand_name |
El nombre de la marca a la que pertenece el agente. |
Growing Tree International
|
partner_id |
El ID del socio que representa a la marca. |
12345678-9012-3456-789012345678
|
partner_name |
Es el nombre del socio que representa a la marca. |
XYZ Messaging
|
Métricas de mensajes
Las métricas de mensajes se extraen del número total de mensajes entregados para un un día determinado. Estas métricas incluyen los siguientes elementos:
| Métrica | Definición | Valores de muestra |
|---|---|---|
message_sender |
Quién envió el mensaje |
USER,AGENT
|
message_type |
Es el tipo de mensaje. |
TEXT,RICH_TEXT,PHOTO,RICH_CARD
|
representative_type |
Tipo del representante que envió este mensaje. Vacío para mensajes que envían los usuarios. |
BOT,HUMAN
|
total_messages |
Cantidad total de mensajes entregados. |
11
|
Métricas de sesión
Una sesión es una agrupación de interacciones limitadas en el tiempo, como mensajes y eventos en una conversación. Una sesión comienza cuando se envía un mensaje y otra sesión no está activo actualmente. Una sesión se cierra cuando
- no hay mensajes durante 24 horas hábiles (para agentes con acceso solo disponibilidad de mensajes] /availability [disponibilidad]). Si hay < 24 horas hábiles en los próximos 7 días, en cambio, usa 24 horas).
- no hay mensajes durante 30 minutos (para los agentes con mensajes solo para bots disponibilidad).
- debes enviar una encuesta a un usuario
- el usuario borra la conversación
- el usuario bloquea al agente
Las métricas de sesión se extraen de la cantidad total de sesiones, tanto activas como completado en un día determinado. Estas métricas incluyen los siguientes elementos:
| Métrica | Definición | Valores de muestra |
|---|---|---|
session_initiator |
Quién inició la sesión |
USER,AGENT
|
session_initiating_entry_point |
Es el punto de entrada que inició la sesión. | Consulta EntryPoint. |
session_containment_type |
Los tipos de interacciones representativas en la conversación, desde De sin mensaje representativo a solo mensajes de bots al agente humano mensajes nuevos. |
UNRESPONDED,BOT_ONLY_CONVERSATION,LIVE_AGENT_REQUEST_UNFULFILLED,LIVE_AGENT_CONVERSATION,CALL_INITIATED
|
has_agent_response |
La sesión tiene al menos una respuesta del agente. |
TRUE,FALSE
|
has_live_agent_response |
La sesión tiene al menos una respuesta de un agente humano. |
TRUE,FALSE
|
has_live_agent_request |
La sesión tiene al menos una solicitud de agente en vivo. |
TRUE,FALSE
|
session_depth_bucket |
La cantidad de mensajes que se intercambiaron durante las sesiones. |
1,2-3,4-9,10-24,25-
|
survey_sent |
Si se envió una encuesta para esta sesión. |
TRUE,FALSE
|
survey_responded |
Si el usuario respondió la encuesta. |
TRUE,FALSE
|
positive_survey_response |
Si la respuesta de la encuesta tiene una calificación positiva. Solo es significativo cuando
survey_responded es TRUE. |
TRUE,FALSE
|
total_sessions |
Cantidad total de sesiones. |
1000
|
average_session_depth |
Promedio de mensajes intercambiados durante las sesiones. |
23.11
|
Métricas de calidad
Las métricas de calidad se extraen del número total de sesiones completadas de un un día determinado. Estas métricas incluyen los siguientes elementos:
| Métrica | Definición | Valores de muestra |
|---|---|---|
date_calculated |
El día (en UTC) que indica cuándo se calcularon las métricas. |
2021-12-31 de Consulta Tipo de fecha de BigQuery. |
state |
El estado actual del agente. |
GOOD_STANDING,REQUIRES_ATTENTION
|
survey_count |
Cantidad de encuestas utilizadas para calcular la puntuación de la encuesta Si hubiera menos de 10 respuestas a la encuesta en los últimos 7 días; luego, la más reciente encuestas (9 como máximo) de los últimos 35 días. De lo contrario, todas las encuestas se usan las respuestas de los últimos 7 días. |
84
|
survey_score |
Porcentaje de respuestas positivas de la encuesta |
Rango de 0 a 1.
|
session_count |
Cantidad de sesiones que se usaron para calcular el MRR. Si hubiera menos de 3 sesiones durante los últimos 7 días y, luego, las sesiones más recientes (9 como máximo) de los últimos 35 días. De lo contrario, todas las sesiones de las últimas 7 días. |
143
|
mrr |
Tasa de respuesta del comercio (MRR). La cantidad de sesiones que tuvieron de respuesta ante incidentes (bot o agente humano) en relación con la cantidad total de sesiones. |
Rango de 0 a 1.
|
hmrr |
Tasa de respuesta humana del comercio (HMRR). La cantidad de sesiones que tuvieron respuestas de agentes humanos con respecto a la cantidad total de sesiones que contenían una o más solicitudes o respuestas de agentes humanos. |
Rango de 0 a 1.
|
live_agent_request_count |
Cantidad de solicitudes de agentes humanos que se usaron para calcular hmrr. Si
hubo menos de 10 solicitudes de agentes humanos en los últimos 7 días y, luego,
se utilizan las 9 solicitudes de agente humano más recientes en los últimos 35 días.
De lo contrario, se utilizarán todas las solicitudes de agentes humanos de los últimos 7 días. |
42
|
suspension_date |
El día (en UTC) en el que se puede suspender el agente debido a su baja calidad. Solo se configura para agentes con el estado “REQUIRES_ATTENTION”. |
2021-12-31 de Consulta Tipo de fecha de BigQuery. |
Métricas de intents
Las métricas de intención usan el aprendizaje automático para identificar la intención de las sesiones con tu agente. Las métricas de intents se extraen de los mensajes del usuario en las sesiones completadas de en un día determinado. Solo disponible en inglés. Estas métricas incluyen los siguientes elementos:
| Métrica | Definición | Valores de muestra |
|---|---|---|
intent |
El tipo de intent de sesión. |
SALES_LEAD,SERVICE
|
count |
Cantidad de sesiones con el tipo intent especificado. |
11
|
Haz un seguimiento de las métricas personalizadas
Si tienes diferentes preferencias de métricas o necesitas información más detallada de la que está disponible en el informe de calidad, puedes obtener tus propios datos de métricas.
Estas son algunas métricas que puedes capturar:
- Satisfacción del cliente. Enviar encuestas para capturar la satisfacción del usuario y hacer un seguimiento de ella. Puedes personalizar tu encuesta preguntas que se ajusten a tus requisitos de recopilación de datos.
- Mensajes enviados. Captura detalles cada vez que tu agente envía un mensaje.
- Mensajes recibidos. Captura detalles cada vez que tu agente reciben un mensaje.
- Tasas de respuesta de los agentes. Capturar la frecuencia con la que el agente responde al usuario mensajes nuevos. Haz un seguimiento de las diferencias entre las tasas de respuesta de bots y agentes humanos.
- Tiempos de respuesta del agente. Capturar cuánto tiempo le toma a tu agente responder los mensajes de los usuarios. Haz un seguimiento de las diferencias entre las respuestas de bots y agentes humanos veces.
- Recibos de entrega. Captura eventos
DELIVERED. - Confirmaciones de lectura Captura eventos
READ. - Participación de los usuarios. Captura eventos
IS_TYPINGy la cantidad de usuarios las respuestas y la diferencia de tiempo entre los eventosDELIVEREDoREAD, y las siguientes respuestas de los usuarios. Tipo de interacción. Identifica cómo responden los usuarios a tus mensajes. Usa datos de notificación de conversión significativos para realizar un seguimiento de las respuestas y acciones sugeridas, y de de respuesta para identificar si los usuarios envían imágenes o mensajes de texto sin formato.
Una vez que hayas capturado tus métricas, puedes analizarlas y organizarlas de la forma que mejor se adapte a tus necesidades. que necesita tu empresa.
Supervisión del rendimiento y umbrales de suspensión
Para evaluar el rendimiento del agente, Business Messages hace un seguimiento de varias métricas para garantizar de que los agentes proporcionen una buena experiencia del usuario. Si un agente está por debajo de una métrica límite, Business Messages te advierte a través de correos electrónicos semanales sobre el estado de los agentes. Si un no supere un umbral durante 28 días, Business Messages podría suspender la agente. Si tu agente está suspendido, consulta Corregir un problema .
Business Messages usa las siguientes métricas para hacer un seguimiento del rendimiento de los agentes:
| Métrica | Descripción | Umbral de volumen | Umbral de volumen normal | Umbral de volumen bajo |
|---|---|---|---|---|
| Satisfacción del cliente (CSAT) | La puntuación de satisfacción del cliente indica la experiencia general que el cliente tenía después de interactuar con un agente. | 10 encuestas | 80% | 0% |
| Tasa de respuesta del comercio (MRR) | La cantidad de sesiones que tuvieron respuestas del agente (bot o agente humano) en relación con la cantidad total de sesiones. | 3 sesiones | 95% | 60% |
| Tasa de respuesta humana del comercio (HMRR) | La cantidad de sesiones que tuvieron respuestas de agente humano en relación con la cantidad total de sesiones que contenían una o más solicitudes de agentes humanos o respuestas de agentes humanos | 10 solicitudes de agentes humanos | 95% | 0% |
El volumen de cada métrica se mide con respecto a un umbral de volumen de métrica independiente por encima o por debajo del cual se puede medir el rendimiento del agente respecto del umbral de volumen normal o el umbral de bajo volumen de esa métrica.
Por ejemplo, si un agente tiene 9 encuestas, 10 sesiones y 9 solicitudes de agente humano, el rendimiento del agente se mide con respecto a un umbral de 0 para CSAT, 95 para MRR y 0 para HMRR. Si el agente está por debajo de cualquiera de estos umbrales, el agente se marca como “Requiere atención” para cada estado.
Si el agente sigue en el estado “Requiere atención” estado durante 28 días o más, entonces se puede suspender el agente.
Mejora tus métricas
Si el rendimiento de tu agente es bajo, asegúrate de que haga lo siguiente.
Procesar y responder los mensajes sin problemas técnicos
- Confirma que tu webhook recibe, reconoce, procesa y enruta todos los mensajes entrantes, independientemente de el tipo de mensaje o contenido.
- Asegúrate de que tu agente cuente con una estrategia de resguardo eficaz en caso de que falta el campo obligatorio en la carga útil de un mensaje. Falta el usuario o lo abandona mensajes porque falta un campo genera una mala experiencia del usuario.
- Confirma que tu agente se realizó correctamente envía todo los tipos de mensajes esperados.
Responde de forma inteligente y compasiva
- Responder a todos los mensajes Las respuestas automáticas te ayudan a abordar preguntas.
- Ten en cuenta las fallas de los usuarios puntos de entrada de conversación y responder en consecuencia. Por ejemplo, es más probable que los usuarios que provienen de Google Maps estén interesados en información específica de la ubicación, como el horario de atención y la verificación de existencias
- Para los mensajes basados en la ubicación, dirige las preguntas a las personas más adecuado para responder a ellos.
- Si no hay un agente humano disponible, usa la automatización para responder al usuario. Infórmale el horario de chat de tu agente y de qué otra manera podría comunicarse. a alguien (por ejemplo, un número de teléfono de asistencia).
Proporcionar orientación
- Utiliza una bienvenida mensaje, redactado en un tono amistoso y acogedor, para establecer expectativas que puede hacer tu agente.
- Utiliza la conversación. activadores para guiar a los usuarios a través de tareas comunes o automatizadas.
- Si un usuario hace una pregunta que tu agente no puede responder, responde con orientación sobre los tipos de preguntas que puede responder.
Maneja los datos con cuidado
- Siempre que sea posible, recopila la ubicación y otros datos de los mensajes que recibas Recibir en lugar de pedirlo.
- No solicites información sensible (credenciales de acceso, cuentas bancarias o créditos detalles o números de identificación personal)
- Solicita datos solo cuando sea necesario. El exceso de datos genera usuarios maliciosos una experiencia fluida a los desarrolladores.
- Cuando necesites datos, ten claro por qué y cómo los usarás.
Comportarse de forma asíncrona
- No marques las conversaciones como inactivas. Comunicaciones por medio de la empresa Los mensajes son asíncronos, por lo que es posible que los usuarios no respondan de inmediato.
- No hagas un seguimiento de los usuarios que no responden. No se desconecta a los usuarios después de saliendo de la conversación.
Para obtener orientación adicional sobre cómo lograr el rendimiento del agente, consulta los requisitos y lineamientos.