Monitorar o desempenho do agente com métricas

Após o lançamento, o recurso Business Messages monitora as principais métricas de desempenho. para seu agente. É possível acessar suas métricas por meio da guia Desenvolvedor de comunicações console ou pelo BigQuery.

Se você precisar de análises adicionais para avaliar o sucesso do agente, faça o seguinte: rastrear métricas personalizadas monitorando eventos e outros atributos do as conversas com seu agente.

Acessar suas métricas

É possível acessar métricas no nível do parceiro e do agente em um relatório do Data Studio. no Business Communications Developer Console. Também é possível usar o BigQuery para procurar ou acessar programaticamente as métricas do agente.

Para conceder acesso às métricas a outros usuários,

  1. Adicionar como usuários à sua conta de parceiro.
  2. Explique como acessar as métricas pelo Business Communications Developer Console ou BigQuery.

Métricas no nível do parceiro

As métricas no nível do parceiro exibem dados de todos os agentes que você gerencia.

  1. Abra o Desenvolvedor de comunicações comerciais console e faça login com sua Conta do Google no Business Messages.
  2. Na parte de baixo do card Painel de métricas, clique em Ver métricas.

Métricas no nível do agente

As métricas no nível do agente exibem dados apenas do agente selecionado.

  1. Abra o Desenvolvedor de comunicações comerciais console e faça login com sua Conta do Google no Business Messages.

  2. Escolha seu agente.

    As métricas são exibidas no card do painel de métricas.

Para acessar métricas mais detalhadas, clique em Analytics no painel de navegação à esquerda.

Métricas por meio do BigQuery

O BigQuery é uma plataforma sem servidor data warehouse escalonável e econômico com machine learning, o acesso e a análise preditiva. Você pode acessar os dados no BigQuery a IU do BigQuery ou a API BigQuery, dependendo do seu caso de uso. Consulte a documentação Documentação.

Os dados de métricas no BigQuery ficam disponíveis por um ano e meio.

Para acessar as métricas do agente no BigQuery, você precisa atender aos seguintes critérios: requisitos:

Quando você tiver acesso ao BigQuery, poderá acessar os dados do agente na projeto, conjuntos de dados e visualizações a seguir:

  • Project ID: bizcomms-bm-metrics
  • Conjuntos de dados: partner_metrics_user_views e partner_metrics_sa_views
  • Visualizações: message_metrics, session_metrics, quality_metrics e intent_metrics

Por exemplo, para ver todos os campos da visualização "message_metrics", você pode usar o seguinte consulta:

SELECT * FROM bizcomms-bm-metrics.partner_metrics_user_views.message_metrics

Métricas disponíveis

O recurso Business Messages acompanha as métricas em quatro categorias: Mensagem, Sessão, Qualidade e Intent.

Os itens a seguir são comuns em todas as categorias de métricas:

Métrica Definição Exemplo de valores
date O dia (UTC) em que a sessão foi criada. 2021-12-31 e
Consulte Tipo de data do BigQuery.
agent_id O ID do agente com as informações da sessão que estão sendo calculadas. 12345678-9012-3456-789012345678
agent_name O nome do agente. Growing Tree Bank
brand_id O ID da marca a que o agente pertence. 12345678-9012-3456-789012345678
brand_name O nome da marca a que o agente pertence. Growing Tree International
partner_id É o ID do parceiro que representa a marca. 12345678-9012-3456-789012345678
partner_name O nome do parceiro que representa a marca. XYZ Messaging

Métricas de mensagem

As métricas de mensagens são extraídas do número total de mensagens entregues por um em um determinado dia. Essas métricas incluem os seguintes itens:

Métrica Definição Exemplo de valores
message_sender Quem enviou a mensagem. USER,
AGENT
message_type Tipo da mensagem. TEXT,
RICH_TEXT,
PHOTO,
RICH_CARD
representative_type Tipo do representante que enviou esta mensagem. Limpar mensagens enviadas pelos usuários. BOT,
HUMAN
total_messages Número total de mensagens entregues. 11

Métricas de sessão

Uma sessão é um agrupamento de interações com limite de tempo, como mensagens e eventos em uma conversa. Uma sessão começa quando uma mensagem é enviada, e uma sessão não está ativo no momento. Uma sessão é encerrada quando

  • não há mensagens por 24 horas úteis (para agentes com suporte disponibilidade de mensagens] (/business-communications/business-messages/guides/how-to/agents /availability). Se houver < 24 horas úteis nos próximos 7 dias, use 24 horas.
  • nenhuma mensagem será exibida por 30 minutos (para agentes com mensagens somente de bots disponibilidade)
  • você envia uma pesquisa a um usuário
  • o usuário exclui a conversa
  • o usuário bloqueia o agente

As métricas de sessão são extraídas do número total de sessões, ativas e concluída em um determinado dia. Essas métricas incluem os seguintes itens:

Métrica Definição Exemplo de valores
session_initiator Quem iniciou a sessão. USER,
AGENT
session_initiating_entry_point O ponto de entrada que iniciou a sessão. Consulte EntryPoint.
session_containment_type Os tipos de interações representativas na conversa, variando de "nenhuma mensagem representativa" para "somente mensagens do bot" e "agente em tempo real" e envio de mensagens. UNRESPONDED,
BOT_ONLY_CONVERSATION,
LIVE_AGENT_REQUEST_UNFULFILLED,
LIVE_AGENT_CONVERSATION,
CALL_INITIATED
has_agent_response A sessão tem pelo menos uma resposta do agente. TRUE,
FALSE
has_live_agent_response A sessão tem pelo menos uma resposta de um agente em tempo real. TRUE,
FALSE
has_live_agent_request A sessão tem pelo menos uma solicitação para o agente em tempo real. TRUE,
FALSE
session_depth_bucket Quantas mensagens foram trocadas durante as sessões. 1,
2-3,
4-9,
10-24,
25-
survey_sent Se uma pesquisa foi enviada para esta sessão. TRUE,
FALSE
survey_responded Se o usuário respondeu à pesquisa. TRUE,
FALSE
positive_survey_response Se a resposta da pesquisa tiver uma classificação positiva. Significativo somente quando survey_responded é TRUE. TRUE,
FALSE
total_sessions Número total de sessões. 1000
average_session_depth Número médio de mensagens trocadas durante as sessões. 23.11

Métricas de qualidade

As métricas de qualidade são extraídas do número total de sessões concluídas de um em um determinado dia. Essas métricas incluem os seguintes itens:

Métrica Definição Exemplo de valores
date_calculated O dia (em UTC) que indica quando as métricas foram calculadas. 2021-12-31 e
Consulte Tipo de data do BigQuery.
state Estado atual do agente. GOOD_STANDING,
REQUIRES_ATTENTION
survey_count Número de pesquisas usadas para calcular a pontuação da pesquisa. Se houvesse menos de 10 respostas da pesquisa nos últimos sete dias, depois a mais recente São usadas pesquisas dos últimos 35 dias (máximo de 9). Caso contrário, todas as pesquisas respostas dos últimos sete dias são usadas. 84
survey_score Porcentagem de respostas positivas à pesquisa. Varia de 0 a 1.
session_count Número de sessões usadas para calcular a MRR. Se houver menos de três sessões nos últimos 7 dias e, em seguida, as sessões mais recentes (máximo de 9) dos últimos 35 dias são usados. Caso contrário, todas as sessões dos últimos sete dias são usados. 143
mrr Taxa de resposta do comerciante (MRR, na sigla em inglês). O número de sessões de resposta do agente (bot ou agente humano) em relação ao número total de de conteúdo. Varia de 0 a 1.
hmrr Taxa de resposta humana do comerciante (HMRR, na sigla em inglês). O número de sessões teve respostas do agente em tempo real em relação ao número total de sessões que continham uma ou mais solicitações ou respostas de atendentes em tempo real. Varia de 0 a 1.
live_agent_request_count Número de solicitações de atendentes usadas para calcular o hmrr. Se houve menos de 10 solicitações de atendentes nos últimos 7 dias, então são usadas as 9 solicitações mais recentes de atendentes dos últimos 35 dias. Caso contrário, todas as solicitações do agente em tempo real nos últimos sete dias serão usadas. 42
suspension_date O dia (em UTC) em que o agente pode ser suspenso devido à baixa qualidade. Definido apenas para agentes com o estado "REQUIRES_ATTENTION". 2021-12-31 e
Consulte Tipo de data do BigQuery.

Métricas de intent

As métricas de intenção usam o aprendizado de máquina para identificar a intenção das sessões com seus agente. As métricas de intenção são extraídas das mensagens dos usuários em sessões concluídas para em um determinado dia. Apenas em inglês. Essas métricas incluem os seguintes itens:

Métrica Definição Exemplo de valores
intent O tipo de intent da sessão. SALES_LEAD,
SERVICE
count Contagem de sessões com o tipo de intent especificado. 11

Rastrear métricas personalizadas

Se você tem preferências de métricas diferentes ou precisa de informações mais detalhadas do que o disponível no relatório de qualidade, você pode capturar seus próprios dados de métricas.

Aqui estão algumas métricas que você pode capturar:

  • Satisfação do cliente. Enviar pesquisas para capturar e acompanhar a satisfação dos usuários. Você pode personalizar sua pesquisa perguntas para atender aos seus requisitos de coleta de dados.
  • Mensagens enviadas. Capture detalhes sempre que seu agente envia uma mensagem.
  • Mensagens recebidas. Capture detalhes sempre que seu agente recebe uma mensagem.
  • Taxas de resposta do agente. Capture a frequência com que seu agente responde ao usuário e envio de mensagens. Acompanhe as diferenças entre as taxas de resposta do bot e do agente humano.
  • Tempos de resposta do agente. Capture quanto tempo o agente leva para responder mensagens do usuário. Acompanhe as diferenças entre a resposta do bot e do agente humano vezes.
  • Comprovantes de entrega. Capture eventos DELIVERED.
  • Confirmações de leitura. Capture eventos READ.
  • Engajamento do usuário: Capturar eventos IS_TYPING, o número de eventos de e a diferença de tempo entre eventos DELIVERED ou READ e as seguintes respostas do usuário.

  • Tipo de interação. Identifique como os usuários respondem às suas mensagens. Usar dados de postback significativos para rastrear respostas e ações sugeridas, além de monitorar formatos de resposta para identificar se os usuários enviam imagens ou mensagens de texto simples.

Com suas métricas capturadas, você pode analisá-las e organizá-las da maneira mais adequada as necessidades da sua empresa.

Monitoramento de desempenho e limites de suspensão

Para avaliar a performance do agente, o recurso Business Messages monitora várias métricas para garantir que os agentes ofereçam uma boa experiência do usuário. Se um agente ficar abaixo de uma métrica limite, o recurso Business Messages vai avisar você por e-mails semanais de status do agente. Se um permanecer abaixo do limite por 28 dias, o recurso Business Messages poderá suspender o agente. Caso seu agente esteja suspenso, consulte Corrigir um problema agente.

O Business Messages usa as seguintes métricas para acompanhar o desempenho do agente:

Métrica Descrição Limite de volume Limite de volume normal Limite de volume baixo
Satisfação do cliente (CSAT) A pontuação de satisfação do cliente indica a experiência geral que o cliente teve após interagir com um agente. 10 pesquisas 80% 0%
Taxa de resposta do comerciante (MRR) Número de sessões que tiveram respostas do agente (bot ou agente humano) em relação ao número total de sessões. 3 sessões 95% 60%
Taxa de resposta humana do comerciante (HMRR, na sigla em inglês) É o número de sessões que tiveram respostas do agente em tempo real em relação ao número total de sessões com uma ou mais solicitações de atendentes ou respostas de agentes humanos 10 solicitações de atendentes 95% 0%

O volume de cada métrica é medido em relação a um limite de volume métrico independente. Acima ou abaixo dela, determina se o desempenho do agente pode ser medido em relação ao limite de volume normal ou ao limite de volume baixo dessa métrica.

Por exemplo, se um agente tiver 9 pesquisas, 10 sessões e 9 solicitações ao vivo, o desempenho do agente é medido em relação a um limite de 0 para CSAT, 95 para MRR e 0 para HMRR. Se o agente estiver abaixo de qualquer um desses limites, o agente é marcado no banner "Requer atenção" estado.

Se o agente continuar no modo "Requer atenção" há 28 dias ou mais, o agente poderá ser suspenso.

Melhorar suas métricas

Se o desempenho do seu agente estiver baixo, verifique se ele realiza as ações a seguir.

Processe e responda a mensagens sem problemas técnicos

  • Confirme se o webhook recebe, reconhece, processa e encaminha todas as mensagens recebidas, independentemente tipo de mensagem ou conteúdo.
  • Certifique-se de que seu agente tenha uma estratégia de fallback eficaz caso um um campo obrigatório está ausente no payload da mensagem. Usuário ausente ou descartando o usuário porque um campo está ausente, prejudica a experiência do usuário.
  • Confirme se o agente está correto sends (todos) tipos de mensagens esperados.

Responda com inteligência e compaixão

  • Responda a todas as mensagens. As respostas automáticas ajudam você a resolver perguntas.
  • Preste atenção aos limites pontos de entrada da conversa e responda de acordo. Por exemplo, os usuários provenientes do Google Maps têm mais probabilidade de se interessar informações específicas do local, como horário de funcionamento e verificações de estoque.
  • Para mensagens com base na localização, encaminhe as perguntas para as pessoas mais adequadas adequado para responder a elas.
  • Se não houver um atendente disponível, use a automação para responder ao usuário. Informe o horário de funcionamento do chat e de que outras formas o agente pode entrar em contato alguém (por exemplo, um número de telefone do suporte).

Fornecer orientação

  • Use uma solicitação de boas-vindas mensagem, escritos em um tom amigável e acolhedor, para definir expectativas sobre o que que seu agente pode fazer.
  • Usar conversa ativações para orientar os usuários em tarefas comuns ou automatizadas.
  • Se um usuário fizer uma pergunta que seu agente não consegue processar, responda com orientações sobre os tipos de perguntas que ele pode responder.

Gerencie os dados com cuidado

  • Sempre que possível, colete a localização e outros dados de mensagens que você receber em vez de pedir.
  • Não solicite informações sensíveis (credenciais de login, contas/créditos informações pessoais, números de identificação pessoal)
  • Só peça dados quando eles forem necessários. O alcance excessivo de dados cria um usuário ruim do usuário.
  • Quando você precisar de dados, seja claro sobre por que e como os usará.

Comportar de maneira assíncrona

  • Não marque conversas como inativas. Comunicações em negócios Como as mensagens são síncronas, os usuários podem não responder imediatamente.
  • Não acompanhe usuários que não respondem. Os usuários não são desconectados após e saia da conversa.

Para mais orientações sobre como alcançar o desempenho do agente, consulte os requisitos e diretrizes.