Surveiller les performances des agents à l'aide de métriques

Une fois lancé, Business Messages suit les métriques de performances clés pour votre agent. Vous pouvez accéder à vos métriques dans le Centre d'aide Développeur de communications Console ou via BigQuery.

Si vous avez besoin d'analyses supplémentaires pour évaluer la réussite de votre agent, vous pouvez suivre les métriques personnalisées en surveillant les événements et d'autres attributs de les conversations avec votre agent.

Accéder à vos métriques

Vous pouvez accéder aux métriques au niveau des partenaires et des agents dans un rapport Data Studio via la console pour les développeurs Business Communications. Vous pouvez également utilisez BigQuery pour parcourir les métriques de votre agent ou y accéder par programmation.

Pour accorder à d'autres utilisateurs l'accès aux métriques,

  1. Les ajouter en tant qu'utilisateurs à votre compte partenaire.
  2. Expliquez-lui comment accéder aux métriques via Business Communications. la console développeur ou BigQuery.

Métriques au niveau du partenaire

Les métriques au niveau du partenaire affichent des données pour tous les agents que vous gérez.

  1. Ouvrez l'application Business Communications Developer Console et connectez-vous avec votre compte Google Business Messages.
  2. Au bas de la fiche Tableau de bord des métriques, cliquez sur Afficher les métriques.

Métriques au niveau de l'agent

Les métriques au niveau de l'agent n'affichent que les données de l'agent sélectionné.

  1. Ouvrez l'application Business Communications Developer Console et connectez-vous avec votre compte Google Business Messages.

  2. Choisissez votre agent.

    Les métriques s'affichent dans la fiche Tableau de bord des métriques.

Pour afficher des métriques plus détaillées, cliquez sur Analytics dans le panneau de navigation de gauche.

Métriques via BigQuery

BigQuery est un service sans serveur, un entrepôt de données évolutif et économique avec machine learning, l'accès aux données et l'analyse prédictive. Vous pouvez accéder aux données dans BigQuery l'UI ou l'API BigQuery selon votre cas d'utilisation. Consultez la présentation de BigQuery documentation.

Dans BigQuery, les données de métriques sont disponibles pendant un an et demi.

Pour accéder aux métriques d'agent dans BigQuery, vous devez remplir les conditions suivantes configuration requise:

Lorsque vous avez accès à BigQuery, vous pouvez accéder aux données de votre agent dans le projet, les ensembles de données et les vues suivants:

  • ID du projet : bizcomms-bm-metrics
  • Ensembles de données: partner_metrics_user_views et partner_metrics_sa_views
  • Vues: message_metrics, session_metrics, quality_metrics et intent_metrics

Par exemple, pour afficher tous les champs de la vue message_metrics, vous pouvez utiliser la méthode la requête suivante:

SELECT * FROM bizcomms-bm-metrics.partner_metrics_user_views.message_metrics

Métriques disponibles

Business Messages suit les métriques dans quatre catégories: Message, Session, Qualité et Intention.

Les éléments suivants sont communs aux différentes catégories de métriques:

Métrique Définition Exemples de valeur
date Jour (UTC) de création de la session.
2021-12-31 Voir Type de date de BigQuery
agent_id ID de l'agent dont les informations de session sont calculées. 12345678-9012-3456-789012345678
agent_name Nom de l'agent. Growing Tree Bank
brand_id ID de la marque à laquelle appartient l'agent. 12345678-9012-3456-789012345678
brand_name Nom de la marque à laquelle appartient l'agent. Growing Tree International
partner_id ID du partenaire qui représente la marque. 12345678-9012-3456-789012345678
partner_name Nom du partenaire qui représente la marque. XYZ Messaging

Métriques des messages

Les métriques de message sont déterminées à partir du nombre total de messages distribués pour un jour donné. Ces métriques incluent les éléments suivants:

Métrique Définition Exemples de valeur
message_sender l'expéditeur du message ; USER,
AGENT
message_type Type du message. TEXT,
RICH_TEXT,
PHOTO,
RICH_CARD
representative_type Type de représentant qui a envoyé ce message. Vide pour les messages envoyés par les utilisateurs. BOT,
HUMAN
total_messages Nombre total de messages distribués. 11

Métriques de session

Une session est un groupe d'interactions limité dans le temps, comme des messages et les événements d'une conversation. Une session commence lorsqu'un message est envoyé et une session n'est pas actif actuellement. Une session se termine lorsque

  • aucun message n'est envoyé pendant 24 heures ouvrées (pour les agents ayant uniquement disponibilité des messages] (/business-communications/business-messages/guides/how-to/agents /disponibilité). S'il y a < sous 24 heures ouvrées dans les sept prochains jours, utilisez plutôt le délai de 24 heures.)
  • aucun message ne s'affiche pendant 30 minutes (pour les agents ayant une messagerie dédiée aux bots uniquement disponibilité)
  • vous envoyez une enquête à un utilisateur
  • l'utilisateur supprime la conversation.
  • l'utilisateur bloque l'agent ;

Les métriques de session sont issues du nombre total de sessions, actives et terminée, pour un jour donné. Ces métriques incluent les éléments suivants:

Métrique Définition Exemples de valeur
session_initiator l'auteur de la session ; USER,
AGENT
session_initiating_entry_point Point d'entrée à l'origine de la session. Consultez la section EntryPoint.
session_containment_type Types d'interactions représentatives de la conversation, allant de d'aucun message représentatif, seuls les messages du bot et d'un agent réel messages. UNRESPONDED,
BOT_ONLY_CONVERSATION,
LIVE_AGENT_REQUEST_UNFULFILLED,
LIVE_AGENT_CONVERSATION,
CALL_INITIATED
has_agent_response La session comporte au moins une réponse de l'agent. TRUE,
FALSE
has_live_agent_response La session comporte au moins une réponse d'un agent réel. TRUE,
FALSE
has_live_agent_request La session comporte au moins une demande d'agent. TRUE,
FALSE
session_depth_bucket Nombre de messages échangés au cours des sessions. 1,
2-3,
4-9,
10-24,
25-
survey_sent Indique si une enquête a été envoyée pour cette session. TRUE,
FALSE
survey_responded Indique si l'utilisateur a répondu à l'enquête. TRUE,
FALSE
positive_survey_response Si la réponse à l'enquête a une note positive. Utile seulement lorsque survey_responded est TRUE. TRUE,
FALSE
total_sessions Nombre total de sessions. 1000
average_session_depth Nombre moyen de messages échangés au cours des sessions. 23.11

Métriques de qualité

Les métriques de qualité sont tirées du nombre total de sessions terminées pour une pour un jour donné. Ces métriques incluent les éléments suivants:

Métrique Définition Exemples de valeur
date_calculated Jour (UTC) indiquant le moment où les métriques ont été calculées.
2021-12-31 Voir Type de date de BigQuery
state État actuel de l'agent. GOOD_STANDING,
REQUIRES_ATTENTION
survey_count Nombre d'enquêtes utilisées pour calculer la note. S'il y avait moins de 10 réponses à l'enquête au cours des 7 derniers jours, la plus récente (9 enquêtes maximum) des 35 derniers jours sont utilisées. Sinon, toutes les enquêtes au cours des 7 derniers jours. 84
survey_score Pourcentage de réponses positives à l'enquête. Les valeurs vont de 0 à 1.
session_count Nombre de sessions utilisées pour calculer le MRR. S'il y avait moins de 3 sessions au cours des 7 derniers jours, puis des sessions les plus récentes (9 au maximum). des 35 derniers jours. Sinon, toutes les sessions des 7 dernières jours. 143
mrr Taux de réponse du marchand (MRR). Le nombre de sessions ayant enregistré réponses de l'agent (bot ou agent réel) par rapport au nombre total sessions. Les valeurs vont de 0 à 1.
hmrr Taux de réponse humaine des marchands : Le nombre de sessions ont reçu des réponses d'agent réel par rapport au nombre total de sessions contiennent une ou plusieurs requêtes ou réponses d'agent réel. Les valeurs vont de 0 à 1.
live_agent_request_count Nombre de requêtes d'agent réel utilisées pour calculer hmrr. Si il y a eu moins de 10 demandes avec un agent réel au cours des sept derniers jours, les neuf requêtes d'agent actives les plus récentes des 35 derniers jours sont utilisées. Sinon, toutes les requêtes d'agent réelles effectuées au cours des sept derniers jours sont utilisées. 42
suspension_date Jour (UTC) où l'agent est susceptible d'être suspendu en raison d'une faible qualité. Défini uniquement pour les agents avec l'état "REQUIRES_ATTENTION".
2021-12-31 Voir Type de date de BigQuery

Métriques d'intent

Les métriques d'intent utilisent le machine learning pour identifier l'intention des sessions avec votre un agent. Les métriques d'intention sont extraites des messages des utilisateurs dans les sessions terminées pour un jour donné. En anglais uniquement. Ces métriques incluent les éléments suivants:

Métrique Définition Exemples de valeur
intent Type d'intent de session. SALES_LEAD,
SERVICE
count Nombre de sessions avec le type intent spécifié. 11

Suivre des métriques personnalisées

Si vous avez des préférences en matière de métriques différentes ou si vous avez besoin d'informations plus détaillées que celui disponible dans le rapport sur la qualité, vous pouvez capturer vos propres données de métriques.

Voici quelques métriques que vous pouvez collecter:

  • Satisfaction des clients. Envoyer enquêtes pour capturer et suivre la satisfaction des utilisateurs. Vous pouvez personnaliser votre enquête pour répondre à vos exigences en matière de collecte de données.
  • Messages envoyés : Capturez les détails chaque fois que votre agent envoie un message.
  • Messages reçus : Capturez les détails chaque fois que votre agent reçoit un message ;
  • Taux de réponse des agents. Capturez la fréquence à laquelle l'agent répond à l'utilisateur messages. Suivez les différences entre les taux de réponse du bot et de l'agent en direct.
  • Délais de réponse des agents. Enregistrer le temps de réponse de l'agent messages utilisateur. Suivre les différences entre la réponse du bot et celle de l'agent réel fois.
  • Accusés de réception : Enregistrez des événements DELIVERED.
  • Confirmations de lecture : Enregistrez des événements READ.
  • Engagement utilisateur. Capturer les événements IS_TYPING, c'est-à-dire le nombre d'utilisateurs réponses, et le décalage entre les événements DELIVERED ou READ et les réponses d'utilisateur suivantes.

  • Type d'interaction : Identifiez la façon dont les utilisateurs répondent à vos messages. Utilisez des données de postback pertinentes pour suivre les suggestions d'actions et de réponses, et surveiller les formats de réponse pour déterminer si les utilisateurs envoient des images ou des messages en texte brut.

Une fois vos métriques capturées, vous pouvez les analyser et les organiser comme vous le souhaitez. les besoins de votre entreprise.

Surveillance des performances et seuils de suspension

Pour évaluer les performances de l'agent, Business Messages suit plusieurs métriques pour s'assurer que les agents offrent une bonne expérience utilisateur. Si un agent passe en dessous d'une métrique Business Messages vous avertit via des e-mails hebdomadaires sur le statut de l'agent. Si un l'agent reste en dessous d'un seuil pendant 28 jours, Business Messages peut suspendre le un agent. Si votre agent est suspendu, consultez l'article Corriger un problème à un agent.

Business Messages utilise les métriques suivantes pour suivre les performances de l'agent:

Métrique Description Seuil de volume Seuil de volume normal Seuil de volume faible
Satisfaction client (CSAT) Le score de satisfaction client indique l'expérience globale que le client a eu après avoir échangé avec un agent. 10 enquêtes 80 % 0 %
Taux de réponse du marchand (MRR) Nombre de sessions avec des réponses d'agent (bot ou agent réel) par rapport au nombre total de sessions. 3 sessions 95 % 60 %
Taux de réponse humaine des marchands (HMRR) Nombre de sessions ayant reçu des réponses d'agent réel par rapport au nombre total de sessions contenant une ou plusieurs requêtes d'agent réel ou des réponses d'un agent 10 requêtes avec un agent réel 95 % 0 %

Le volume de chaque métrique est mesuré par rapport à un seuil de volume indépendant, supérieur ou inférieur, qui détermine si les performances de l'agent peuvent être mesurées par rapport au seuil de volume normal ou au seuil de faible volume pour cette métrique.

Par exemple, si un agent a 9 enquêtes, 10 sessions et 9 demandes d'agent réel, les performances de l'agent sont mesurées en fonction d'un seuil de 0 CSAT, 95 pour le MRR et 0 pour le HMRR. Si l'agent est en dessous de l'un de ces seuils, l'agent est alors associé à la mention de l'état.

Si l'agent est toujours à l'état "Attention requise" depuis au moins 28 jours, l'agent peut alors être suspendu.

Améliorez vos métriques

Si les performances de votre agent sont faibles, assurez-vous qu'il :

Traiter les messages et y répondre sans problème technique

  • Vérifiez que votre webhook reçoit, accuse réception, traite et route de tous les messages entrants, quel que soit le type ou le contenu du message.
  • Assurez-vous que votre agent dispose d'une stratégie de remplacement efficace dans le cas où un champ obligatoire manquant dans la charge utile d'un message. Utilisateur manquant ou abandon car il manque un champ, ce qui nuit à l'expérience utilisateur.
  • Vérifiez que votre agent a bien été exécuté envoie tout types de messages attendus.

Répondre de façon intelligente et bienveillante

  • Répondez à chaque message. Les réponses automatiques vous aident à résoudre les problèmes questions.
  • Tenez compte de l'expérience utilisateur points d'entrée de la conversation et répondre en conséquence. Par exemple, les utilisateurs provenant de Google Maps sont plus susceptibles des informations propres à un établissement, telles que les horaires d'ouverture et les vérifications des cours de la bourse.
  • Pour les messages basés sur la position, adressez les questions au mieux aux personnes concernées pour y répondre.
  • Si aucun agent réel n'est disponible, utilisez l'automatisation pour répondre à l'utilisateur. Indiquez-lui les horaires de chat de votre agent et les autres moyens de communication qu'il peut joindre. d'un contact (par exemple, un numéro de téléphone d'assistance).

Donner des conseils

  • Utilisez un formulaire de bienvenue message, rédigé sur un ton amical et accueillant, pour définir les attentes que votre agent peut faire.
  • Utiliser la conversation déclencheurs pour guider les utilisateurs dans des tâches courantes ou automatisées.
  • Si un utilisateur pose une question que votre agent ne peut pas gérer, répondez par des conseils sur le type de questions auxquelles il peut répondre.

Gérer les données avec soin

  • Dans la mesure du possible, collectez les informations de localisation et d'autres données à partir des messages que vous recevoir plutôt que de la demander.
  • Ne demandez pas d'informations sensibles (identifiants de connexion, informations personnelles, numéros d'identification personnelle)
  • Ne demandez des données que lorsque c'est nécessaire. Le dépassement des données crée un mauvais utilisateur expérience.
  • Lorsque vous avez besoin de données, soyez clair sur pourquoi et comment vous les utiliserez.

Se comporter de manière asynchrone

  • Ne pas marquer les conversations comme inactives. Communications plutôt qu'aux entreprises Les messages étant asynchrones, les utilisateurs ne peuvent pas répondre immédiatement.
  • Ne faites pas le suivi des utilisateurs qui ne répondent pas. Les utilisateurs ne sont pas déconnectés au bout de de quitter la conversation.

Pour obtenir des conseils supplémentaires sur la façon d'atteindre les performances de l'agent, consultez les exigences et consignes.