측정항목을 사용하여 에이전트 성능 모니터링

출시 후에는 Business Messages가 에이전트의 주요 성능 측정항목을 추적합니다. 비즈니스 커뮤니케이션 개발자 콘솔 또는 BigQuery를 통해 측정항목에 액세스할 수 있습니다.

에이전트의 성공 여부를 측정하기 위해 추가 분석이 필요한 경우 에이전트 대화의 이벤트 및 기타 속성을 모니터링하여 커스텀 측정항목을 추적할 수 있습니다.

측정항목에 액세스

비즈니스 커뮤니케이션 개발자 콘솔을 통해 데이터 스튜디오 보고서의 파트너 수준 및 에이전트 수준 측정항목에 액세스할 수 있습니다. 또는 BigQuery를 사용하여 에이전트 측정항목을 찾아보거나 프로그래매틱 방식으로 액세스할 수 있습니다.

다른 사용자에게 측정항목 액세스 권한을 부여하려면

  1. 파트너 계정에 사용자로 추가합니다.
  2. 비즈니스 커뮤니케이션 개발자 콘솔 또는 BigQuery를 통해 측정항목에 액세스하는 방법을 사용자에게 안내합니다.

파트너 수준 측정항목

파트너 수준 측정항목은 관리하는 모든 상담사의 데이터를 표시합니다.

  1. 비즈니스 커뮤니케이션 개발자 콘솔을 열고 Business Messages Google 계정으로 로그인합니다.
  2. 측정항목 대시보드 카드 하단에서 측정항목 보기를 클릭합니다.

상담사 수준 측정항목

상담사 수준 측정항목은 선택한 상담사의 데이터만 표시합니다.

  1. 비즈니스 커뮤니케이션 개발자 콘솔을 열고 Business Messages Google 계정으로 로그인합니다.

  2. 에이전트를 선택합니다.

    측정항목은 측정항목 대시보드 카드에 표시됩니다.

자세한 측정항목을 보려면 왼쪽 탐색 메뉴에서 애널리틱스를 클릭하세요.

BigQuery를 통한 측정항목

BigQuery는 머신러닝, 간편한 데이터 액세스, 예측 분석 기능을 갖춘 확장 가능하고 비용 효율적인 서버리스 데이터 웨어하우스입니다. 사용 사례에 따라 BigQuery UI 또는 BigQuery API를 통해 BigQuery에서 데이터에 액세스할 수 있습니다. BigQuery 문서를 참조하세요.

BigQuery의 측정항목 데이터는 1년 반 동안 사용할 수 있습니다.

BigQuery에서 에이전트 측정항목에 액세스하려면 다음 요구사항을 충족해야 합니다.

BigQuery에 액세스할 수 있으면 다음 프로젝트, 데이터 세트, 뷰의 에이전트 데이터에 액세스할 수 있습니다.

  • 프로젝트 ID: bizcomms-bm-metrics
  • 데이터 세트: partner_metrics_user_views 및 partner_metrics_sa_views
  • 뷰: message_metrics, session_metrics, quality_metrics, intent_metrics

예를 들어 message_metrics 뷰의 모든 필드를 보려면 다음 쿼리를 사용할 수 있습니다.

SELECT * FROM bizcomms-bm-metrics.partner_metrics_user_views.message_metrics

사용 가능한 측정항목

Business Messages는 메시지, 세션, 품질, 인텐트라는 네 가지 카테고리로 측정항목을 추적합니다.

다음은 측정항목 카테고리에서 공통으로 사용됩니다.

측정항목 정의 샘플 값
date 세션이 생성된 날짜 (UTC)입니다. 2021-12-31
BigQuery의 날짜 유형을 참조하세요.
agent_id 세션 정보를 계산하는 에이전트의 ID입니다. 12345678-9012-3456-789012345678
agent_name 에이전트 이름입니다. Growing Tree Bank
brand_id 에이전트가 속한 브랜드의 ID입니다. 12345678-9012-3456-789012345678
brand_name 에이전트가 속한 브랜드의 이름입니다. Growing Tree International
partner_id 브랜드를 나타내는 파트너의 ID입니다. 12345678-9012-3456-789012345678
partner_name 브랜드를 대표하는 파트너의 이름입니다. XYZ Messaging

메시지 측정항목

메시지 측정항목은 특정 날짜에 전송된 총 메시지 수에서 가져옵니다. 이러한 측정항목에는 다음 항목이 포함됩니다.

측정항목 정의 샘플 값
message_sender 메시지를 보낸 사람 USER,
AGENT
message_type 메시지의 유형입니다. TEXT님,
RICH_TEXT님,
PHOTO님,
RICH_CARD
representative_type 이 메시지를 보낸 담당자의 유형입니다. 사용자가 보낸 메시지의 경우 비어 있습니다. BOT,
HUMAN
total_messages 전송된 총 메일 수입니다. 11

세션 측정항목

세션은 대화의 메시지 및 이벤트와 같은 시간 제한이 있는 상호작용을 그룹화한 것입니다. 메시지가 전송되고 세션이 현재 활성 상태가 아니면 세션이 시작됩니다. 세션이 종료되는 경우

  • 영업시간 기준 24시간 동안 메시지가 없습니다 (사람 전용 메시지 기능이 있는 상담사의 경우](/business-communications/business-messages/guides/how-to/agents/availability). 향후 7일 이내의 영업시간이 24시간 미만인 경우 24시간을 대신 사용합니다.)
  • 30분 동안 메시지가 없음 (봇 전용 메시지 사용 가능 기능이 있는 상담사의 경우)
  • 사용자에게 설문조사를 보내는 경우
  • 사용자가 대화를 삭제할 때
  • 사용자가 에이전트를 차단함

세션 측정항목은 특정 날짜의 활성 세션과 완료된 세션 수의 총합에서 가져옵니다. 이러한 측정항목에는 다음 항목이 포함됩니다.

측정항목 정의 샘플 값
session_initiator 세션을 시작한 사용자 USER,
AGENT
session_initiating_entry_point 세션을 시작한 진입점입니다. EntryPoint를 참조하세요.
session_containment_type 대화의 대표 상호작용 유형으로, 대표 메시지 없음부터 봇 메시지만, 실시간 에이전트 메시지까지 다양합니다. UNRESPONDED님,
BOT_ONLY_CONVERSATION,
LIVE_AGENT_REQUEST_UNFULFILLED,
LIVE_AGENT_CONVERSATION,
CALL_INITIATED
has_agent_response 세션에는 상담사의 응답이 1개 이상 있습니다. TRUE,
FALSE
has_live_agent_response 세션에 실제 상담사의 응답이 1개 이상 있습니다. TRUE,
FALSE
has_live_agent_request 세션에 실제 상담사 요청이 1개 이상 있습니다. TRUE,
FALSE
session_depth_bucket 세션 중에 교환된 메시지의 수입니다. 1님,
2-3,
4-9,
10-24,
25-
survey_sent 이 세션에 대한 설문조사가 전송된 경우 TRUE,
FALSE
survey_responded 사용자가 설문조사에 응답했는지 여부 TRUE,
FALSE
positive_survey_response 설문조사 응답의 평점이 긍정적인지 여부 survey_responded가 TRUE인 경우에만 의미가 있습니다. TRUE,
FALSE
total_sessions 총 세션수입니다. 1000
average_session_depth 세션 중에 주고받은 평균 메시지 수입니다. 23.11

품질 측정항목

품질 측정항목은 특정 날짜에 완료된 총 세션 수에서 가져옵니다. 이러한 측정항목에는 다음 항목이 포함됩니다.

측정항목 정의 샘플 값
date_calculated 측정항목이 계산된 날짜를 나타내는 날짜 (UTC 기준)입니다. 2021-12-31
BigQuery의 날짜 유형을 참조하세요.
state 에이전트의 현재 상태입니다. GOOD_STANDING,
REQUIRES_ATTENTION
survey_count 설문조사 점수를 계산하는 데 사용되는 설문조사 수입니다. 지난 7일 동안의 설문조사 응답이 10개 미만이면 지난 35일 동안의 최신 설문조사 (최대 9개)가 사용됩니다. 그렇지 않으면 지난 7일 동안의 모든 설문조사 응답이 사용됩니다. 84
survey_score 긍정적인 설문조사 응답의 비율입니다. 범위는 0에서 1까지입니다.
session_count MRR을 계산하는 데 사용된 세션 수입니다. 지난 7일간 세션이 3개 미만인 경우 지난 35일 동안의 가장 최근 세션 (최대 9개)이 사용됩니다. 그렇지 않으면 지난 7일 동안의 모든 세션이 사용됩니다. 143
mrr 판매자 응답률 (MRR). 총 세션 수를 기준으로 에이전트 응답 (봇 또는 실시간 에이전트)이 있는 세션 수입니다. 범위는 0에서 1까지입니다.
hmrr 사람의 판매자 응답률 (HMRR). 실시간 에이전트 요청 또는 실시간 에이전트 응답이 하나 이상 포함된 총 세션 수를 기준으로 실제 에이전트 응답이 있는 세션 수입니다. 범위는 0에서 1까지입니다.
live_agent_request_count hmrr를 계산하는 데 사용되는 실시간 상담사 요청 수입니다. 지난 7일 동안 실시간 에이전트 요청이 10개 미만이면 지난 35일 동안 최근 9개의 실시간 에이전트 요청이 사용됩니다. 그렇지 않으면 지난 7일 동안의 모든 실시간 상담사 요청이 사용됩니다. 42
suspension_date 품질이 낮아 상담사가 정지될 수 있는 날짜 (UTC 기준)입니다. `REQUIRES_ATTENTION` 상태인 상담사에만 설정됩니다. 2021-12-31
BigQuery의 날짜 유형을 참조하세요.

인텐트 측정항목

인텐트 측정항목은 머신러닝을 사용하여 에이전트 세션의 인텐트를 식별합니다. 인텐트 측정항목은 특정 날짜에 완료된 세션의 사용자 메시지에서 가져옵니다. 영어로만 제공됩니다. 이러한 측정항목에는 다음 항목이 포함됩니다.

측정항목 정의 샘플 값
intent 세션 인텐트 유형입니다. SALES_LEAD,
SERVICE
count 지정된 intent 유형의 세션 수입니다. 11

커스텀 측정항목 추적

측정항목 환경설정이 다르거나 품질 보고서에서 제공되는 것보다 자세한 정보가 필요한 경우 자체 측정항목 데이터를 캡처할 수 있습니다.

수집할 수 있는 측정항목은 다음과 같습니다.

  • 고객 만족도. 설문조사를 보내 사용자 만족도를 수집하고 추적합니다. 데이터 수집 요구사항에 맞게 설문조사 질문을 맞춤설정할 수 있습니다.
  • 전송된 메시지. 에이전트가 메시지를 보낼 때마다 세부정보를 캡처합니다.
  • 수신된 메시지. 에이전트가 메시지를 수신할 때마다 세부정보를 캡처합니다.
  • 상담사 응답률. 에이전트가 사용자 메시지에 응답하는 빈도를 캡처합니다. 봇과 실제 상담사 응답률의 차이를 추적합니다.
  • 상담사 응답 시간. 에이전트가 사용자 메시지에 응답하는 데 걸리는 시간을 캡처합니다. 봇과 실시간 에이전트 응답 시간 간의 차이를 추적합니다.
  • 전송 확인. DELIVERED 이벤트를 캡처합니다.
  • 수신 확인: READ 이벤트를 캡처합니다.
  • 사용자 참여 발생 시간. IS_TYPING 이벤트, 사용자 응답 수, DELIVERED 또는 READ 이벤트와 다음 사용자 응답 간의 시간 차이를 캡처합니다.

  • 상호작용 유형. 사용자가 메시지에 어떻게 반응하는지 파악합니다. 의미 있는 포스트백 데이터를 사용하여 추천 답장과 작업을 추적하고, 응답 형식을 모니터링하여 사용자가 이미지 또는 일반 문자 메시지를 보내는지 확인하세요.

측정항목을 캡처한 후 비즈니스 니즈에 가장 잘 맞게 파싱하고 구성할 수 있습니다.

실적 모니터링 및 정지 기준

Business Messages는 에이전트 성능을 평가하기 위해 에이전트가 우수한 사용자 환경을 제공할 수 있도록 여러 측정항목을 추적합니다. 상담사가 측정항목 기준점 미만이면 Business Messages에서 주간 상담사 상태 이메일을 통해 경고를 보냅니다. 에이전트가 28일 동안 기준점 미만으로 유지되면 Business Messages에서 에이전트를 정지할 수 있습니다. 에이전트가 정지된 경우 정지된 에이전트 수정을 참조하세요.

Business Messages는 다음 측정항목을 사용하여 에이전트 성능을 추적합니다.

측정항목 설명 볼륨 기준점 보통 볼륨 기준 낮은 볼륨 기준
고객 만족도 (CSAT) 고객 만족도 점수는 상담사와 상담한 후 고객이 경험한 전반적인 경험을 나타냅니다. 설문조사 10개 80% 0%
판매자 응답률 (MRR) 총 세션 수 대비 에이전트 응답 (봇 또는 실시간 에이전트)이 있는 세션 수입니다. 세션수 3회 95% 60%
인간 판매자 응답률 (HMRR) 실시간 에이전트 요청 또는 실시간 에이전트 응답이 하나 이상 포함된 총 세션 수 대비 실제 에이전트 응답이 있는 세션 수입니다. 실제 상담사 요청 10개 95% 0%

각 측정항목의 볼륨은 독립적인 측정항목 볼륨 기준점을 기준으로 측정되며, 이 기준점보다 높으면 에이전트 성능을 해당 측정항목의 정상 볼륨 기준점과 낮은 볼륨 기준점 중에서 측정할 수 있는지 여부를 결정합니다.

예를 들어 에이전트에 설문조사가 9개, 세션 10개, 실시간 에이전트 요청 9개가 있다면 에이전트의 성능은 CSAT(CSAT), MRR 95(MRR, HMRR) 기준점을 기준으로 측정됩니다. 에이전트가 이러한 기준점 중 하나 미만이면 에이전트가 '확인 필요' 상태로 표시됩니다.

에이전트가 28일 이상 '확인 필요' 상태로 유지되면 에이전트가 정지될 수 있습니다.

측정항목 개선

에이전트 성능이 낮은 경우 에이전트가 다음을 수행해야 합니다.

기술적 문제 없이 메시지를 처리하고 답장하세요.

  • 메시지 유형 또는 내용에 관계없이 웹훅이 모든 수신 메시지를 수신, 확인, 처리, 라우팅하는지 확인합니다.
  • 메시지 페이로드에서 필수 필드가 누락된 경우 에이전트에 효과적인 대체 전략이 있는지 확인하세요. 필드가 누락되어 사용자 메시지를 누락하거나 삭제하면 사용자 환경이 저하됩니다.
  • 에이전트가 모든 예상 메시지 유형을 성공적으로 전송하는지 확인합니다.

지능적이고 친절하게 답장하기

  • 모든 메시지에 답장합니다. 자동 답장을 사용하면 일반적인 질문을 해결할 수 있습니다.
  • 사용자의 대화 진입점을 인지하고 이에 따라 대응해야 합니다. 예를 들어 Google 지도에서 유입되는 사용자는 영업시간 및 재고 확인과 같은 위치별 정보에 더 관심이 있을 가능성이 큽니다.
  • 위치 기반 메시지의 경우 응답에 가장 적합한 개인에게 질문을 라우팅합니다.
  • 실제 에이전트를 사용할 수 없는 경우 자동화를 사용하여 사용자에게 응답하세요. 상담사의 채팅 시간과 연락 가능한 방법 (예: 지원 전화번호)을 알립니다.

안내 제공

  • 친근하고 환영하는 어조로 작성된 환영 메시지를 사용하여 에이전트가 할 수 있는 작업에 대한 기대치를 설정합니다.
  • 대화 시작 도구를 사용하여 사용자에게 일반 작업이나 자동화된 작업을 안내합니다.
  • 사용자가 에이전트가 처리할 수 없는 질문을 하면 에이전트가 답변할 수 있는 질문 유형에 대한 안내로 응답합니다.

신중하게 데이터 처리

  • 가능하면 요청하지 말고 받은 메시지에서 위치 및 기타 데이터를 수집하세요.
  • 민감한 정보 (로그인 사용자 인증 정보, 은행/신용 세부정보, 개인 식별 번호)는 요청하지 마세요.
  • 필요한 경우에만 데이터를 요청하세요. 데이터 유출은 나쁜 사용자 경험을 야기합니다.
  • 데이터가 필요한 경우 그 이유와 방법을 명확히 알고 있어야 합니다.

비동기식으로 동작

  • 대화를 비활성 상태로 표시하지 않습니다. Business Messages를 통한 통신은 비동기적이므로 사용자가 즉시 응답하지 않을 수 있습니다.
  • 응답하지 않는 사용자에게는 후속 조치를 취하지 않습니다. 대화에서 나간 후에도 사용자는 연결 해제되지 않습니다.

에이전트 성능을 얻기 위한 추가 지침은 요구사항 및 가이드라인을 참조하세요.