측정항목을 사용하여 에이전트 성능 모니터링

출시 후 Business Messages는 주요 성능 측정항목을 추적합니다. 확인할 수 있습니다 비즈니스 프로필을 통해 측정항목에 액세스할 수 커뮤니케이션 개발자 콘솔 또는 BigQuery를 통해 저장할 수 있습니다

에이전트의 성공을 측정하기 위해 추가 분석이 필요한 경우 이벤트 및 기타 속성을 모니터링하여 맞춤 측정항목을 추적할 수 있습니다. 에이전트의 대화를 보여줍니다

측정항목 액세스

데이터 스튜디오 보고서에서 파트너 수준 및 에이전트 수준 측정항목에 액세스할 수 있습니다. 비즈니스 커뮤니케이션 개발자 콘솔을 통해 얻을 수 있습니다 또는 다음 작업을 수행할 수 있습니다. BigQuery를 사용하여 에이전트 측정항목을 탐색하거나 프로그래매틱 방식으로 액세스합니다.

다른 사용자에게 측정항목 액세스 권한을 부여하려면

  1. 사용자를 사용자로 추가 파트너 계정에 연결합니다.
  2. 비즈니스 커뮤니케이션을 통해 측정항목에 액세스하는 방법을 안내하세요. BigQuery에 액세스할 수 있습니다.

파트너 수준 측정항목

파트너 수준 측정항목은 내가 관리하는 모든 상담사의 데이터를 표시합니다.

  1. Business Communications Developer(비즈니스 커뮤니케이션 개발자)를 엽니다. 콘솔 Business Messages Google 계정으로 로그인합니다.
  2. 측정항목 대시보드 카드 하단에서 측정항목 보기를 클릭합니다.

에이전트 수준 측정항목

에이전트 수준 측정항목은 선택한 에이전트의 데이터만 표시합니다.

  1. Business Communications Developer(비즈니스 커뮤니케이션 개발자)를 엽니다. 콘솔 Business Messages Google 계정으로 로그인합니다.

  2. 에이전트를 선택합니다.

    측정항목은 측정항목 대시보드 카드에 표시됩니다.

더 자세한 측정항목을 보려면 왼쪽 탐색 메뉴에서 애널리틱스를 클릭합니다.

BigQuery를 통한 측정항목

BigQuery는 서버리스이므로 머신러닝, 용이한 데이터를 갖춘 확장 가능하고 비용 효율적인 데이터 웨어하우스 예측 분석이 포함됩니다 BigQuery의 데이터에는 BigQuery UI 또는 BigQuery API를 선택할 수 있습니다 자세한 내용은 BigQuery 문서를 참조하세요.

BigQuery의 측정항목 데이터는 1.5년 동안 사용할 수 있습니다.

BigQuery에서 에이전트 측정항목에 액세스하려면 다음 요건을 충족해야 합니다. 요구사항:

BigQuery에 액세스할 수 있는 경우 프로젝트, 데이터 세트, 보기가 포함되어 있습니다

  • 프로젝트 ID: bizcomms-bm-metrics
  • 데이터 세트: partner_metrics_user_views 및 partner_metrics_sa_views
  • 뷰: message_metrics, session_metrics, quality_metrics 및 intent_metrics

예를 들어 message_metrics 뷰에서 모든 필드를 보려면 다음 쿼리를 실행합니다.

SELECT * FROM bizcomms-bm-metrics.partner_metrics_user_views.message_metrics

사용 가능한 측정항목

Business Messages는 다음 네 가지 카테고리에서 측정항목을 추적합니다. 메시지, 세션, Quality, Intent를 사용하여 쿼리합니다.

다음 항목은 측정항목 카테고리 전반에서 공통적으로 사용됩니다.

측정항목 정의 샘플 값
date 세션이 생성된 날짜 (UTC)입니다. 2021-12-31
<ph type="x-smartling-placeholder"></ph>을(를) 참조하세요. BigQuery의 날짜 유형.
agent_id 세션 정보를 계산 중인 상담사의 ID입니다. 12345678-9012-3456-789012345678
agent_name 에이전트 이름입니다. Growing Tree Bank
brand_id 상담사가 속한 브랜드의 ID입니다. 12345678-9012-3456-789012345678
brand_name 상담사가 속한 브랜드의 이름입니다. Growing Tree International
partner_id 브랜드를 나타내는 파트너의 ID입니다. 12345678-9012-3456-789012345678
partner_name 브랜드를 대표하는 파트너의 이름입니다. XYZ Messaging

메시지 측정항목

메시지 측정항목은 해당 메시지에 대해 전송된 총 메시지 수로부터 지정할 수 있습니다. 이러한 측정항목에는 다음 항목이 포함됩니다.

측정항목 정의 샘플 값
message_sender 메시지를 보낸 사람 USER,
AGENT
message_type 메시지 유형입니다. TEXT,
RICH_TEXT,
PHOTO,
RICH_CARD
representative_type 이 메시지를 보낸 담당자의 유형입니다. 비어 있는 메시지 표시 전송됩니다. BOT,
HUMAN
total_messages 전송된 총 메시지 수입니다. 11

세션 측정항목

세션은 시간 제한이 있는 상호작용(예: 메시지, 대화의 이벤트를 표시합니다. 메시지가 전송되고 세션이 시작되면 현재 활성화되어 있지 않습니다. 세션 종료 시

  • 영업시간 기준 24시간 동안 메시지가 없습니다 (사람만 사용하는 상담사의 경우). 메시지 사용 가능 여부] (/business-communications/business-messages/guides/how-to/agents /availability)을 제공합니다. < 영업시간 기준 24시간 이내에 대신 24시간을 사용하세요.)
  • 30분 동안 메시지가 없습니다 (봇 전용 메시지 기능을 사용하는 상담사의 경우). 재고)
  • 설문조사를 보내는 경우 사용자에게
  • 사용자가 대화를 삭제할 때
  • 사용자가 상담사를 차단하는 경우

세션 측정항목은 활성 및 활성 상태의 총 세션 수에서 산출됩니다. 표시됩니다. 이러한 측정항목에는 다음 항목이 포함됩니다.

측정항목 정의 샘플 값
session_initiator 세션을 시작한 사용자입니다. USER,
AGENT
session_initiating_entry_point 세션을 시작한 진입점입니다. EntryPoint를 참고하세요.
session_containment_type 대화의 대표적인 상호작용 유형 대표 메시지 없음, 봇 메시지, 실제 상담사에게 메시지를 보낼 수 있습니다 UNRESPONDED,
BOT_ONLY_CONVERSATION,
LIVE_AGENT_REQUEST_UNFULFILLED,
LIVE_AGENT_CONVERSATION,
CALL_INITIATED
has_agent_response 세션에 상담사의 응답이 하나 이상 있습니다. TRUE,
FALSE
has_live_agent_response 세션에 실제 상담사가 보낸 응답이 하나 이상 있습니다. TRUE,
FALSE
has_live_agent_request 세션에 실제 상담사 요청이 1개 이상 있습니다. TRUE,
FALSE
session_depth_bucket 세션 중에 교환된 메시지 수입니다. 1,
2-3,
4-9,
10-24,
25-
survey_sent 이 세션에 대한 설문조사가 전송되었는지 여부입니다. TRUE,
FALSE
survey_responded 사용자가 설문조사에 응답했는지 여부 TRUE,
FALSE
positive_survey_response 설문조사 응답이 긍정적인지 여부입니다. 다음 경우에만 의미가 있음 survey_responded이 TRUE입니다. TRUE,
FALSE
total_sessions 총 세션수입니다. 1000
average_session_depth 세션 중에 교환된 평균 메시지 수입니다. 23.11

품질 측정항목

품질 측정항목은 특정 기간에 대해 완료된 세션수의 지정할 수 있습니다. 이러한 측정항목에는 다음 항목이 포함됩니다.

측정항목 정의 샘플 값
date_calculated 측정항목이 계산된 날짜를 나타내는 날짜 (UTC)입니다. 2021-12-31
<ph type="x-smartling-placeholder"></ph>을(를) 참조하세요. BigQuery의 날짜 유형.
state 상담사의 현재 상태입니다. GOOD_STANDING,
REQUIRES_ATTENTION
survey_count 설문조사 점수를 계산하는 데 사용된 설문조사 수입니다. 만약 최근 7일간 설문조사 응답이 10개 미만이거나 설문조사 (최대 9개)가 사용됩니다. 그 외의 경우에는 모든 설문조사가 지난 7일간의 응답 수가 사용됩니다 84
survey_score 긍정적인 설문조사 응답의 비율입니다. 범위는 0에서 1까지입니다.
session_count MRR 계산에 사용된 세션수 3회 미만인 경우 최근 7일 동안의 세션, 이후 가장 최근 세션 (최대 9개) 사용됩니다. 그 밖의 최근 7개 기간의 모든 세션 사용됩니다. 143
mrr 판매자 응답률 (MRR). 특정 기간 동안 실제 상담사의 응답 (봇 또는 실제 상담사)을 세션. 범위는 0에서 1까지입니다.
hmrr 판매자 응답률 (HMRR). 사용자가 광고를 본 세션수는 총 세션 수 대비 실제 상담사 응답이 있었습니다. 하나 이상의 실제 에이전트 요청 또는 실제 에이전트 응답이 포함되어 있습니다. 범위는 0에서 1까지입니다.
live_agent_request_count hmrr 계산에 사용된 실시간 에이전트 요청 수입니다. 만약 지난 7일 동안 실제 상담사 요청이 10건 미만인 경우 지난 35일 동안의 가장 최근 실시간 상담사 요청 9개가 사용됩니다. 그 외의 경우에는 지난 7일 동안의 모든 실시간 에이전트 요청이 사용됩니다. 42
suspension_date 품질 문제로 인해 상담사가 정지될 수 있는 날짜 (UTC 기준)입니다. `REQUIRES_ATTENTION` 상태인 에이전트에만 설정됩니다. 2021-12-31
<ph type="x-smartling-placeholder"></ph>을(를) 참조하세요. BigQuery의 날짜 유형.

인텐트 측정항목

인텐트 측정항목은 머신러닝을 사용하여 있습니다. 인텐트 측정항목은 확인할 수 있습니다 영어로만 제공됩니다. 이러한 측정항목에는 다음 항목이 포함됩니다.

측정항목 정의 샘플 값
intent 세션 인텐트 유형입니다. SALES_LEAD,
SERVICE
count 지정된 intent 유형의 세션 수입니다. 11

맞춤 측정항목 추적

측정항목 선호도가 다르거나 더 자세한 정보가 필요한 경우 품질 보고서에서 사용할 수 있는 것보다 자체 측정항목 데이터를 활용할 수 있습니다

다음과 같은 측정항목을 캡처할 수 있습니다.

  • 고객 만족도. 보내기 설문조사 사용하여 사용자 만족도를 파악하고 추적할 수 있습니다 설문조사를 맞춤설정할 수 있습니다. 질문의 답을 찾을 수 있습니다.
  • 메시지가 전송되었습니다. 에이전트가 실행될 때마다 세부정보 캡처 메시지를 전송합니다.
  • 메시지가 수신됨: 에이전트가 실행될 때마다 세부정보 캡처 메시지를 받습니다.
  • 상담사 응답률. 에이전트가 사용자에게 응답하는 빈도 캡처하기 메시지를 보낼 수 있습니다 봇 응답률과 실제 상담사 응답률 간의 차이를 추적합니다.
  • 상담사 응답 시간. 에이전트가 응답하는 데 걸리는 시간 캡처하기 사용자 메시지 봇 응답과 실제 상담사 응답 간 차이점 추적 표시됩니다.
  • 전송 확인. DELIVERED 이벤트를 캡처합니다.
  • 수신 확인: READ 이벤트를 캡처합니다.
  • 사용자 참여 발생 시간. 사용자 수인 IS_TYPING 이벤트 포착 DELIVERED 또는 READ 이벤트 간의 시차와 확인할 수 있습니다.

  • 상호작용 유형. 사용자가 메시지에 어떻게 반응하는지 파악하세요. 사용 의미 있는 포스트백 데이터를 사용하여 추천 답변 및 작업을 추적하고 사용자가 이미지 또는 일반 텍스트 메시지를 보내는지 식별할 수 있습니다.

측정항목을 캡처한 후 가장 적합한 방식으로 파싱하고 정리할 수 있습니다. 도움이 됩니다

성능 모니터링 및 정지 기준

Business Messages는 에이전트 성능을 평가하기 위해 여러 측정항목을 추적하여 좋은 사용자 환경을 제공하는지 고려해야 합니다 상담사가 측정항목 아래로 떨어지는 경우 기준점에 도달하면 Business Messages에서 매주 상담사 상태 이메일을 통해 경고를 보냅니다. 만약 기준점 미만으로 유지하면 Business Messages는 있습니다. 에이전트가 정지된 경우 일시정지된 에이전트 문제 해결 에이전트와 유사한 기능을 제공합니다.

Business Messages는 다음 측정항목을 사용하여 에이전트 성능을 추적합니다.

측정항목 설명 볼륨 기준 보통 볼륨 기준 낮은 볼륨 기준
고객만족도 (CSAT) 고객 만족도 점수는 전반적인 경험을 나타냅니다. 고객이 상담원과 연락한 후 설문조사 10회 80% 0%
판매자 응답률 (MRR) 상담사 응답 (봇 또는 실제 상담사)이 발생한 세션 수입니다. . 세션수 3회 95% 60%
판매자 응답률 (HMRR) 해당 기간과 관련하여 실시간 상담사 응답이 발생한 세션 수입니다. 하나 이상의 실시간 에이전트 요청이 포함된 총 세션 수입니다. 실시간 상담사 응답 실시간 에이전트 요청 10개 95% 0%

각 측정항목의 볼륨은 독립적인 측정항목 볼륨 임곗값을 기준으로 측정됩니다. 에이전트의 성능을 측정할 수 있는지 여부를 결정합니다. 해당 측정항목의 정상 볼륨 임곗값 또는 적은 볼륨 임곗값과 비교합니다.

예를 들어 상담사가 설문조사 9개, 세션 10개, 실제 상담사 요청 9개가 있는 경우 에이전트의 성능은 각 에이전트의 임곗값 0을 기준으로 CSAT, MRR의 경우 95, HMRR의 경우 0 상담사가 이러한 기준점 중 하나라도 미달하는 경우 에이전트는 '주의 필요' 있습니다.

상담사가 계속 '주의 필요' 상태로 유지되는 경우 상태를 28일 이상 이 경우 상담사가 정지될 수 있습니다.

측정항목 개선

에이전트 성능이 낮은 경우 에이전트가 다음을 수행하는지 확인하세요.

기술적인 문제 없이 메시지를 처리하고 답장합니다.

  • 웹훅이 수신, 모든 수신 메시지를 확인, 처리 및 라우팅합니다. 지정할 수 있습니다.
  • 에이전트에 문제가 생길 경우를 대비해 효과적인 대체 전략이 있는지 메시지 페이로드에서 필수 입력란이 누락되었습니다. 사용자 누락 또는 삭제 사용자 환경을 저해할 수 있습니다.
  • 에이전트가 성공적으로 작동하는지 확인 모두 전송 예상 메시지 유형

친절하고 친절한 태도로 응답

  • 모든 메일에 답장 자동 답장은 자주 발생하는 문제를 해결하는 데 도움이 됩니다. 개의 질문이 있습니다.
  • 사용자의 적절하게 대응해야 합니다 예를 들어 Google 지도에서 유입된 사용자는 영업시간, 재고 확인 등 위치별 정보
  • 위치 기반 메시지의 경우 가장 적합한 담당자에게 질문을 라우트합니다. 대응할 수 있습니다.
  • 실제 에이전트를 사용할 수 없는 경우 자동화를 사용하여 사용자에게 응답합니다. 에이전트의 채팅 시간과 연락 가능한 다른 방법을 알려주세요. 연락해야 합니다 (예: 지원 전화번호).

안내 제공

  • 환영 인사 메시지, 친근하고 환영하는 어조로 작성하여 할 수 있습니다
  • 대화 사용 시작 조건 을 사용하여 일반적이거나 자동화된 작업을 사용자에게 안내합니다.
  • 사용자가 에이전트가 처리할 수 없는 질문을 하는 경우 다음과 같이 응답합니다. 대답할 수 있는 질문의 종류에 대한 지침을 얻을 수 있습니다.

신중하게 데이터 처리

  • 가능한 한 내가 보낸 메시지에서 위치 및 기타 데이터를 수집하세요. 수신 그것을 요청하기보다는
  • 민감한 정보 (로그인 사용자 인증 정보, 은행/신용카드)를 요청하지 마세요. 개인 식별 번호)
  • 필요한 경우에만 데이터를 요청하세요. 데이터 초과 도달범위로 인해 불량 사용자 생성 경험해 볼 수 있습니다
  • 데이터가 필요한 경우 그 이유와 사용 방법을 명확하게 밝히세요.

비동기식으로 동작

  • 대화를 비활성 상태로 표시하지 않습니다. 비즈니스를 통한 통신 메시지는 비동기식이므로 사용자가 즉시 응답하지 않을 수 있습니다.
  • 응답하지 않는 사용자에게 후속 조치를 취하지 않습니다. 다음 날짜 이후에 사용자가 연결 해제되지 않음 대화에서 벗어남

에이전트 성능을 달성하는 방법에 대한 추가 안내는 요구사항을 확인하세요. 및 가이드라인을 참고하세요.