Setelah Anda melakukan peluncuran, Business Messages melacak metrik performa utama untuk agen Anda. Anda dapat mengakses metrik Anda melalui tab Bisnis Developer Komunikasi Konsol atau melalui BigQuery.
Jika membutuhkan analitik tambahan untuk mengukur keberhasilan agen, Anda dapat melacak metrik kustom dengan memantau peristiwa dan atribut lain percakapan agen Anda.
Mengakses metrik
Anda dapat mengakses metrik tingkat partner dan tingkat agen dalam laporan Data Studio melalui Konsol Developer Business Communications. Atau, Anda dapat menggunakan BigQuery untuk menjelajahi atau mengakses metrik agen secara terprogram.
Untuk memberi metrik akses ke pengguna lain,
- Menambahkannya sebagai pengguna ke akun partner Anda.
- Berikan petunjuk kepada mereka tentang cara mengakses metrik melalui Business Communications Konsol Play, atau BigQuery.
Metrik tingkat partner
Metrik tingkat partner menampilkan data untuk semua agen yang Anda kelola.
- Buka Business Communications Developer Konsol dan login dengan Akun Google Business Messages Anda.
- Di bagian bawah kartu Dasbor metrik, klik Lihat metrik.
Metrik tingkat agen
Metrik tingkat agen hanya menampilkan data untuk agen yang dipilih.
- Buka Business Communications Developer Konsol dan login dengan Akun Google Business Messages Anda.
Pilih agen Anda.
Metrik muncul di kartu Dasbor metrik.
Untuk melihat metrik yang lebih mendetail, klik Analytics di navigasi sebelah kiri.
Metrik melalui BigQuery
BigQuery adalah model serverless, data warehouse yang skalabel, dan hemat biaya dengan machine learning, data yang mudah akses, dan analisis prediktif. Anda dapat mengakses data di BigQuery melalui UI BigQuery atau BigQuery API tergantung pada kasus penggunaan Anda. Lihat laporan BigQuery dokumentasi tambahan.
Data metrik di BigQuery tersedia selama 1,5 tahun.
Untuk mengakses metrik agen di BigQuery, Anda harus memenuhi persyaratan berikut persyaratan:
- Akses ke platform Google Cloud. Jika Anda adalah admin, pelajari cara mengubah di GCP untuk organisasi Anda.
- Akses BigQuery. Pelajari cara BigQuery.
- Project dengan penyiapan penagihan di BigQuery. Pelajari cara menyiapkan Google Cloud penagihan. Jika Anda belum memiliki project dengan penyiapan penagihan, Anda dapat menggunakan data BigQuery di lingkungan uji coba. Pelajari cara mencobanya BigQuery.
Saat memiliki akses ke BigQuery, Anda dapat mengakses data agen di project, set data, dan tampilan berikut:
- ID Project:
bizcomms-bm-metrics - Set data:
partner_metrics_user_viewsdanpartner_metrics_sa_views - Penayangan:
message_metrics,session_metrics,quality_metrics, danintent_metrics
Misalnya, untuk melihat semua kolom dari tampilan message_metrics, Anda dapat menggunakan kueri berikut:
SELECT * FROM bizcomms-bm-metrics.partner_metrics_user_views.message_metrics
Metrik yang tersedia
Business Messages melacak metrik di empat kategori: Pesan, Sesi, Kualitas, dan Niat.
Item berikut umum di seluruh kategori metrik:
| Metrik | Definisi | Nilai contoh |
|---|---|---|
date | Hari (dalam UTC) saat sesi dibuat. | 2021-12-31 Lihat Jenis Tanggal BigQuery. |
agent_id | ID agen yang informasi sesinya sedang dihitung. | 12345678-9012-3456-789012345678 |
agent_name | Nama agen. | Growing Tree Bank |
brand_id | ID brand tempat agen berada. | 12345678-9012-3456-789012345678 |
brand_name | Nama brand tempat agen berada. | Growing Tree International |
partner_id | ID partner yang mewakili brand. | 12345678-9012-3456-789012345678 |
partner_name | Nama partner yang mewakili brand. | XYZ Messaging |
Metrik pesan
Metrik pesan diambil dari jumlah total pesan yang dikirim untuk hari tertentu. Metrik ini mencakup item berikut:
| Metrik | Definisi | Nilai contoh |
|---|---|---|
message_sender | Siapa yang mengirim pesan. | USER,AGENT |
message_type | Jenis pesan. | TEXT,RICH_TEXT,PHOTO,RICH_CARD |
representative_type | Jenis perwakilan yang mengirim pesan ini. Kosong untuk pesan dikirim oleh pengguna. | BOT,HUMAN |
total_messages | Jumlah total pesan yang dikirim. | 11 |
Metrik sesi
Sesi adalah pengelompokan interaksi yang terikat waktu, seperti pesan dan peristiwa dalam suatu percakapan. Sesi dimulai ketika pesan dikirim dan sesi sedang tidak aktif. Sesi ditutup ketika
- tidak ada pesan selama 24 jam kerja (untuk agen khusus manusia ketersediaan fitur pesan] (/business-communications/business-messages/guides/how-to/agents /ketersediaan). Jika ada < 24 jam kerja dalam 7 hari ke depan, kami akan gunakan 24 jam.)
- tidak ada pesan selama 30 menit (untuk agen dengan pesan khusus Bot ketersediaan)
- Anda mengirimkan survei kepada pengguna
- pengguna menghapus percakapan
- pengguna memblokir agen
Metrik sesi diambil dari jumlah total sesi, baik aktif maupun selesai, untuk hari tertentu. Metrik ini mencakup item berikut:
| Metrik | Definisi | Nilai contoh |
|---|---|---|
session_initiator | Siapa yang memulai sesi. | USER,AGENT |
session_initiating_entry_point | Titik entri yang memulai sesi. | Lihat EntryPoint. |
session_containment_type | Jenis interaksi representatif dalam percakapan, mulai dari dari tidak ada pesan representatif, hingga pesan bot saja, hingga ke agen langsung membuat pesan teks. | UNRESPONDED,BOT_ONLY_CONVERSATION,LIVE_AGENT_REQUEST_UNFULFILLED,LIVE_AGENT_CONVERSATION,CALL_INITIATED |
has_agent_response | Sesi memiliki setidaknya satu respons dari agen. | TRUE,FALSE |
has_live_agent_response | Sesi memiliki setidaknya satu respons dari agen langsung. | TRUE,FALSE |
has_live_agent_request | Sesi memiliki setidaknya satu permintaan agen langsung. | TRUE,FALSE |
session_depth_bucket | Jumlah pesan yang dipertukarkan selama sesi. | 1,2-3,4-9,10-24,25- |
survey_sent | Apakah survei dikirim untuk sesi ini. | TRUE,FALSE |
survey_responded | Jika pengguna merespons survei. | TRUE,FALSE |
positive_survey_response | Apakah respons survei memiliki rating positif. Hanya berguna ketika survey_responded adalah TRUE. | TRUE,FALSE |
total_sessions | Jumlah total sesi. | 1000 |
average_session_depth | Jumlah rata-rata pesan yang dikirim dan diterima selama sesi. | 23.11 |
Metrik kualitas
Metrik kualitas diambil dari jumlah total sesi yang diselesaikan untuk hari tertentu. Metrik ini mencakup item berikut:
| Metrik | Definisi | Nilai contoh |
|---|---|---|
date_calculated | Hari (dalam UTC) yang menunjukkan waktu metrik dihitung. | 2021-12-31 Lihat Jenis Tanggal BigQuery. |
state | Status agen saat ini. | GOOD_STANDING,REQUIRES_ATTENTION |
survey_count | Jumlah survei yang digunakan untuk menghitung skor survei. Seandainya ada kurang dari 10 respons survei selama 7 hari terakhir, maka respons survei yang survei (maksimal 9) dari 35 hari terakhir akan digunakan. Jika tidak, semua survei respons selama 7 hari terakhir akan digunakan. | 84 |
survey_score | Persentase respons survei positif. | Rentang dari 0 hingga 1. |
session_count | Jumlah sesi yang digunakan untuk menghitung MRR. Jika ada kurang dari 3 sesi selama 7 hari terakhir, kemudian sesi terbaru (maksimal 9) dari 35 hari terakhir digunakan. Sebaliknya, semua sesi selama 7 terakhir hari digunakan. | 143 |
mrr | Rasio respons penjual (MRR). Jumlah sesi yang memiliki respons agen (bot atau agen langsung) terkait dengan jumlah total sesi. | Rentang dari 0 hingga 1. |
hmrr | Rasio respons penjual manusia (HMRR). Jumlah sesi yang memiliki respons agen langsung relatif terhadap jumlah total sesi yang berisi satu atau beberapa permintaan agen langsung atau respons agen langsung. | Rentang dari 0 hingga 1. |
live_agent_request_count | Jumlah permintaan agen langsung yang digunakan untuk menghitung hmrr. Jika ada kurang dari 10 permintaan agen langsung selama 7 hari terakhir, maka 9 permintaan agen langsung terbaru dari 35 hari terakhir digunakan. Jika tidak, semua permintaan agen langsung selama 7 hari terakhir akan digunakan. | 42 |
suspension_date | Hari (dalam UTC) saat agen dapat ditangguhkan karena kualitas rendah. Hanya ditetapkan untuk agen dengan status `REQUIRES_ATTENTION`. | 2021-12-31 Lihat Jenis Tanggal BigQuery. |
Metrik intent
Metrik niat menggunakan machine learning untuk mengidentifikasi maksud sesi dengan agen keamanan. Metrik intent diambil dari pesan pengguna di sesi yang telah selesai untuk hari tertentu. Hanya dalam bahasa Inggris. Metrik ini mencakup item berikut:
| Metrik | Definisi | Nilai contoh |
|---|---|---|
intent | Jenis intent sesi. | SALES_LEAD,SERVICE |
count | Jumlah sesi dengan jenis intent yang ditentukan. | 11 |
Melacak metrik kustom
Jika Anda memiliki preferensi metrik yang berbeda atau memerlukan informasi yang lebih mendalam daripada yang tersedia di laporan kualitas, Anda dapat mengambil data metrik Anda sendiri.
Berikut adalah beberapa metrik yang mungkin Anda tangkap:
- Kepuasan pelanggan. Kirim survei untuk menangkap dan melacak kepuasan pengguna. Anda dapat menyesuaikan survei yang sesuai dengan kebutuhan pengumpulan data Anda.
- Pesan terkirim. Catat detail setiap kali agen Anda mengirim pesan.
- Pesan diterima. Catat detail setiap kali agen Anda menerima pesan.
- Rasio respons agen. Mencatat seberapa sering agen Anda merespons pengguna membuat pesan teks. Lacak perbedaan rasio respons bot dan agen langsung.
- Waktu respons agen. Catat waktu yang dibutuhkan agen untuk merespons pesan pengguna. Lacak perbedaan antara respons bot dan agen langsung kali.
- Tanda terima pengiriman. Merekam peristiwa
DELIVERED. - Tanda sudah dibaca. Merekam peristiwa
READ. - Engagement pengguna. Catat peristiwa
IS_TYPING, jumlah pengguna respons, dan perbedaan waktu antara peristiwaDELIVEREDatauREADdan tanggapan pengguna berikut. Jenis interaksi. Identifikasi cara pengguna merespons pesan Anda. Gunakan data postback yang bermakna untuk melacak balasan dan tindakan yang disarankan, serta format respons untuk mengidentifikasi apakah pengguna mengirim gambar atau pesan teks biasa.
Setelah metrik diperoleh, Anda dapat mengurai dan mengaturnya sesuai kebutuhan kebutuhan bisnis Anda.
Nilai minimum penangguhan dan pemantauan performa
Untuk menilai performa agen, Business Messages melacak beberapa metrik untuk memastikan bahwa agen dapat memberikan pengalaman pengguna yang baik. Jika agen berada di bawah metrik minimum, Business Messages akan memperingatkan Anda melalui email status agen mingguan. Jika agen tetap di bawah nilai minimum selama 28 hari, Business Messages dapat menangguhkan agen keamanan. Jika agen Anda ditangguhkan, lihat Memperbaiki masalah yang ditangguhkan agen.
Business Messages menggunakan metrik berikut untuk melacak performa agen:
| Metrik | Deskripsi | Ambang batas volume | Ambang batas volume normal | Batas volume rendah |
|---|---|---|---|---|
| Kepuasan pelanggan (CSAT) | Skor kepuasan pelanggan menunjukkan keseluruhan pengalaman yang dimiliki pelanggan setelah berinteraksi dengan agen. | 10 survei | 80% | 0% |
| Rasio respons penjual (MRR) | Jumlah sesi yang memiliki respons agen (bot atau agen langsung) relatif terhadap jumlah total sesi. | 3 sesi | 95% | 60% |
| Rasio respons penjual manusia (HMRR) | Jumlah sesi yang memiliki respons agen langsung relatif terhadap jumlah total sesi yang berisi satu atau beberapa permintaan agen langsung atau respons agen langsung | 10 permintaan agen langsung | 95% | 0% |
Volume setiap metrik diukur dengan batas volume metrik independen, di atas atau di bawahnya, menentukan apakah performa agen dapat diukur terhadap batas volume normal atau nilai minimum volume rendah untuk metrik tersebut.
Misalnya, jika agen memiliki 9 survei, 10 sesi, dan 9 permintaan agen langsung, maka kinerja agen diukur terhadap ambang batas 0 untuk CSAT, 95 untuk MRR dan 0 untuk HMRR. Jika agen berada di bawah salah satu dari nilai minimum ini, agen ditandai di bagian 'Perlu diperhatikan' status.
Jika agen masih berada di 'Perlu diperhatikan' status selama 28 hari atau lebih, maka agen dapat ditangguhkan.
Meningkatkan metrik Anda
Jika performa agen Anda rendah, pastikan agen melakukan hal berikut.
Memproses dan merespons pesan tanpa masalah teknis
- Konfirmasi bahwa webhook Anda menerima, mengakui, memproses, dan mengarahkan semua pesan masuk, terlepas dari jenis atau isi pesan.
- Pastikan agen Anda memiliki strategi penggantian yang efektif jika terjadi bidang yang wajib diisi masih kosong di dalam payload pesan. Pengguna tidak ada atau hilang pesan karena suatu bidang hilang akan menghasilkan pengalaman pengguna yang buruk.
- Konfirmasi bahwa agen Anda berhasil mengirim semua jenis pesan yang diharapkan.
Balas dengan cerdas dan dengan penuh kasih sayang
- Membalas setiap pesan. Balasan otomatis dapat membantu Anda mengatasi masalah semua pertanyaan.
- Perhatikan titik entri percakapan dan memberikan respons yang sesuai. Misalnya, pengguna yang berasal dari Google Maps lebih cenderung tertarik pada informasi spesifik per lokasi seperti jam buka dan cek saham.
- Untuk pesan berbasis lokasi, arahkan pertanyaan kepada individu yang paling sesuai yang sesuai untuk meresponsnya.
- Jika agen langsung tidak tersedia, gunakan otomatisasi untuk merespons pengguna. Beri tahu mereka jam kerja agen Anda dan cara lain untuk menghubungi mereka seseorang (misalnya, nomor telepon dukungan).
Menyediakan panduan
- Gunakan selamat datang pesan ini, ditulis dengan nada yang bersahabat, untuk menetapkan ekspektasi tentang apa dilakukan agen Anda.
- Gunakan percakapan pemicu untuk memandu pengguna menyelesaikan tugas-tugas umum atau otomatis.
- Jika pengguna mengajukan pertanyaan yang tidak dapat ditangani agen Anda, tanggapi dengan panduan tentang jenis pertanyaan yang dapat dijawab.
Tangani data dengan hati-hati
- Jika memungkinkan, kumpulkan lokasi dan data lain dari pesan yang Anda terima daripada memintanya.
- Jangan meminta informasi sensitif (kredensial login, perbankan/kredit detail, nomor identitas pribadi)
- Hanya minta data saat diperlukan. Penjangkauan data yang berlebihan menciptakan pengguna yang buruk pengalaman yang lancar bagi developer.
- Saat Anda membutuhkan data, jelaskan mengapa dan bagaimana Anda akan menggunakannya.
Berperilaku secara asinkron
- Jangan tandai percakapan sebagai tidak aktif. Komunikasi melalui Bisnis Pesan bersifat asinkron, sehingga pengguna mungkin tidak langsung merespons.
- Jangan menindaklanjuti pengguna yang tidak responsif. Pengguna tidak terputus setelah keluar dari percakapan.
Untuk mendapatkan panduan tambahan tentang cara mencapai performa agen, lihat persyaratan dan pedoman kami.