Saat AI Berbuat Salah: Mengapa Human in the Loop AI untuk Customer Service Sangat Krusial?

Kini, makin banyak bisnis yang memberikan kewenangan penuh ke sistem AI untuk mengambil keputusan mandiri. Mulai dari menentukan status komplain, proses refund, hingga menyelesaikan kasus pelanggan, semuanya dilakukan tanpa keterlibatan manusia.

Pertanyaan krusialnya: siapa yang bertanggung jawab ketika keputusan sistem tersebut keliru dan merugikan pelanggan?

Guna mencegah hal-hal yang tidak diinginkan, pendekatan human in the loop AI untuk customer service menjadi fondasi penting untuk menjaga akuntabilitas dan kontrol kualitas layanan.

Untuk membedah dampaknya secara riil, kami berbincang dengan Vicent Asy Syams Bioma, praktisi Customer Protection perbankan. Beliau membagikan sudut pandangnya dalam memastikan kepatuhan hukum sekaligus memimpin adopsi teknologi AI di perusahaannya.

Mengapa Akuntabilitas AI Lebih Krusial Daripada Seberapa Pintar Teknologinya?

Di balik pesatnya adopsi AI, pertanyaan mendasar yang sering terabaikan adalah soal akuntabilitas: siapa yang bertanggung jawab saat AI mengambil keputusan keliru? 

Di sinilah penerapan human in the loop AI untuk customer service menjadi krusial.

Bagi Vicent, tantangan terbesar bukanlah kecerdasan AI, melainkan konsistensi akurasi datanya.

“Keunggulan AI ada pada kecepatan, tetapi karena industri seperti perbankan menuntut efektivitas, jawaban yang diberikan harus tepat, bukan sekadar cepat.” – Vicent Asy Syams Bioma

Masalah ketepatan ini biasanya muncul saat ada informasi yang berubah, seperti tanggal berlaku promo. Jika data terbaru tidak otomatis terhubung ke sistem, tim harus memperbaruinya secara manual agar AI tidak memberikan informasi expired yang bisa menyesatkan pelanggan.

Soal keamanan, perusahaannya pun menerapkannya dengan sangat ketat dengan menempatkan dashboard pengelola chatbot secara on-premise. Artinya seluruh sistem disimpan di server internal milik bank dan terisolasi dari jaringan internet luar agar data nasabah tidak bisa diakses sembarangan oleh pihak ketiga.

Jenis Keputusan yang Tidak Boleh Diserahkan Penuh Tanpa Human in the Loop AI

Tidak semua transaksi aman diserahkan sepenuhnya ke sistem otomatis. Berdasarkan pengujian internal, tingkat akurasi AI berada di angka 86%, yang berarti masih ada 14% risiko kesalahan.

Dalam praktiknya, tingkat toleransi terhadap risiko ini kerap dibedakan berdasarkan segmen nasabah.

Banyak perusahaan menganggap risiko kesalahan AI pada nasabah retail lebih mudah ditoleransi dibanding nasabah wholesale bernilai tinggi. 

Padahal, temuan riset Illuminate Asia menunjukkan realitas yang bertolak belakang: nasabah retail (yang didominasi oleh kelompok mass market atau masyarakat umum) justru berada dalam kondisi finansial paling rentan saat ini.

Hal ini ditandai dengan fenomena turun kelasnya 10,6 juta orang dari kelas menengah serta anjloknya tabungan rata-rata hingga 40%.

Bagi kelompok ini, kesalahan kecil dari sistem AI (seperti salah cetak saldo atau informasi promo expired) punya dampak ekonomi yang jauh lebih terasa.

Melihat sensitivitas di seluruh lapisan nasabah tersebut, penerapan human in the loop AI untuk customer service menjadi ‘batas pengaman’ yang wajib hadir. Terlebih, pihak developer teknologi sendiri selalu menyertakan disclaimer bahwa AI tetap memiliki celah kesalahan.

“AI sebaiknya tidak diintegrasikan langsung dengan data pribadi sensitif nasabah (seperti mengecek saldo langsung atau rincian detail transaksi) yang jika terjadi kekeliruan dapat merusak reputasi bank,” – Vicent Asy Syams Bioma.

Membangun Audit Trail: Mencegah Kesalahan AI Sebelum Terlanjur Viral

Inilah inti dari penerapan human in the loop AI untuk customer service. Sistem tidak sekadar diawasi dari jauh, melainkan memiliki mekanisme otomatis yang langsung melibatkan agen manusia begitu muncul tanda bahaya dalam percakapan.

Saat nasabah terdeteksi menyampaikan komplain, menunjukkan emosi, atau menerima jawaban AI yang tidak relevan, sistem akan otomatis mengalihkan percakapan ke agen manusia. 

Agen yang menerima pengalihan tersebut dapat langsung membaca riwayat percakapan sebelumnya, meminta maaf, dan memberikan jawaban yang akurat.

Mekanisme handover ini bukan hanya bertujuan untuk meredam krisis, tapi juga membentuk proses evaluasi (audit trail) harian yang berkesinambungan:

“Setiap sore, tim kami mengompilasi data jawaban AI yang kurang sesuai atau berhalusinasi. Besok paginya, kami langsung memperbarui knowledge base maupun main prompt AI setelah melalui pengujian internal (User Acceptance Testing)“, lanjutnya.

Kerangka Kerja Menilai Kesiapan Akuntabilitas AI

Sebelum memberikan kewenangan lebih besar kepada AI, Anda perlu memastikan bahwa infrastruktur dan pengawasannya sudah siap. 

Berdasarkan pengalaman praktis Vicent, terdapat lima pilar utama dalam menilai kesiapan akuntabilitas otomatisasi layanan pelanggan:

Melalui penerapan kelima prinsip tersebut secara disiplin, bisnis dapat memaksimalkan efisiensi AI tanpa harus mengorbankan kualitas layanan atau bahkan reputasi perusahaan saat AI sewaktu-waktu mengalami eror.

Membangun Sistem Human in the Loop AI untuk Customer Service yang Aman dan Akuntabel

Menyerahkan operasional layanan pelanggan sepenuhnya kepada teknologi tanpa pengawasan adalah langkah yang penuh risiko. 

Pada akhirnya, kecanggihan teknologi tetap membutuhkan kontrol penuh manusia untuk menjaga akuntabilitas, keamanan data, sekaligus kepuasan pelanggan secara konsisten. Oleh karenanya, menerapkan human in the loop AI untuk customer service adalah kunci utama.

Jika bisnis Anda ingin membangun alur customer service yang lebih cerdas, aman, dan dapat reliable, tingkatkan kapabilitas operasional Anda dengan teknologi yang tepat, seperti Mekari Qontak. 

Eksplorasi fitur Chatbot Mekari Qontak untuk mengotomatisasi pertanyaan pelanggan Anda serta manfaatkan Agentic AI Mekari Qontak untuk membantu penanganan pertanyaan/kasus yang lebih kompleks dengan kontrol human-in-the-loop secara seamless.

Segera konsultasikan kebutuhan bisnis Anda atau langsung uji coba gratis Mekari Qontak sekarang juga untuk memulai digitalisasi bisnis Anda!

Referensi:

• Illuminate Asia. (2026). In This Economy? Navigating Indonesia’s Shrinking Middle Class – Strategic Briefing #1, Juli 2026.
• Tungsten Automation, mengutip riset Deloitte. (2026). Human-in-the-Loop AI: Enterprise Governance Best Practices.
• Digital Applied, mengutip Zendesk CX Trends 2026. (2026). AI Customer Support 2026: 50+ Adoption + ROI Data Points.