Cara Kerja Chatbot Sebenarnya: Aturan, Pengambilan, LLM, Alat, dan Serah Terima Manusia

Percakapan dengan chatbot bisa terasa mudah sampai tiba-tiba gagal. Anda bertanya di mana paket Anda. Bot mengulangi kebijakan pengiriman umum. Anda memberikan nomor pesanan. Ia meminta nomor pesanan lagi. Setelah tiga putaran, gelembung obrolan kecil yang menjanjikan kemudahan telah menjadi pintu terkunci antara Anda dan jawaban.

Pengalaman sebaliknya hampir tidak terlihat. Chatbot mengenali bahwa Anda ingin melacak pesanan, menangkap nomor yang benar, memeriksa catatan terkini, menjelaskan hasilnya dalam satu kalimat, dan menawarkan bantuan manusia jika kasusnya tidak biasa. Perbedaannya bukan sekadar satu bot memiliki lebih banyak kecerdasan buatan. Perbedaannya adalah satu sistem percakapan memiliki tugas yang lebih jelas, status yang lebih baik, alat yang andal, batasan yang lebih aman, dan cara terencana untuk pulih.

Panduan ini melihat ke balik gelembung obrolan. Panduan ini menjelaskan jenis utama chatbot, mengikuti satu pesan melalui arsitektur nyata, dan menunjukkan mengapa bahasa yang lancar hanyalah satu bagian dari percakapan yang dapat diandalkan.

Apa itu chatbot?

Chatbot adalah perangkat lunak yang bertukar pesan dengan seseorang melalui teks, suara, atau saluran percakapan lainnya. Ia menafsirkan masukan, memutuskan apa yang harus terjadi selanjutnya, dan mengembalikan respons atau tindakan. Definisi luas itu mencakup menu tetap di widget dukungan, alur suara yang mengumpulkan nomor akun, asisten pengetahuan yang mencari dokumen, dan sistem model bahasa yang dapat menyusun balasan terbuka.

Percakapan adalah antarmuka, bukan teknologi yang mendasarinya. Dua chatbot bisa terlihat identik sementara bekerja dengan cara yang sangat berbeda. Satu mengikuti pohon keputusan. Yang lain mencocokkan maksud dan memanggil webhook. Yang ketiga mengambil dokumen dan meminta model bahasa besar untuk menulis jawaban. Sistem yang paling berguna sering menggabungkan beberapa pendekatan.

Pelajaran dari ELIZA, enam puluh tahun kemudian

Pada tahun 1966, Joseph Weizenbaum menerbitkan ELIZA, sebuah program untuk percakapan bahasa alami. Skrip DOCTOR-nya yang terkenal menggunakan pola dan transformasi untuk mengubah bagian pernyataan pengguna menjadi respons. Kalimat seperti “Saya tidak bahagia” bisa dicocokkan, disusun ulang, dan dipantulkan sebagai pertanyaan. Pertukaran itu bisa terasa penuh perhatian meskipun program memiliki sedikit informasi tentang kehidupan orang tersebut dan tidak memiliki model bahasa modern.

ELIZA tetap relevan karena orang merespons bahasa secara sosial. Pertanyaan tepat waktu, frasa simpatik, atau jawaban percaya diri dapat menciptakan kesan pemahaman yang melebihi mesin di bawahnya. Model modern jauh lebih mampu, tetapi antarmuka masih mengundang kesalahan yang sama: menilai apa yang diketahui sistem dari seberapa alami kedengarannya.

Oleh karena itu, chatbot profesional harus membangun kepercayaan melalui penyelesaian tugas yang benar, batasan yang terlihat, dan kesalahan yang dapat dipulihkan. Kepribadian dapat meningkatkan interaksi. Itu tidak dapat menggantikan akses ke informasi yang tepat atau proses yang aman.

Tiga arsitektur chatbot utama

Chatbot lebih mudah dipahami ketika kita memisahkan tiga keluarga arsitektur. Ini bukan generasi ketat di mana setiap yang baru membuat yang lain usang. Itu adalah alat dengan kekuatan berbeda.

1. Aturan dan alur percakapan

Chatbot berbasis aturan mengikuti jalur yang dirancang sebelumnya. Ia dapat menampilkan tombol, mencocokkan kata kunci, mengisi formulir, atau berpindah antar status ketika kondisi terpenuhi. Logikanya bisa eksplisit: jika pengguna ingin mengubah tanggal pengiriman, kumpulkan nomor pesanan, periksa apakah paket memenuhi syarat, tampilkan tanggal yang tersedia, dan minta konfirmasi.

Aturan berharga ketika prosesnya sempit dan tindakan yang dapat diterima diketahui. Mereka membuat langkah kepatuhan dan tindakan destruktif lebih mudah dikendalikan. Kelemahan mereka muncul ketika orang mengungkapkan permintaan dengan cara yang tidak terduga atau bergerak di luar jalur yang dirancang. Sistem aturan yang baik membutuhkan fallback, koreksi, dan rute pelarian, bukan hanya jalur bahagia yang sempurna.

2. Pencocokan maksud dan pengambilan

Sistem berbasis maksud memperkirakan apa yang coba dilakukan pengguna, lalu mengekstrak detail berguna yang disebut entitas atau parameter. “Lacak pesanan 4821” dapat dipetakan ke maksud lacak-pesanan dan parameter nomor-pesanan. Dokumentasi maksud Dialogflow Google Cloud Dokumentasi maksud Dialogflow menjelaskan pola ini sebagai membandingkan masukan dengan frasa pelatihan untuk menemukan kecocokan.

Pengambilan menambahkan lapisan pencarian. Alih-alih menjawab dari respons tetap saja, sistem menemukan bagian yang relevan, entri kebijakan, artikel bantuan, atau catatan. Chatbot pengambilan dapat mengutip jawaban yang diketahui secara langsung atau meneruskan materi terpilih ke generator. Kualitasnya tergantung pada apa yang diindeks, bagaimana kueri dibentuk, apakah sumbernya terkini, dan apakah sistem menemukan bagian yang tepat.

3. Model bahasa, alat, dan sistem hibrida

Model bahasa besar dapat menafsirkan frasa yang bervariasi dan menghasilkan respons alami di berbagai masukan yang jauh lebih luas. Ia dapat merangkum, menjelaskan, menerjemahkan, mengajukan pertanyaan klarifikasi, atau mengubah keluaran alat terstruktur menjadi bahasa yang mudah dibaca. Untuk penjelasan lebih dalam tentang pembuatan token dan batasan model, lihat Apa Itu AI, Sebenarnya?.

Model masih membutuhkan bantuan dengan fakta dan tindakan langsung. Ia tidak dapat mengetahui lokasi saat ini dari pesanan 4821 kecuali aplikasi menyediakan informasi itu melalui konteks, pengambilan, atau alat. Ia tidak dapat dengan aman mengeluarkan pengembalian dana hanya karena dapat menulis kalimat “Pengembalian dana Anda selesai.” Aplikasi harus menghubungkan model ke layanan yang berwenang dan memverifikasi hasilnya.

Inilah sebabnya banyak chatbot modern adalah hibrida. Aturan melindungi transisi kritis. Pengambilan menyediakan pengetahuan terkini. Model bahasa menangani bahasa yang fleksibel. Alat membaca atau mengubah status eksternal. Kode konvensional memvalidasi izin dan keluaran. Manusia menangani kasus yang membutuhkan penilaian atau otoritas.

Apa yang terjadi selama satu giliran chatbot

Ikuti pesan sederhana: “Di mana pesanan 4821?” Implementasi nyata dapat menggabungkan atau mengganti nama langkah, tetapi tanggung jawab yang mendasarinya tetap dapat dikenali.

1. Terima dan normalisasi masukan. Saluran dapat menyediakan teks yang diketik, ucapan yang ditranskripsi, pilihan tombol, bahasa, atau metadata sesi.
2. Identifikasi tujuan. Sistem menentukan apakah permintaan menyangkut pelacakan, pembatalan, pembayaran, topik lain, atau sesuatu yang tidak didukung.
3. Ekstrak detail yang diperlukan. Dalam kasus ini, nomor pesanan adalah 4821. Jika hilang atau ambigu, bot harus bertanya daripada menciptakannya.
4. Periksa status percakapan. Sistem menentukan apa yang sudah diketahui, apa yang diizinkan untuk disimpan, dan langkah mana yang aktif.
5. Ambil pengetahuan atau panggil alat. Layanan pelacakan mengembalikan status saat ini. Chatbot tidak boleh membuat status itu dari pola bahasa.
6. Susun dan validasi respons. Aplikasi mengubah hasil menjadi bahasa yang jelas, memeriksa bidang yang diperlukan, dan menghindari mengekspos data internal atau pribadi.
7. Balas, pulihkan, atau serah tangan. Hasil normal kembali ke pengguna. Kesalahan, kasus yang tidak didukung, atau permintaan untuk manusia mengikuti rute yang berbeda.

Google Cloud menggunakan istilah fulfillment untuk bagian dari giliran percakapan yang mengembalikan respons statis, memanggil webhook untuk informasi dinamis, mengatur parameter, atau mengambil tindakan. Dokumentasi fulfillment Dialogflow -nya membuat perbedaan penting: memahami permintaan dan memenuhinya adalah tanggung jawab terpisah.

Status percakapan bukan memori manusia

Chatbot membutuhkan status yang cukup untuk menghindari memulai dari awal setiap giliran. Status sesi dapat mencatat bahwa tugas saat ini adalah pelacakan paket, nomor pesanan adalah 4821, dan pengguna telah mengonfirmasi kode pos. Tanpa status, “Bagaimana dengan paket kedua?” tidak memiliki referensi yang dapat digunakan.

Status itu adalah data yang direkayasa, bukan ingatan manusia. Beberapa sistem hanya menyimpan sesi saat ini. Yang lain menyimpan riwayat percakapan, ringkasan, preferensi, atau informasi akun. Model juga dapat menerima hanya sebagian dari percakapan panjang karena konteksnya memiliki kapasitas terbatas atau karena aplikasi sengaja membatasi apa yang dikirim.

Pengguna tidak boleh berasumsi chatbot lupa ketika jendela ditutup atau mengingat karena ia berbicara seolah-olah melakukannya. Retensi, tautan akun, penggunaan pelatihan, dan penghapusan tergantung pada layanan tertentu. Sebelum berbagi informasi sensitif, periksa penjelasan privasi layanan dan gunakan informasi minimum yang diperlukan untuk tugas tersebut.

Cara kerja generasi yang ditingkatkan pengambilan

Parameter model bahasa adalah tempat yang buruk untuk menyimpan kebijakan pengembalian yang sering berubah. Generasi yang ditingkatkan pengambilan, biasanya disingkat RAG, mengatasi ini dengan mencari koleksi eksternal untuk materi yang relevan dan menempatkan bagian terpilih ke dalam konteks model sebelum menulis jawaban.

Makalah Retrieval-Augmented Generation asli menggabungkan generator terlatih dengan memori non-parametrik eksplisit yang diambil dari indeks. Pola luas sekarang muncul di banyak asisten pengetahuan: cari dulu, hasilkan kedua.

Pipeline RAG yang berguna memiliki setidaknya empat peluang untuk gagal. Koleksi sumber mungkin tidak lengkap. Dokumen mungkin basi. Pengambilan dapat memilih bagian yang tidak relevan. Generator dapat salah membaca atau memperindah apa yang diterimanya. Kutipan membantu hanya jika mereka menunjuk ke sumber pendukung yang tepat dan pengguna dapat memeriksanya.

RAG karena itu meningkatkan akses ke pengetahuan saat ini yang dapat diperiksa tetapi tidak menjamin kebenaran. Ini harus dievaluasi dari ujung ke ujung: apakah sumber yang benar masuk ke indeks, apakah pencarian menemukannya, apakah jawaban tetap dalam bukti, dan apakah kutipan mendukung klaim?

Jawaban dan tindakan membutuhkan tingkat kontrol yang berbeda

Chatbot yang menjelaskan kebijakan pengembalian tidak sama dengan chatbot yang mengeluarkan pengembalian dana. Sistem kedua dapat mengubah status eksternal. Ia dapat memanggil layanan akun, kalender, sistem pembayaran, alat pesan, atau kontrol perangkat. Kemampuan itu kadang digambarkan sebagai agensi, tetapi pertanyaan praktisnya lebih sederhana: apa yang dapat dilakukan aplikasi ini selain menghasilkan teks?

Jalur tindakan yang aman harus menjaga pemeriksaan penting di luar prosa model:

• Otentikasi pengguna dan konfirmasi bahwa akun atau sumber daya milik mereka.
• Otorisasi tindakan spesifik daripada memberikan chatbot akses luas.
• Validasi argumen alat, jumlah, tujuan, dan rentang yang diizinkan dengan kode konvensional.
• Minta konfirmasi eksplisit sebelum tindakan yang tidak dapat diubah atau mahal.
• Kembalikan hasil alat yang terverifikasi daripada mengasumsikan tindakan berhasil.
• Catat informasi yang cukup untuk menyelidiki kegagalan tanpa mengekspos data sensitif yang tidak perlu.

Ilustrasi menunjukkan arsitektur target, bukan janji tentang chatbot tertentu. Model bahasa dapat menyarankan alat mana yang akan dipanggil, tetapi aplikasi di sekitarnya harus memutuskan apakah panggilan diizinkan. Otonomi yang lebih besar meningkatkan nilai batas izin, batas kecepatan, konfirmasi, pemantauan, dan tinjauan manusia.

Injeksi prompt: ketika konten mencoba menjadi instruksi

Chatbot yang menggunakan alat atau pengambilan dapat membaca teks yang disediakan oleh pengguna, situs web, email, atau dokumen. Beberapa teks itu dapat berisi instruksi yang ditujukan pada model, seperti menyuruhnya mengabaikan aturan sebelumnya, mengungkapkan informasi tersembunyi, atau memanggil alat dengan cara yang tidak diinginkan. Ini adalah injeksi prompt.

Proyek Keamanan OWASP GenAI mencantumkan injeksi prompt sebagai risiko utama untuk aplikasi model bahasa. Masalah intinya adalah bahwa model memproses instruksi dan konten biasa melalui saluran bahasa yang sama. Dokumen yang tidak tepercaya dapat terlihat secara tata bahasa mirip dengan instruksi dari aplikasi.

Tidak ada prompt yang dapat menggantikan kontrol tingkat sistem. Aplikasi harus memperlakukan konten yang diambil dan disediakan pengguna sebagai tidak tepercaya, membatasi alat yang tersedia, menerapkan hak istimewa paling rendah, memvalidasi panggilan alat, mengisolasi operasi sensitif, dan meminta konfirmasi di mana konsekuensi penting. Model tidak boleh menerima kunci utama hanya karena antarmukanya percakapan.

Mengapa chatbot memberikan jawaban yang salah atau membuat frustrasi

Mereka salah memahami permintaan

Bahasa itu ambigu. “Tutup akun saya” bisa berarti keluar, menghapus profil, membatalkan langganan, atau menutup akun keuangan. Chatbot yang andal mengenali ketika biaya menebak lebih tinggi daripada biaya satu pertanyaan klarifikasi.

Mereka kekurangan informasi yang diperlukan

Model mungkin tahu kosakata pengiriman umum tetapi kekurangan catatan pesanan pengguna. Pengambilan mungkin melewatkan kebijakan yang relevan. Alat mungkin tidak tersedia. Respons yang benar adalah menyatakan keterbatasan atau menggunakan fallback, bukan mengisi celah dengan cerita yang masuk akal.

Mereka menghasilkan kepalsuan yang percaya diri

NIST menyebut konten generatif palsu atau salah yang disajikan dengan percaya diri sebagai konfabulasi. Profil AI Generatif -nya mencatat bahwa perilaku ini dapat mencakup logika atau kutipan yang dibuat-buat. Kelancaran membuat kegagalan ini lebih sulit untuk diperhatikan, bukan kurang penting.

Mereka kehilangan status atau membawa status yang salah ke depan

Sesi dapat melupakan detail, membingungkan dua pesanan, mempertahankan asumsi yang salah, atau menerapkan informasi dari satu tugas ke tugas lain. Status harus cukup terlihat untuk dikoreksi dan dibatasi cukup sempit untuk menghindari pencampuran yang tidak disengaja.

Mereka tidak memiliki jalan keluar yang elegan

Lingkaran yang paling menyakitkan sering kali merupakan kegagalan desain. Bot telah mencapai batas kemampuannya tetapi terus mengulang jawaban yang sama. Fallback harus mengubah jalur: minta satu detail yang hilang, tampilkan opsi yang didukung, buat kasus, atau transfer percakapan.

Penyerahan ke manusia adalah bagian dari sistem, bukan pengakuan kekalahan

Beberapa permintaan bersifat ambigu, emosional, luar biasa, atau berdampak besar. Yang lain memerlukan otoritas yang tidak seharusnya dimiliki chatbot. Spesialis manusia dapat menafsirkan konteks, menegosiasikan pengecualian, mengambil tanggung jawab, atau mengenali bahwa proses yang terdokumentasi tidak sesuai dengan kasus.

Penyerahan hanya berhasil jika konteks ikut berpindah. Orang tersebut harus menerima tujuan pengguna, detail yang dikonfirmasi, hasil alat yang relevan, dan alasan eskalasi. Memaksa pengguna mengulang seluruh percakapan mengubah transfer yang berhasil secara teknis menjadi pengalaman yang buruk.

Dokumentasi penyerahan agen langsung Dialogflow memperlakukan penyerahan sebagai transisi eksplisit. Prinsip desain itu lebih luas dari satu platform: eskalasi harus menjadi rute yang diuji dengan kepemilikan, bukan kalimat yang diimprovisasi bot saat macet.

Cara menilai apakah chatbot itu bagus

Demo yang meyakinkan mudah dipentaskan. Chatbot yang andal harus menangani variasi biasa dan kegagalan yang terlihat. Evaluasi harus dimulai dari pekerjaan yang ingin diselesaikan pengguna.

• Penyelesaian tugas: apakah pengguna mendapatkan jawaban atau menyelesaikan tindakan dengan benar?
• Grounding: apakah klaim faktual mengikuti sumber yang disediakan atau hasil alat yang terverifikasi?
• Pemulihan: apakah informasi yang hilang, peristiwa tanpa kecocokan, dan kegagalan alat mengarah ke langkah berikutnya yang berguna?
• Keamanan: apakah otorisasi, konfirmasi, penanganan data, dan batas alat bertahan di bawah input yang bermusuhan?
• Kualitas penyerahan: apakah percakapan mencapai orang yang tepat dengan konteks yang cukup?
• Bahasa dan aksesibilitas: apakah alur berfungsi di berbagai bahasa yang didukung, gaya mengetik, kondisi bicara, navigasi keyboard, dan teknologi bantu?
• Upaya pengguna: berapa banyak giliran, pengulangan, dan koreksi yang diperlukan untuk menyelesaikan tugas?

Percakapan uji harus mencakup lebih dari sekadar jalur bahagia. Gunakan nomor pesanan yang hilang, dua nomor dalam satu pesan, kesalahan ejaan, permintaan yang tidak didukung, dokumen basi, waktu habis alat, permintaan untuk mengubah topik, permintaan langsung untuk orang, dan instruksi berbahaya yang tersembunyi dalam konten yang diambil. Panduan desain agen Google Cloud juga merekomendasikan desain iteratif dan kasus uji daripada mencoba merancang setiap jalur sekaligus.

Cara menggunakan chatbot tanpa menyerahkan penilaian

1. Nyatakan tujuan dan konteks relevan minimum. Permintaan yang tepat mengurangi giliran yang tidak perlu.
2. Jangan menempelkan kata sandi, kode autentikasi, kredensial pembayaran, kunci pribadi, atau catatan sensitif kecuali layanan tepercaya tertentu secara eksplisit memerlukan dan melindungi input tersebut.
3. Bedakan penjelasan dari hasil langsung. Tanyakan apakah jawaban berasal dari catatan terkini, sumber yang dikutip, atau pengetahuan model umum.
4. Buka kutipan dan verifikasi klaim yang berdampak. Tautan sumber bisa tidak relevan, usang, atau tidak konsisten dengan jawaban.
5. Tinjau setiap tindakan sebelum mengonfirmasinya. Periksa akun, jumlah, tujuan, tanggal, dan apakah perubahan dapat dibatalkan.
6. Minta orang saat bot mengulang dirinya sendiri, kurang otoritas, salah memahami masalah sensitif, atau tidak dapat menunjukkan dari mana jawaban berasal.

Model mental yang perlu diingat

Chatbot bukanlah kepribadian yang hidup dalam gelembung. Ini adalah antarmuka percakapan yang terhubung ke kombinasi alur, pengklasifikasi, pencarian, model bahasa, catatan, alat, kebijakan, pemeriksaan keamanan, dan manusia. Respons yang Anda lihat adalah langkah terakhir dari sistem yang lebih besar itu.

Pertanyaan terbaik bukanlah "Apakah bot ini terdengar manusiawi?" Tanyakan apakah ia memahami tugas, menggunakan bukti yang tepat, menghormati izinnya, pulih dengan jujur, dan memberi Anda kendali. Bahasa alami membuat sistem lebih mudah didekati. Rekayasa yang baik membuatnya layak digunakan.

Referensi utama dan teknis

• Joseph Weizenbaum, ELIZA: A Computer Program for the Study of Natural Language Communication Between Man and Machine, 1966.
• Lewis et al., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, 2020.
• NIST, Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile, 2024.
• Google Cloud, Dialogflow CX documentation for intents, fulfillment, agent design, and human handoff.
• OWASP GenAI Security Project, LLM01:2025 Prompt Injection.