चैटबॉट वास्तव में कैसे काम करते हैं: नियम, पुनर्प्राप्ति, LLM, उपकरण और मानव स्थानांतरण

चैटबॉट वार्तालाप उस क्षण तक सहज लग सकता है जब तक वह विफल न हो जाए। आप पूछते हैं कि पार्सल कहाँ है। बॉट एक सामान्य डिलीवरी नीति दोहराता है। आप ऑर्डर नंबर देते हैं। वह फिर से ऑर्डर नंबर माँगता है। तीन चक्करों के बाद, छोटा चैट बबल जिसने सुविधा का वादा किया था, आपके और उत्तर के बीच एक बंद दरवाज़ा बन जाता है।

विपरीत अनुभव लगभग अदृश्य है। चैटबॉट पहचान लेता है कि आप ऑर्डर ट्रैक करना चाहते हैं, सही नंबर कैप्चर करता है, वर्तमान रिकॉर्ड जाँचता है, एक वाक्य में परिणाम समझाता है, और यदि मामला असामान्य है तो एक व्यक्ति की पेशकश करता है। अंतर केवल इतना नहीं है कि एक बॉट में अधिक कृत्रिम बुद्धिमत्ता है। यह है कि एक संवादी प्रणाली के पास स्पष्ट कार्य, बेहतर स्थिति, विश्वसनीय उपकरण, सुरक्षित सीमाएँ और पुनर्प्राप्ति का नियोजित तरीका होता है।

यह मार्गदर्शिका चैट बबल के पीछे देखती है। यह चैटबॉट के प्रमुख प्रकारों की व्याख्या करती है, एक वास्तविक आर्किटेक्चर के माध्यम से एक संदेश का अनुसरण करती है, और दिखाती है कि धाराप्रवाह भाषा एक भरोसेमंद वार्तालाप का केवल एक हिस्सा क्यों है।

चैटबॉट क्या है?

चैटबॉट एक सॉफ्टवेयर है जो किसी व्यक्ति के साथ पाठ, आवाज़ या किसी अन्य संवादी चैनल के माध्यम से संदेशों का आदान-प्रदान करता है। यह इनपुट की व्याख्या करता है, निर्णय लेता है कि आगे क्या होना चाहिए, और प्रतिक्रिया या कार्रवाई लौटाता है। उस व्यापक परिभाषा में सपोर्ट विजेट में एक निश्चित मेनू, एक वॉयस फ्लो जो खाता नंबर एकत्र करता है, एक ज्ञान सहायक जो दस्तावेज़ खोजता है, और एक भाषा-मॉडल प्रणाली शामिल है जो खुले-अंत वाले उत्तरों का मसौदा तैयार कर सकती है।

वार्तालाप इंटरफ़ेस है, अंतर्निहित तकनीक नहीं। दो चैटबॉट एक जैसे दिख सकते हैं जबकि पूरी तरह से अलग तरीकों से काम करते हैं। एक निर्णय वृक्ष का अनुसरण करता है। दूसरा इरादे का मिलान करता है और वेबहुक कॉल करता है। तीसरा दस्तावेज़ पुनर्प्राप्त करता है और एक बड़े भाषा मॉडल से उत्तर लिखने के लिए कहता है। सबसे उपयोगी सिस्टम अक्सर कई दृष्टिकोणों को जोड़ते हैं।

साठ साल बाद ELIZA से एक सबक

1966 में, जोसेफ वाइज़ेनबाम ने प्रकाशित किया ELIZA, प्राकृतिक-भाषा वार्तालाप के लिए एक प्रोग्राम। इसकी प्रसिद्ध DOCTOR स्क्रिप्ट ने उपयोगकर्ता के कथन के कुछ हिस्सों को प्रतिक्रिया में बदलने के लिए पैटर्न और परिवर्तनों का उपयोग किया। "मैं दुखी हूँ" जैसा वाक्य मिलान, पुनर्व्यवस्थित और एक प्रश्न के रूप में प्रतिबिंबित किया जा सकता है। आदान-प्रदान चौकस लग सकता है, भले ही प्रोग्राम के पास व्यक्ति के जीवन के बारे में बहुत कम जानकारी हो और कोई आधुनिक भाषा मॉडल न हो।

ELIZA प्रासंगिक बनी हुई है क्योंकि लोग भाषा के प्रति सामाजिक रूप से प्रतिक्रिया करते हैं। एक समय पर प्रश्न, एक सहानुभूतिपूर्ण वाक्यांश, या एक आत्मविश्वासपूर्ण उत्तर समझ का आभास पैदा कर सकता है जो अंतर्निहित मशीनरी से अधिक होता है। आधुनिक मॉडल कहीं अधिक सक्षम हैं, लेकिन इंटरफ़ेस अभी भी वही गलती करने के लिए आमंत्रित करता है: यह आंकना कि सिस्टम कितना स्वाभाविक लगता है, उसके आधार पर वह क्या जानता है।

इसलिए एक पेशेवर चैटबॉट को सही कार्य पूर्णता, दृश्यमान सीमाओं और पुनर्प्राप्ति योग्य त्रुटियों के माध्यम से विश्वास अर्जित करना चाहिए। व्यक्तित्व बातचीत को बेहतर बना सकता है। यह सही जानकारी या सुरक्षित प्रक्रिया तक पहुँच की जगह नहीं ले सकता।

तीन मुख्य चैटबॉट आर्किटेक्चर

चैटबॉट को समझना आसान होता है जब हम तीन आर्किटेक्चरल परिवारों को अलग करते हैं। ये सख्त पीढ़ियाँ नहीं हैं जहाँ प्रत्येक नया पुराने को अप्रचलित बना देता है। ये अलग-अलग ताकत वाले उपकरण हैं।

1. नियम और वार्तालाप प्रवाह

नियम-आधारित चैटबॉट पहले से डिज़ाइन किए गए रास्तों का अनुसरण करता है। यह बटन दिखा सकता है, कीवर्ड मिला सकता है, फॉर्म भर सकता है, या शर्तें पूरी होने पर राज्यों के बीच स्थानांतरित हो सकता है। तर्क स्पष्ट हो सकता है: यदि उपयोगकर्ता डिलीवरी तिथि बदलना चाहता है, तो ऑर्डर नंबर एकत्र करें, जाँचें कि पार्सल पात्र है या नहीं, उपलब्ध तिथियाँ दिखाएँ और पुष्टि माँगें।

नियम मूल्यवान हैं जब प्रक्रिया संकीर्ण हो और स्वीकार्य क्रियाएँ ज्ञात हों। वे अनुपालन चरणों और विनाशकारी कार्यों को नियंत्रित करना आसान बनाते हैं। उनकी कमजोरी तब दिखाई देती है जब लोग अनपेक्षित तरीकों से अनुरोध व्यक्त करते हैं या डिज़ाइन किए गए रास्ते से बाहर चले जाते हैं। एक अच्छी नियम प्रणाली को केवल एक आदर्श खुशहाल रास्ते की नहीं, बल्कि फॉलबैक, सुधार और भागने के मार्गों की आवश्यकता होती है।

2. इरादा मिलान और पुनर्प्राप्ति

इरादा-आधारित प्रणाली अनुमान लगाती है कि उपयोगकर्ता क्या करने की कोशिश कर रहा है, फिर इकाइयाँ या पैरामीटर नामक उपयोगी विवरण निकालता है। "ऑर्डर 4821 ट्रैक करें" ट्रैक-ऑर्डर इरादे और ऑर्डर-नंबर पैरामीटर पर मैप हो सकता है। Google Cloud का Dialogflow इरादा दस्तावेज़ीकरण इस पैटर्न को मिलान खोजने के लिए प्रशिक्षण वाक्यांशों के साथ इनपुट की तुलना करने के रूप में वर्णित करता है।

पुनर्प्राप्ति एक खोज परत जोड़ती है। केवल एक निश्चित प्रतिक्रिया से उत्तर देने के बजाय, सिस्टम प्रासंगिक अनुच्छेद, नीति प्रविष्टियाँ, सहायता लेख या रिकॉर्ड ढूंढता है। एक पुनर्प्राप्ति चैटबॉट ज्ञात उत्तर को सीधे उद्धृत कर सकता है या चयनित सामग्री को जनरेटर को पास कर सकता है। इसकी गुणवत्ता इस बात पर निर्भर करती है कि क्या अनुक्रमित किया गया था, क्वेरी कैसे बनाई गई थी, स्रोत वर्तमान है या नहीं, और सिस्टम को सही अनुच्छेद मिला या नहीं।

3. भाषा मॉडल, उपकरण और हाइब्रिड सिस्टम

एक बड़ा भाषा मॉडल विविध वाक्यांशों की व्याख्या कर सकता है और इनपुट की बहुत व्यापक श्रेणी में प्राकृतिक प्रतिक्रियाएँ उत्पन्न कर सकता है। यह सारांशित, समझा, अनुवाद कर सकता है, स्पष्ट प्रश्न पूछ सकता है, या संरचित टूल आउटपुट को पठनीय भाषा में बदल सकता है। टोकन जनरेशन और मॉडल सीमाओं की गहन व्याख्या के लिए, देखें What Is AI, Really?।

मॉडल को अभी भी लाइव तथ्यों और कार्यों में मदद की आवश्यकता है। यह ऑर्डर 4821 का वर्तमान स्थान नहीं जान सकता जब तक कि एप्लिकेशन संदर्भ, पुनर्प्राप्ति या टूल के माध्यम से वह जानकारी प्रदान न करे। यह केवल "आपका रिफंड पूरा हो गया है" वाक्य लिख सकने के कारण सुरक्षित रूप से रिफंड जारी नहीं कर सकता। एप्लिकेशन को मॉडल को अधिकृत सेवाओं से जोड़ना चाहिए और परिणाम सत्यापित करना चाहिए।

यही कारण है कि कई आधुनिक चैटबॉट हाइब्रिड हैं। नियम महत्वपूर्ण संक्रमणों की रक्षा करते हैं। पुनर्प्राप्ति वर्तमान ज्ञान की आपूर्ति करती है। एक भाषा मॉडल लचीली भाषा संभालता है। उपकरण बाहरी स्थिति पढ़ते या बदलते हैं। पारंपरिक कोड अनुमतियों और आउटपुट को मान्य करता है। एक मानव उन मामलों को लेता है जिनमें निर्णय या अधिकार की आवश्यकता होती है।

एक चैटबॉट टर्न के दौरान क्या होता है

एक सरल संदेश का अनुसरण करें: "ऑर्डर 4821 कहाँ है?" एक वास्तविक कार्यान्वयन चरणों को जोड़ या नाम बदल सकता है, लेकिन अंतर्निहित जिम्मेदारियाँ पहचानने योग्य बनी रहती हैं।

1. इनपुट प्राप्त करें और सामान्य करें। चैनल टाइप किया गया पाठ, प्रतिलेखित भाषण, बटन चयन, भाषा या सत्र मेटाडेटा प्रदान कर सकता है।
2. लक्ष्य की पहचान करें। सिस्टम निर्धारित करता है कि अनुरोध ट्रैकिंग, रद्दीकरण, भुगतान, किसी अन्य विषय या कुछ असमर्थित से संबंधित है।
3. आवश्यक विवरण निकालें। इस मामले में, ऑर्डर नंबर 4821 है। यदि यह गायब या अस्पष्ट है, तो बॉट को आविष्कार करने के बजाय पूछना चाहिए।
4. वार्तालाप स्थिति जाँचें। सिस्टम निर्धारित करता है कि वह पहले से क्या जानता है, उसे क्या बनाए रखने की अनुमति है, और कौन सा चरण सक्रिय है।
5. ज्ञान पुनर्प्राप्त करें या टूल कॉल करें। एक ट्रैकिंग सेवा वर्तमान स्थिति लौटाती है। चैटबॉट को भाषा पैटर्न से वह स्थिति नहीं बनानी चाहिए।
6. प्रतिक्रिया लिखें और मान्य करें। एप्लिकेशन परिणाम को स्पष्ट भाषा में बदलता है, आवश्यक फ़ील्ड की जाँच करता है, और आंतरिक या व्यक्तिगत डेटा उजागर करने से बचता है।
7. उत्तर दें, पुनर्प्राप्त करें या स्थानांतरित करें। एक सामान्य परिणाम उपयोगकर्ता को लौटता है। एक त्रुटि, असमर्थित मामला या किसी व्यक्ति का अनुरोध एक अलग मार्ग का अनुसरण करता है।

Google Cloud एक संवादी टर्न के उस हिस्से के लिए fulfillment शब्द का उपयोग करता है जो एक स्थिर प्रतिक्रिया लौटाता है, गतिशील जानकारी के लिए वेबहुक कॉल करता है, पैरामीटर सेट करता है या कार्रवाई करता है। इसका Dialogflow fulfillment दस्तावेज़ीकरण एक महत्वपूर्ण अंतर बताता है: अनुरोध को समझना और उसे पूरा करना अलग-अलग जिम्मेदारियाँ हैं।

वार्तालाप स्थिति मानव स्मृति नहीं है

एक चैटबॉट को हर टर्न पर फिर से शुरू करने से बचने के लिए पर्याप्त स्थिति की आवश्यकता होती है। सत्र स्थिति यह रिकॉर्ड कर सकती है कि वर्तमान कार्य पार्सल ट्रैकिंग है, ऑर्डर नंबर 4821 है, और उपयोगकर्ता ने पहले ही पिनकोड की पुष्टि कर दी है। स्थिति के बिना, "दूसरे पैकेज के बारे में क्या?" का कोई उपयोगी संदर्भ नहीं है।

वह स्थिति इंजीनियर डेटा है, मानव स्मरण नहीं। कुछ सिस्टम केवल वर्तमान सत्र रखते हैं। अन्य वार्तालाप इतिहास, सारांश, प्राथमिकताएँ या खाता जानकारी संग्रहीत करते हैं। एक मॉडल को लंबी वार्तालाप का केवल एक हिस्सा भी प्राप्त हो सकता है क्योंकि उसके संदर्भ की सीमित क्षमता होती है या एप्लिकेशन जानबूझकर सीमित करता है कि क्या भेजा जाता है।

उपयोगकर्ताओं को यह नहीं मानना चाहिए कि चैटबॉट विंडो बंद होने पर भूल जाता है या याद रखता है क्योंकि वह ऐसे बोलता है जैसे वह करता है। प्रतिधारण, खाता लिंकिंग, प्रशिक्षण उपयोग और विलोपन विशिष्ट सेवा पर निर्भर करते हैं। संवेदनशील जानकारी साझा करने से पहले, सेवा की गोपनीयता स्पष्टीकरण का निरीक्षण करें और कार्य के लिए आवश्यक न्यूनतम जानकारी का उपयोग करें।

पुनर्प्राप्ति-संवर्धित जनरेशन कैसे काम करता है

भाषा मॉडल के पैरामीटर अक्सर बदलती रिटर्न नीति रखने के लिए खराब जगह हैं। पुनर्प्राप्ति-संवर्धित जनरेशन, जिसे आमतौर पर RAG के रूप में संक्षिप्त किया जाता है, प्रासंगिक सामग्री के लिए बाहरी संग्रह खोजकर और उत्तर लिखने से पहले चयनित अनुच्छेदों को मॉडल के संदर्भ में रखकर इसे संबोधित करता है।

मूल Retrieval-Augmented Generation पेपर ने एक पूर्व-प्रशिक्षित जनरेटर को एक इंडेक्स से पुनर्प्राप्त स्पष्ट गैर-पैरामीट्रिक मेमोरी के साथ जोड़ा। व्यापक पैटर्न अब कई ज्ञान सहायकों में दिखाई देता है: पहले खोजें, फिर जनरेट करें।

एक उपयोगी RAG पाइपलाइन में विफल होने के कम से कम चार अवसर हैं। स्रोत संग्रह अधूरा हो सकता है। दस्तावेज़ पुराना हो सकता है। पुनर्प्राप्ति एक अप्रासंगिक अनुच्छेद का चयन कर सकती है। जनरेटर गलत पढ़ सकता है या जो प्राप्त हुआ उसे अलंकृत कर सकता है। उद्धरण केवल तभी मदद करते हैं जब वे सटीक समर्थन स्रोत की ओर इशारा करते हैं और उपयोगकर्ता उसका निरीक्षण कर सकता है।

इसलिए RAG वर्तमान, निरीक्षण योग्य ज्ञान तक पहुँच में सुधार करता है लेकिन सत्य की गारंटी नहीं देता। इसका मूल्यांकन अंत से अंत तक किया जाना चाहिए: क्या सही स्रोत इंडेक्स में प्रवेश किया, क्या खोज ने उसे पाया, क्या उत्तर साक्ष्य के भीतर रहा, और क्या उद्धरण ने दावे का समर्थन किया?

उत्तर और कार्यों के लिए नियंत्रण के विभिन्न स्तरों की आवश्यकता होती है

एक चैटबॉट जो रिफंड नीति समझाता है वह रिफंड जारी करने वाले चैटबॉट के समान नहीं है। दूसरी प्रणाली बाहरी स्थिति बदल सकती है। यह खाता सेवा, कैलेंडर, भुगतान प्रणाली, मैसेजिंग टूल या डिवाइस नियंत्रण को कॉल कर सकती है। उस क्षमता को कभी-कभी एजेंसी के रूप में वर्णित किया जाता है, लेकिन व्यावहारिक प्रश्न सरल है: पाठ उत्पन्न करने के अलावा यह एप्लिकेशन क्या कर सकता है?

एक सुरक्षित कार्रवाई पथ को मॉडल के गद्य के बाहर महत्वपूर्ण जाँच रखनी चाहिए:

• उपयोगकर्ता को प्रमाणित करें और पुष्टि करें कि खाता या संसाधन उनका है।
• चैटबॉट को व्यापक पहुँच देने के बजाय विशिष्ट कार्रवाई को अधिकृत करें।
• पारंपरिक कोड के साथ टूल तर्क, राशि, गंतव्य और अनुमत श्रेणियों को मान्य करें।
• अपरिवर्तनीय या महंगी कार्रवाइयों से पहले स्पष्ट पुष्टि की आवश्यकता होती है।
• कार्रवाई सफल होने का अनुमान लगाने के बजाय सत्यापित टूल परिणाम लौटाएँ।
• अनावश्यक संवेदनशील डेटा उजागर किए बिना विफलताओं की जाँच करने के लिए पर्याप्त जानकारी रिकॉर्ड करें।

चित्रण एक लक्ष्य आर्किटेक्चर दिखाता है, किसी विशेष चैटबॉट के बारे में वादा नहीं। एक भाषा मॉडल सुझाव दे सकता है कि किस टूल को कॉल करना है, लेकिन आसपास के एप्लिकेशन को यह तय करना चाहिए कि कॉल की अनुमति है या नहीं। अधिक स्वायत्तता अनुमति सीमाओं, दर सीमाओं, पुष्टिकरण, निगरानी और मानव समीक्षा के मूल्य को बढ़ाती है।

प्रॉम्प्ट इंजेक्शन: जब सामग्री निर्देश बनने की कोशिश करती है

एक टूल-उपयोग या पुनर्प्राप्ति चैटबॉट उपयोगकर्ताओं, वेबसाइटों, ईमेल या दस्तावेज़ों द्वारा आपूर्ति किया गया पाठ पढ़ सकता है। उस पाठ में से कुछ में मॉडल के उद्देश्य से निर्देश हो सकते हैं, जैसे उसे पिछले नियमों को अनदेखा करने, छिपी जानकारी प्रकट करने या किसी टूल को अनपेक्षित तरीके से कॉल करने के लिए कहना। यह प्रॉम्प्ट इंजेक्शन है।

OWASP GenAI Security Project भाषा-मॉडल अनुप्रयोगों के लिए प्रॉम्प्ट इंजेक्शन को एक प्रमुख जोखिम के रूप में सूचीबद्ध करता है। मूल समस्या यह है कि मॉडल निर्देशों और सामान्य सामग्री को एक ही भाषा चैनल के माध्यम से संसाधित करते हैं। एक अविश्वसनीय दस्तावेज़ एप्लिकेशन के निर्देश के समान व्याकरणिक रूप से दिख सकता है।

कोई प्रॉम्प्ट सिस्टम-स्तरीय नियंत्रणों की जगह नहीं ले सकता। एप्लिकेशन को पुनर्प्राप्त और उपयोगकर्ता-प्रदत्त सामग्री को अविश्वसनीय मानना चाहिए, उपलब्ध टूल को प्रतिबंधित करना चाहिए, न्यूनतम विशेषाधिकार लागू करना चाहिए, टूल कॉल को मान्य करना चाहिए, संवेदनशील संचालन को अलग करना चाहिए, और जहाँ परिणाम मायने रखते हैं वहाँ पुष्टि माँगनी चाहिए। मॉडल को केवल इसलिए मास्टर कुंजी नहीं मिलनी चाहिए क्योंकि इंटरफ़ेस संवादी है।

चैटबॉट गलत या निराशाजनक उत्तर क्यों देते हैं

वे अनुरोध को गलत समझते हैं

भाषा अस्पष्ट है। "मेरा खाता बंद करें" का अर्थ लॉग आउट, प्रोफ़ाइल हटाना, सदस्यता रद्द करना या वित्तीय खाता बंद करना हो सकता है। एक भरोसेमंद चैटबॉट पहचानता है कि अनुमान लगाने की लागत एक स्पष्ट प्रश्न की लागत से अधिक है।

उनके पास आवश्यक जानकारी नहीं है

एक मॉडल सामान्य शिपिंग शब्दावली जान सकता है लेकिन उपयोगकर्ता के ऑर्डर रिकॉर्ड की कमी है। पुनर्प्राप्ति प्रासंगिक नीति से चूक सकती है। एक टूल अनुपलब्ध हो सकता है। सही प्रतिक्रिया सीमा बताना या फॉलबैक का उपयोग करना है, न कि अंतर को एक प्रशंसनीय कहानी से भरना।

वे एक आत्मविश्वासपूर्ण झूठ उत्पन्न करते हैं

NIST आत्मविश्वास से प्रस्तुत गलत या त्रुटिपूर्ण जनरेटिव सामग्री को confabulation कहता है। इसका Generative AI Profile नोट करता है कि इस व्यवहार में गढ़ा हुआ तर्क या उद्धरण शामिल हो सकते हैं। प्रवाह इन विफलताओं को नोटिस करना कठिन बनाता है, कम महत्वपूर्ण नहीं।

वे स्थिति खो देते हैं या गलत स्थिति आगे बढ़ाते हैं

एक सत्र एक विवरण भूल सकता है, दो ऑर्डर भ्रमित कर सकता है, एक गलत धारणा बनाए रख सकता है, या एक कार्य से दूसरे कार्य में जानकारी लागू कर सकता है। स्थिति को सही करने के लिए पर्याप्त दृश्यमान और अनपेक्षित मिश्रण से बचने के लिए पर्याप्त संकीर्ण रूप से सीमित होना चाहिए।

उनके पास कोई सुंदर निकास नहीं है

सबसे दर्दनाक लूप अक्सर एक डिज़ाइन विफलता होती है। बॉट अपनी क्षमता की सीमा तक पहुँच चुका होता है लेकिन उसी उत्तर को दोहराता रहता है। एक फ़ॉलबैक को रास्ता बदलना चाहिए: एक लापता विवरण माँगें, एक समर्थित विकल्प दिखाएँ, एक केस बनाएँ, या बातचीत स्थानांतरित करें।

मानव स्थानांतरण प्रणाली का हिस्सा है, हार स्वीकार करना नहीं

कुछ अनुरोध अस्पष्ट, भावनात्मक, असाधारण, या परिणामकारी होते हैं। अन्य को ऐसे अधिकार की आवश्यकता होती है जो चैटबॉट के पास नहीं होना चाहिए। एक मानव विशेषज्ञ संदर्भ की व्याख्या कर सकता है, अपवाद पर बातचीत कर सकता है, ज़िम्मेदारी ले सकता है, या पहचान सकता है कि प्रलेखित प्रक्रिया मामले में फिट नहीं बैठती।

स्थानांतरण तभी काम करता है जब संदर्भ उसके साथ जाता है। व्यक्ति को उपयोगकर्ता का लक्ष्य, पुष्टि किए गए विवरण, प्रासंगिक टूल परिणाम, और एस्केलेशन का कारण मिलना चाहिए। उपयोगकर्ता को पूरी बातचीत दोहराने के लिए मजबूर करना तकनीकी रूप से सफल स्थानांतरण को खराब अनुभव में बदल देता है।

Dialogflow का लाइव-एजेंट स्थानांतरण दस्तावेज़ स्थानांतरण को एक स्पष्ट संक्रमण के रूप में मानता है। यह डिज़ाइन सिद्धांत एक मंच से व्यापक है: एस्केलेशन स्वामित्व के साथ एक परीक्षण किया गया मार्ग होना चाहिए, न कि एक वाक्य जो बॉट फँसने पर सुधारता है।

कैसे निर्णय करें कि चैटबॉट अच्छा है

एक ठोस डेमो मंचित करना आसान है। एक भरोसेमंद चैटबॉट को सामान्य भिन्नता और दृश्य विफलता को संभालना चाहिए। मूल्यांकन उस कार्य से शुरू होना चाहिए जिसे पूरा करने के लिए उपयोगकर्ता आया था।

• कार्य पूर्णता: क्या उपयोगकर्ता को उत्तर मिला या कार्य सही ढंग से पूरा हुआ?
• आधार: क्या तथ्यात्मक दावे आपूर्ति किए गए स्रोत या सत्यापित टूल परिणाम का पालन करते हैं?
• पुनर्प्राप्ति: क्या लापता जानकारी, नो-मैच घटनाएँ, और टूल विफलताएँ एक उपयोगी अगले चरण की ओर ले गईं?
• सुरक्षा: क्या प्राधिकरण, पुष्टि, डेटा हैंडलिंग, और टूल सीमाएँ प्रतिकूल इनपुट के तहत बनी रहीं?
• स्थानांतरण गुणवत्ता: क्या बातचीत पर्याप्त संदर्भ के साथ सही व्यक्ति तक पहुँची?
• भाषा और पहुँच: क्या प्रवाह समर्थित भाषाओं, टाइपिंग शैलियों, भाषण स्थितियों, कीबोर्ड नेविगेशन, और सहायक तकनीक में काम करता है?
• उपयोगकर्ता प्रयास: कार्य समाप्त करने के लिए कितने टर्न, दोहराव, और सुधार आवश्यक थे?

परीक्षण वार्तालापों में केवल सुखद मार्ग से अधिक शामिल होना चाहिए। लापता ऑर्डर नंबर, एक संदेश में दो नंबर, वर्तनी त्रुटियाँ, असमर्थित अनुरोध, पुराने दस्तावेज़, टूल टाइमआउट, विषय बदलने के अनुरोध, किसी व्यक्ति के लिए सीधे अनुरोध, और पुनर्प्राप्त सामग्री में छिपे दुर्भावनापूर्ण निर्देशों का उपयोग करें। Google Cloud का एजेंट डिज़ाइन मार्गदर्शन इसी तरह एक साथ हर मार्ग को डिज़ाइन करने का प्रयास करने के बजाय पुनरावृत्त डिज़ाइन और परीक्षण मामलों की सिफारिश करता है।

निर्णय को छोड़े बिना चैटबॉट का उपयोग कैसे करें

1. लक्ष्य और न्यूनतम प्रासंगिक संदर्भ बताएँ। एक सटीक अनुरोध अनावश्यक टर्न कम करता है।
2. पासवर्ड, प्रमाणीकरण कोड, भुगतान क्रेडेंशियल, निजी कुंजी, या संवेदनशील रिकॉर्ड पेस्ट न करें जब तक कि विशिष्ट विश्वसनीय सेवा स्पष्ट रूप से उस इनपुट की आवश्यकता और सुरक्षा न करे।
3. स्पष्टीकरण को लाइव परिणाम से अलग करें। पूछें कि क्या उत्तर वर्तमान रिकॉर्ड, उद्धृत स्रोत, या सामान्य मॉडल ज्ञान से आया है।
4. उद्धरण खोलें और परिणामकारी दावों को सत्यापित करें। एक स्रोत लिंक अप्रासंगिक, पुराना, या उत्तर के साथ असंगत हो सकता है।
5. पुष्टि करने से पहले हर कार्रवाई की समीक्षा करें। खाता, राशि, गंतव्य, तिथि, और क्या परिवर्तन उलटा जा सकता है, जाँचें।
6. जब बॉट खुद को दोहराता है, अधिकार की कमी होती है, संवेदनशील मुद्दे को गलत समझता है, या यह नहीं दिखा सकता कि उत्तर कहाँ से आया, तो किसी व्यक्ति के लिए पूछें।

रखने लायक मानसिक मॉडल

चैटबॉट एक बुलबुले के अंदर रहने वाला व्यक्तित्व नहीं है। यह एक संवादात्मक इंटरफ़ेस है जो प्रवाह, क्लासिफायर, खोज, भाषा मॉडल, रिकॉर्ड, टूल, नीतियों, सुरक्षा जाँचों, और लोगों के कुछ संयोजन से जुड़ा है। आप जो प्रतिक्रिया देखते हैं वह उस बड़ी प्रणाली का अंतिम चरण है।

सबसे अच्छा प्रश्न यह नहीं है कि "क्या यह बॉट मानव जैसा लगता है?" पूछें कि क्या उसने कार्य समझा, सही साक्ष्य का उपयोग किया, अपनी अनुमतियों का सम्मान किया, ईमानदारी से पुनर्प्राप्त हुआ, और आपको नियंत्रण में छोड़ा। प्राकृतिक भाषा प्रणाली को देखना आसान बनाती है। सुदृढ़ इंजीनियरिंग इसे उपयोग करने लायक बनाती है।

प्राथमिक और तकनीकी संदर्भ

• Joseph Weizenbaum, ELIZA: A Computer Program for the Study of Natural Language Communication Between Man and Machine, 1966.
• Lewis et al., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, 2020.
• NIST, Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile, 2024.
• Google Cloud, Dialogflow CX documentation for intents, fulfillment, agent design, and human handoff.
• OWASP GenAI Security Project, LLM01:2025 Prompt Injection.