RAG क्या है? शुरुआती लोगों के लिए प्रक्रिया और उपयोग

“ChatGPT कंपनी के दस्तावेज़ देखकर सवालों के जवाब दे।” “नए शोध-पत्र खोजकर उनका सारांश बनाए।” ऐसे कामों के लिए मॉडल की सीखी हुई जानकारी हमेशा पर्याप्त नहीं होती। ज़रूरी दस्तावेज़ उत्तर देते समय उपलब्ध कराने के तरीक़े हैं।

इनमें से एक तरीक़ा है RAG (Retrieval-Augmented Generation, यानी खोज से संवर्धित उत्तर निर्माण)। सिस्टम बाहरी दस्तावेज़ों में संबंधित जानकारी खोजता है और उसे उत्तर बनाने के संदर्भ में जोड़ता है। तैयार AI सुविधाएँ भी दस्तावेज़ देख सकती हैं, लेकिन हर फ़ाइल अपलोड पर एक जैसी खोज प्रक्रिया नहीं चलती।

इस लेख में, RAG के तंत्र को 3 स्टेप में चित्रात्मक रूप से समझाते हुए, वेक्टर डेटाबेस·LangChain कार्यान्वयन·फ़ाइन-ट्यूनिंग से उपयोग के अंतर तक, शुरुआती के लिए समझ में आने वाले स्तर पर, लेकिन तकनीकी रूप से भी सटीक विवरण देंगे।

1. RAG क्या है—Retrieval-Augmented Generation

RAG का पूरा नाम Retrieval-Augmented Generation है। इसमें खोजी गई जानकारी (Retrieval) को उत्तर बनाने के संदर्भ में जोड़ा जाता है (Augmented), फिर मॉडल उत्तर तैयार करता है (Generation)।

एक वाक्य में: बड़ा भाषा मॉडल (LLM) बाहरी स्रोतों से खोजी गई संबंधित जानकारी के आधार पर उत्तर बनाता है। यहाँ चित्र मूल रूप दिखाते हैं: पहले खोज, फिर उत्तर। खोज का स्रोत वेक्टर डेटाबेस होना ज़रूरी नहीं; मौजूदा डेटाबेस या कीवर्ड खोज भी इस्तेमाल की जा सकती है।

खाना पकाने की उपमा

LLM अकेला है "केवल याददाश्त से खाना बनाने वाला शेफ़"। प्रतिभाशाली है, लेकिन अनजान रेसिपी नहीं बना सकता, और फ़्रिज में क्या रखा है यह भी नहीं जानता।

RAG उस शेफ़ को "रेसिपी की किताब देकर, फ़्रिज में क्या है यह बताकर खाना बनवाना" यह तंत्र है। शेफ़ अब रेसिपी की किताब देखते हुए, मौजूद सामग्री से उत्तम पकवान बना सकता है।

"Retrieval", "Augmented", "Generation" की भूमिकाएँ

मुख्य बिंदु यह है कि LLM को दोबारा प्रशिक्षित नहीं किया जाता, बल्कि हर बार सवाल आने पर "आवश्यक ज्ञान" बाहर से दिया जाता है। यही आगे चलकर बताए जाने वाले फ़ाइन-ट्यूनिंग से निर्णायक अंतर है।

यह मूल रूप और मौजूदा SQL या दस्तावेज़ प्रणाली में खोज के विकल्प LangChain के Retrieval गाइड में समझाए गए हैं।

2. RAG की ज़रूरत क्यों पड़ती है—केवल LLM की 3 सीमाएँ

ChatGPT या Claude जैसे LLM अकेले से जो समस्याएँ हल नहीं हो सकतीं, वे 3 हैं।

सीमा 1: ज्ञान कटऑफ़ (जानकारी की ताज़गी)

मॉडल की सीखी हुई जानकारी से प्रशिक्षण के बाद बदली हुई बातों की पुष्टि नहीं की जा सकती। ज्ञान कटऑफ़ की तारीख हर मॉडल में अलग होती है। उसके बाद की घटनाओं के लिए दस्तावेज़ या खोज से पुष्टि चाहिए।

• "कल घोषित नए उत्पाद के बारे में बताओ" → नवीनतम स्रोत देखना होगा
• "पिछले हफ्ते लागू हुए क़ानून संशोधन की सामग्री क्या है?" → नवीनतम स्रोत देखना होगा
• "आज की मुद्रा विनिमय दर क्या है?" → नवीनतम स्रोत देखना होगा

RAG समाचार, डेटाबेस या API से मिली जानकारी इस्तेमाल कर सकता है। लेकिन पुराना स्रोत पुराने उत्तर दे सकता है। दस्तावेज़ अद्यतन रखना और खोज परिणाम जाँचना ज़रूरी है।

सीमा 2: हैलुसिनेशन (विश्वसनीय लगने वाला झूठ)

LLM से अनजान जानकारी पूछी जाए तो भी वह विश्वसनीय लगने वाला उत्तर बना देता है। इसे हैलुसिनेशन (मतिभ्रम) कहते हैं।

कंपनी की नियमावली दिए बिना छुट्टियों के दिनों की संख्या पूछें, तो मॉडल ऐसा विश्वसनीय दिखने वाला अंक बता सकता है जो किसी दस्तावेज़ में नहीं है। यह समझाने के लिए दिया गया उदाहरण है; इस लेख में चलाकर देखा गया उत्तर नहीं।

RAG वास्तविक दस्तावेज़ खोजकर स्रोतों पर आधारित उत्तर बनाने का प्रयास करता है। दस्तावेज़ का नाम या पृष्ठ जैसी दर्ज जानकारी उत्तर के साथ दिखाई जा सकती है। लेकिन संदर्भ दिखना उत्तर के सही होने का प्रमाण नहीं: ज़रूरी दस्तावेज़ छूट सकता है या मॉडल उसे ग़लत समझ सकता है।

सीमा 3: आंतरिक और निजी जानकारी के लिए अलग पहुँच चाहिए

यह न मानें कि सार्वजनिक मॉडल आपकी कंपनी के अप्रकाशित दस्तावेज़ या अनुबंध जानता है। दस्तावेज़ उपलब्ध कराने से पहले उनके उपयोग की अनुमति और डेटा प्राप्त करने वाली सेवाएँ जाँचें।

RAG भेजने के लिए संबंधित हिस्से चुनता है; वह अपने-आप गोपनीयता की गारंटी नहीं देता। डेटाबेस आंतरिक होने पर भी बाहरी एम्बेडिंग या जनरेशन API दस्तावेज़, सवाल और खोज परिणाम प्राप्त कर सकती हैं। खोज के समय उपयोगकर्ता की अनुमति, डेटा पाने वाली सेवाएँ, संग्रहण और लॉग जाँचें। FAQ में इनका अंतर समझाया गया है।

3. तंत्र—3 स्टेप में चलने वाला RAG

RAG का संचालन मुख्यतः "पूर्व तैयारी (इंडेक्स निर्माण)" और "रनटाइम (प्रश्न-उत्तर)" इन 2 चरणों में बँटा है।

पूर्व तैयारी चरण—दस्तावेज़ों का वेक्टरीकरण और संग्रहण

1. दस्तावेज़ संग्रह: PDF, Word, HTML, Markdown आदि उपयोग में लाने वाले दस्तावेज़ इकट्ठा करना
2. चंक विभाजन: दस्तावेज़ों को उपयुक्त लंबाई (जैसे 500–1000 अक्षर) में बाँटना
3. एम्बेडिंग (Embedding): प्रत्येक चंक को एम्बेडिंग मॉडल (जैसे OpenAI text-embedding-3-small) से गुज़ारकर 1536 आयाम जैसे वेक्टर (संख्याओं की सूची) में बदलना
4. वेक्टर DB में संग्रहण: चंक और संबंधित वेक्टर को विशेष DB (Pinecone, Qdrant आदि) में संग्रहीत करना

यह कार्य दस्तावेज़ बढ़ने या अद्यतन होने पर किया जाता है।

रनटाइम चरण—सवाल का उत्तर देने के 3 स्टेप

उपयोगकर्ता से सवाल आने पर प्रक्रिया इस प्रकार है।

1. Step 1: Retrieval (सर्च)
   • सवाल को उसी एम्बेडिंग मॉडल से वेक्टरीकृत करना
   • वेक्टर DB में "सवाल वेक्टर के सबसे निकट" चंक शीर्ष K (इस उदाहरण में 3) निकालना
   • निकटता की गणना के लिए कोसाइन समानता आदि का उपयोग
2. Step 2: Augmented (संवर्धन)
   • निकाले गए चंक को "संदर्भ जानकारी" के रूप में प्रॉम्प्ट में जोड़ना
   • "नीचे दी गई जानकारी का संदर्भ लेकर सवाल का उत्तर दीजिए: [सर्च परिणाम] सवाल: [उपयोगकर्ता का सवाल]" जैसा रूप
3. Step 3: Generation (जनरेशन)
   • LLM (GPT, Claude, Gemini आदि) संदर्भ जानकारी के आधार पर उत्तर तैयार करता है
   • आवश्यकतानुसार "किस दस्तावेज़ का संदर्भ लिया" यह उद्धरण के रूप में जोड़ा जाता है

ठोस उदाहरण: ChatGPT से आंतरिक नियम पूछना

नीचे दिए गए दिन, अवधि और धारा की संख्या एक काल्पनिक कंपनी की नियमावली से हैं। इन्हें प्रक्रिया समझाने के लिए चुना गया है; ये वास्तविक छुट्टी व्यवस्था नहीं बताते।

"सवेतन अवकाश कितने दिन हैं?" इस सवाल का प्रवाह:

1. सवाल एम्बेडिंग मॉडल से वेक्टरीकृत → [0.12, -0.45, 0.78, ...]
2. वेक्टर DB से "अवकाश", "सवेतन" से संबंधित 3 चंक प्राप्त
3. प्राप्त चंक: "धारा 15 वार्षिक सवेतन अवकाश—नियुक्ति के 6 महीने पूरे होने पर 10 दिन प्रदान...", "सेवा अवधि के अनुसार अधिकतम 20 दिन तक..." आदि
4. प्रॉम्प्ट निर्माण: "संदर्भ जानकारी: धारा 15... सवाल: सवेतन अवकाश कितने दिन हैं?"
5. LLM का उत्तर: "नियुक्ति के 6 महीने पर 10 दिन, सेवा अवधि के अनुसार अधिकतम 20 दिन प्रदान किए जाते हैं (नियमावली धारा 15 देखें)"

4. RAG के मुख्य घटक

RAG को बनाने वाले 5 घटक देखते हैं।

1. एम्बेडिंग मॉडल (Embedding Model)

टेक्स्ट को संख्यात्मक वेक्टर में बदलने वाला AI मॉडल। "अर्थ की दृष्टि से समान टेक्स्ट, वेक्टर स्पेस में भी पास की स्थिति में होते हैं" इस तरह प्रशिक्षित किए जाते हैं।

OpenAI के डिफ़ॉल्ट आयाम और उन्हें घटाने की विधि आधिकारिक एम्बेडिंग गाइड में देखें। केवल आयामों की संख्या के बजाय अपने दस्तावेज़ों पर खोज के परिणामों की तुलना करें।

2. वेक्टर डेटाबेस

डेटाबेस या उसका एक्सटेंशन वेक्टर संग्रहीत करता है और मिलते-जुलते वेक्टर खोजता है। अगले अनुभाग में विकल्प बताए गए हैं।

3. सर्च इंजन (Retriever)

वेक्टर सर्च के साथ-साथ, कीवर्ड सर्च (BM25 आदि) और हाइब्रिड सर्च का मिलान भी अक्सर किया जाता है।

4. LLM (जनरेशन वाला)

अंतिम उत्तर बनाने वाला बड़ा भाषा मॉडल। GPT, Claude, Gemini, Llama आदि। वाणिज्यिक API से भी और OSS लोकल मॉडल से भी चलता है। इन सभी परिवारों के संस्करण लगातार बदलते रहते हैं, इसलिए मौजूदा मॉडलों के नाम प्रमुख AI मॉडलों की सूची में जाँचें।

5. प्रॉम्प्ट टेम्पलेट

सर्च परिणाम और उपयोगकर्ता सवाल को मिलाकर LLM को देने के लिए टेम्पलेट। RAG की परिशुद्धता को निर्धारित करने वाला महत्वपूर्ण तत्व।

आप आंतरिक नियमों के विशेषज्ञ सहायक हैं।
केवल नीचे दी गई संदर्भ जानकारी के आधार पर सवाल का उत्तर दीजिए।
संदर्भ जानकारी में न हो तो "जानकारी उपलब्ध नहीं" उत्तर दें।

[संदर्भ जानकारी]
{retrieved_chunks}

[सवाल]
{user_question}

[उत्तर]

5. वेक्टर डेटाबेस क्या है

वेक्टर डेटाबेस में उच्च आयाम वाले वेक्टर रखने और मिलते-जुलते वेक्टर खोजने के लिए इंडेक्स या कार्य होते हैं। विशेष सेवा चुन सकते हैं या मौजूदा डेटाबेस में सुविधा जोड़ सकते हैं, जैसे PostgreSQL में pgvector। गति और सटीकता इंडेक्स, डेटा की मात्रा और सेटिंग पर निर्भर हैं।

प्रमुख वेक्टर DB की तुलना

Pinecone और Weaviate के मूल्य 9 अक्टूबर 2026 को आधिकारिक पृष्ठों पर जाँचे गए। सॉफ़्टवेयर मुफ़्त हो, तब भी सेल्फ़-होस्टिंग के सर्वर और रखरखाव का ख़र्च अलग है। क्लाउड में संग्रहण, खोज, अतिरिक्त AI सुविधाओं और बैकअप से कुल शुल्क बदल सकता है।

कौन-सा चुनें

• आज़माना है: Chroma (आवश्यक पैकेज और मॉडल तैयार करें)
• मौजूदा PostgreSQL का उपयोग: pgvector (DB एकीकृत रखा जा सकता है)
• सेवा को इन्फ़्रास्ट्रक्चर सौंपना: Pinecone (इंडेक्स, क्षमता और अनुमतियाँ फिर भी तय करनी होंगी)
• सेल्फ़-होस्टिंग में संचालन और अनुमतियाँ संभालना: Qdrant या Weaviate
• बहुत से दस्तावेज़: वास्तविक डेटा पर इंडेक्स, क्षमता और खोज का मूल्यांकन: Milvus

वैसे, होस्टिंग के चुनाव के बारे में PaaS (Vercel आदि) और रेंटल·VPS·क्लाउड की तुलना भी संदर्भ के लिए उपयोगी है।

6. प्रमुख उपयोग—RAG कहाँ इस्तेमाल होता है

RAG का उपयोग आंतरिक दस्तावेज़ों या उत्पाद जानकारी से उत्तर देने के लिए किया जा सकता है। यहाँ कुछ उपयोगों के उदाहरण हैं।

उपयोग 1: आंतरिक दस्तावेज़ QA (नॉलेज बेस)

नियमावली, मैनुअल, तकनीकी विवरण, मीटिंग नोट्स और बिक्री सामग्री में खोजकर कर्मचारियों के सवालों का उत्तर दे सकते हैं। हर उपयोगकर्ता कौन-से दस्तावेज़ देख सकता है, यह तय करें और दस्तावेज़ बदलने पर इंडेक्स अद्यतन करें।

उपयोग 2: ग्राहक सहायता का स्वचालन

FAQ और सहायता इतिहास में खोजकर चैटबॉट शुरुआती उत्तर दे सकता है। जटिल सवाल मानव सहायता टीम को भेजे जा सकते हैं।

उपयोग 3: क़ानून और चिकित्सा की जानकारी पर प्रश्नोत्तर

न्यायिक मामलों, चिकित्सा शोध और दिशा-निर्देशों में खोज से विशेषज्ञों की समीक्षा के लिए जानकारी जुटाई जा सकती है। स्रोत दिखाना और उनके लागू होने तथा उत्तर की सामग्री की मानवीय जाँच ज़रूरी है। संदर्भ मौजूद होने से निर्णय सही या सुरक्षित होने की गारंटी नहीं मिलती।

उपयोग 4: शोध-पत्र सर्च·सारांश

उपयोग की अनुमति वाले शोध-पत्रों और सारांशों में खोज से विषय के रुझानों या किसी विधि से संबंधित शोध की जानकारी जुटाई जा सकती है। मिली सामग्री का दायरा और तारीख बताएँ; अध्ययन के परिणाम और परिस्थितियाँ मूल पाठ में जाँचें।

उपयोग 5: ऑनलाइन दुकान में उत्पाद खोज और FAQ

RAG उत्पाद मैनुअल, समीक्षाओं और वापसी नीति जैसे दस्तावेज़ों में खोज सकता है। "क्या यह वैक्यूम क्लीनर पालतू जानवरों के बाल भी संभाल सकता है?" जैसी प्राकृतिक भाषा सर्च संभव।

उपयोग 6: डेवलपर के लिए दस्तावेज़ चैट

लाइब्रेरी के आधिकारिक दस्तावेज़ों में खोजकर “इस काम का उदाहरण है?” जैसे सवालों का उत्तर दे सकते हैं। खोज की शर्तों में संस्करण शामिल करें, ताकि अलग-अलग संस्करणों के दस्तावेज़ न मिलें।

उपयोग 7: आंतरिक कोडबेस का सर्च·व्याख्या

कोड और डिज़ाइन दस्तावेज़ खोजकर “यह फ़ंक्शन कैसे इस्तेमाल करें?” या “ऐसा काम करने वाली फ़ाइल कौन-सी है?” का उत्तर दे सकते हैं। कोड देखना GitHub Copilot Chat और Cursor, Claude Code जैसे AI विकास उपकरणों के लिए भी उपयोगी हो सकता है, लेकिन उनकी आंतरिक प्रक्रिया इस चित्र जैसी ही हो, यह ज़रूरी नहीं।

उपयोग 8: llms.txt से दस्तावेज़ों का मार्गदर्शन

llms.txt वेबसाइट के दस्तावेज़ों का पाठ-आधारित मार्गदर्शक देने का प्रस्ताव है। इससे खोज या सामग्री जुटाने की शुरुआत हो सकती है, लेकिन यह मानक AI के पढ़ने या सही संदर्भ देने की गारंटी नहीं देता।

7. RAG vs फ़ाइन-ट्यूनिंग—कौन-सा चुनें

"LLM को स्वयं का ज्ञान देने" की विधि के रूप में RAG के साथ-साथ अक्सर चर्चा होती है फ़ाइन-ट्यूनिंग (Fine-tuning)। दोनों के दृष्टिकोण मूलतः भिन्न हैं।

मूलभूत अंतर

RAG के लिए उपयुक्त परिस्थितियाँ

• ज्ञान बार-बार अद्यतन होता है (समाचार, आंतरिक दस्तावेज़, उत्पाद जानकारी)
• उत्तर का आधार स्पष्ट करना ज़रूरी हो (क़ानून, चिकित्सा, वित्त)
• सवाल के अनुसार ज़रूरी दस्तावेज़ बदलते हैं; हर बार सब भेजने के बजाय संबंधित हिस्से खोजना चाहते हैं
• मॉडल को दोबारा प्रशिक्षित किए बिना दस्तावेज़ देखने वाला प्रोटोटाइप बनाना

फ़ाइन-ट्यूनिंग के लिए उपयुक्त परिस्थितियाँ

• विशिष्ट शैली·टोन में उत्तर दिलवाना हो (कंपनी ब्रांड, चरित्र विशेषता)
• विशेषज्ञ क्षेत्र के भाषा पैटर्न सीखाना है (चिकित्सा शब्द, क़ानूनी शैली)
• प्रशिक्षण का ख़र्च जोड़कर छोटे प्रॉम्प्ट या छोटे मॉडल से संभावित बचत जाँचना
• अपेक्षित उत्तरों के उदाहरण और मूल्यांकन डेटा तैयार कर सकते हैं

अतिरिक्त प्रशिक्षण की उपलब्धता सेवा के अनुसार बदलती है। 9 अक्टूबर 2026 को जाँचे गए OpenAI के आधिकारिक दस्तावेज़ में नए उपयोगकर्ताओं के लिए फ़ाइन-ट्यूनिंग उपलब्ध नहीं है। पहले मॉडल की उपलब्धता और अनुबंध की शर्तें जाँचें।

ज़रूरत के अनुसार जोड़ें और जाँचें

RAG और फ़ाइन-ट्यूनिंग साथ इस्तेमाल हो सकते हैं। उदाहरण के लिए, अतिरिक्त प्रशिक्षण से उत्तर का प्रारूप बदलें और खोज से अद्यतन दस्तावेज़ दें। दोनों जोड़ने से गुणवत्ता बेहतर होने की गारंटी नहीं है।

पहले अपेक्षित उत्तर और मूल्यांकन विधि तय करें। जाँचें कि बेहतर निर्देश या अतिरिक्त दस्तावेज़ पर्याप्त हैं या नहीं। स्रोत देखने के लिए RAG और व्यवहार बदलने के लिए फ़ाइन-ट्यूनिंग पर विचार करें। वास्तविक इनपुट पर लागत, गति और गुणवत्ता की तुलना करें। OpenAI की सुधार प्रक्रिया में भी ज़रूरत वाले कामों के लिए प्रशिक्षण से पहले मूल्यांकन और निर्देश सुधार आते हैं। बदले हुए मॉडल का स्थानीय संचालन वज़न की उपलब्धता, लाइसेंस और संसाधनों पर निर्भर है।

8. ख़ुद बनाने से पहले—अपने दस्तावेज़ों से आज़माएँ

ख़ुद RAG बनाने से पहले, अपने दस्तावेज़ों से जाँच लें कि "पहले खोजो, फिर जवाब दो" वाला तरीक़ा वाक़ई काम का है या नहीं। इससे भटकाव बचता है, और ज़्यादातर मामलों में पहली जाँच के लिए कोड की ज़रूरत नहीं होती।

चरण 1: जाँचें कि क्या सभी दस्तावेज़ एक साथ दिए जा सकते हैं

चुने हुए मॉडल की संदर्भ सीमा में सभी दस्तावेज़ आ जाएँ, तो खोज के बिना भी दे सकते हैं। 2024 में प्रकाशित Contextual Retrieval के विवरण में Anthropic ने 2,00,000 टोकन, यानी लगभग 500 पृष्ठ से छोटी सामग्री सीधे प्रॉम्प्ट में देने और कैशिंग से दक्षता बढ़ाने का सुझाव दिया था (आधिकारिक विवरण)। यह हर मॉडल के लिए सार्वभौमिक सीमा नहीं है। वर्तमान मॉडल की इनपुट सीमा, दस्तावेज़ की लंबाई, उत्तर की गुणवत्ता और लागत देखकर तय करें।

चरण 2: दस्तावेज़ तैयार "प्रोजेक्ट" फ़ीचर में डालकर सवाल पूछें

Claude के Projects में, जब प्रोजेक्ट की सामग्री कॉन्टेक्स्ट सीमा के क़रीब पहुँचती है, तो वे अपने-आप RAG पर चले जाते हैं और 10 गुना तक ज़्यादा सामग्री सँभाल सकते हैं। यह पेड प्लान का फ़ीचर है; चालू होने पर एक संकेत दिखता है और जवाब देते समय Claude "project knowledge search" टूल का उपयोग करता है (Claude सहायता केंद्र)। ChatGPT के Projects में भी फ़ाइलें जोड़कर उनसे सवाल पूछे जा सकते हैं, और फ़ाइलों की संख्या जैसी सीमाएँ प्लान के हिसाब से तय हैं।

चरण 3: ऐसे 10 सवालों से जाँचें जिनके जवाब आपको पता हैं

ऐसे 10 सवाल बनाएँ जिनका जवाब दस्तावेज़ में कहाँ है यह आपको पता हो, और तीन बातें दर्ज करें।

1. क्या जवाब सही है?
2. क्या सबूत के तौर पर बताया गया हिस्सा सही है?
3. जब आप ऐसी बात पूछें जो दस्तावेज़ में नहीं है, तो क्या वह यही कहता है?

तीसरी जाँच में गढ़े हुए उत्तर आएँ, तो निर्देश दोहराएँ: “दस्तावेज़ में जानकारी न हो, तो यही बताएँ”, और फिर जाँचें। दस सवाल पहले परीक्षण का उदाहरण हैं। ज़्यादातर सही होने से उत्पादन गुणवत्ता या सुरक्षा साबित नहीं होती। महत्वपूर्ण सवाल, मिलते-जुलते दस्तावेज़, विरोधाभास और पहुँच की अनुमति भी मूल्यांकन में रखें।

चरण 4: अधिक नियंत्रण चाहिए तो अपना सिस्टम और मैनेज्ड सेवा तुलना में रखें

खोज सुधार के उदाहरण में Anthropic के अनुसार Contextual Embeddings और Contextual BM25 ने शीर्ष 20 परिणामों में सही हिस्सा न मिलने की दर 49%, और री-रैंकिंग जोड़ने पर 67% घटाई (परीक्षण की शर्तें और परिणाम)। यह कंपनी के मूल्यांकन डेटा पर खोज का माप है; आपके ग़लत उत्तर इतने ही घटने की गारंटी नहीं।

ख़ुद बनाने का न्यूनतम रूप अगले अनुभाग में है; हाइब्रिड सर्च और री-रैंकिंग जैसे प्रोडक्शन सुधार RAG और वेक्टर डेटाबेस कार्यान्वयन गाइड में हैं।

9. कार्यान्वयन—LangChain से RAG बनाना

RAG कार्यान्वयन के प्रतिनिधि फ़्रेमवर्क प्रस्तुत करने के बाद, Python में न्यूनतम सैंपल कोड दिखाते हैं।

प्रमुख फ़्रेमवर्क

LangChain से न्यूनतम RAG सैंपल

यह शिक्षण उदाहरण PDF में संबंधित हिस्से खोजकर मॉडल को उत्तर के लिए देता है। LangChain 1.x के लिए Python 3.10 या बाद का संस्करण चाहिए। API कुंजी पर्यावरण चर OPENAI_API_KEY में रखें और चुने हुए OpenAI API मॉडल तक पहुँच वाली व्यवस्था तैयार करें। कुंजी को कोड या सार्वजनिक रिपॉज़िटरी में न रखें।

यह उदाहरण PDF का पाठ और सवाल एम्बेडिंग API को, फिर खोज परिणाम और सवाल LLM API को भेजता है। अपने कंप्यूटर पर Chroma चलाने से पूरी प्रक्रिया स्थानीय नहीं हो जाती। API की कीमत और शर्तें ChatGPT सदस्यता से अलग हैं। केवल अनुमति वाले गैर-गोपनीय दस्तावेज़ों से परीक्षण करें। यह कोड एक शिक्षण उदाहरण है, जिसका चलना अभी सत्यापित नहीं हुआ है। चलाने से पहले, जिस लाइब्रेरी संस्करण का आप उपयोग करते हैं उसके आधिकारिक तरीक़े से इसे मिलाएँ।

# pip install -U langchain-openai langchain-chroma langchain-text-splitters langchain-community pypdf
from langchain_community.document_loaders import PyPDFLoader
from langchain_text_splitters import RecursiveCharacterTextSplitter
from langchain_openai import OpenAIEmbeddings, ChatOpenAI
from langchain_chroma import Chroma

# 1. दस्तावेज़ पढ़ना
loader = PyPDFLoader("kisoku.pdf")
docs = loader.load()

# 2. चंक विभाजन
splitter = RecursiveCharacterTextSplitter(
    chunk_size=500, chunk_overlap=50
)
chunks = splitter.split_documents(docs)

# 3. एम्बेडिंग + वेक्टर DB निर्माण
embeddings = OpenAIEmbeddings(model="text-embedding-3-small")
vectorstore = Chroma.from_documents(chunks, embeddings)
retriever = vectorstore.as_retriever(search_kwargs={"k": 3})

# 4. खोज (सवाल से सबसे मिलते-जुलते 3 चंक)
question = "सवेतन अवकाश कितने दिन हैं?"
found = retriever.invoke(question)
context = "\n\n".join(d.page_content for d in found)

# 5. आधार देकर उत्तर तैयार करना
llm = ChatOpenAI(model="gpt-6-luna")
answer = llm.invoke([
    {"role": "system", "content": "केवल नीचे दी गई सामग्री के आधार पर उत्तर दें। अगर उत्तर उसमें न हो, तो कहें कि सामग्री में नहीं है।\n\n" + context},
    {"role": "user", "content": question},
])
print(answer.content)
print("संदर्भ स्रोत:", [d.metadata for d in found])

उदाहरण PDF के संबंधित हिस्से खोजकर GPT-6 Luna को उत्तर बनाने के लिए देता है। मिले दस्तावेज़ों का मेटाडेटा भी दिखाता है। पृष्ठ संख्या जैसी जानकारी दस्तावेज़ और लोडर पर निर्भर है। उत्तर में संदर्भ सही है या नहीं, इसकी अलग जाँच ज़रूरी है।

gpt-6-luna को 9 अक्टूबर 2026 को मॉडल के आधिकारिक पृष्ठ से मिलाया गया है। उपयोग से पहले आधिकारिक मॉडल सूची में संगत API, उपलब्धता और मूल्य जाँचें। उम्मीदवार मॉडलों की तुलना एक जैसे दस्तावेज़ और सवालों पर करें: स्रोत की समझ, उत्तर गुणवत्ता, गति और लागत।

उदाहरण LangChain 1.x की पैकेज संरचना इस्तेमाल करता है। LangChain 1.0 में langchain.chains, जिसमें RetrievalQA था, अलग langchain-classic पैकेज में चला गया। यहाँ पाठ विभाजन langchain_text_splitters से आता है और आधिकारिक दस्तावेज़ का “2-Step RAG” दो चरणों में लिखा है: खोज, फिर स्रोत देकर उत्तर। आधिकारिक माइग्रेशन गाइड में import पथ और Python आवश्यकताएँ जाँचें। पैकेज संस्करण दर्ज करें और दोहराए जा सकने वाले वातावरण में परीक्षण करें।

अधिक प्रोडक्शन-स्तरीय कार्यान्वयन के लिए

• चंक विभाजन का अनुकूलन (सिमैंटिक विभाजन, हायरार्किकल चंक आदि)
• हाइब्रिड सर्च (वेक्टर + कीवर्ड BM25 का मिलान)
• री-रैंकिंग (Cohere Rerank, voyage-rerank आदि से सर्च परिणामों का फिर क्रम देना)
• क्वेरी पुनर्लेखन (HyDE, Multi-Query आदि से सर्च परिशुद्धता वृद्धि)
• मूल्यांकन पाइपलाइन (RAGAS से स्वचालित मूल्यांकन)

10. RAG की चुनौतियाँ और उपाय

उत्पादन में इन बिंदुओं की जाँच चाहिए।

चुनौती 1: चंक विभाजन की कठिनाई

दस्तावेज़ को कैसे विभाजित करें इससे सर्च परिशुद्धता बहुत बदल जाती है। बहुत छोटा हो तो संदर्भ खो जाता है, बहुत बड़ा हो तो सर्च परिशुद्धता गिरती है।

उपाय:

• सिमैंटिक विभाजन (अर्थपूर्ण समूह में बाँटना)
• ओवरलैप सेटिंग (पड़ोसी चंक के साथ कुछ ओवरलैप)
• हायरार्किकल चंक (छोटे हिस्से खोजकर उनसे जुड़े बड़े हिस्से का संदर्भ देना)

चुनौती 2: Retrieval (सर्च) की परिशुद्धता

समान दिखने वाले परंतु भिन्न चंक उठा लेना, महत्वपूर्ण जानकारी छूट जाना आदि।

उपाय:

• हाइब्रिड सर्च (वेक्टर + BM25 कीवर्ड)
• री-रैंकिंग मॉडल से सर्च के बाद फिर क्रम देना
• एकाधिक क्वेरी जनरेशन (एक ही सवाल को भिन्न शब्दों में सर्च)

चुनौती 3: कॉन्टेक्स्ट लंबाई की सीमा

LLM को दिए जा सकने वाले टोकन की अधिकतम सीमा है, बड़ी मात्रा में चंक नहीं दिए जा सकते।

उपाय:

• K रिकॉर्ड सीमित (शीर्ष 3–5)
• पहले सारांश बनाकर देना
• लंबे कॉन्टेक्स्ट वाला LLM उपयोग करें (सीमा हर मॉडल में अलग होती है, और अब कुछ मॉडल लगभग 10 लाख टोकन तक लेते हैं; अपने मॉडल की सीमा आधिकारिक दस्तावेज़ में जाँचें)

चुनौती 4: मूल्यांकन की कठिनाई

RAG की उत्तर गुणवत्ता को वस्तुनिष्ठ रूप से मापना कठिन। सही उत्तर डेटा कैसे बनाएँ यह चुनौती।

उपाय:

• RAGAS (RAG मूल्यांकन के लिए OSS फ़्रेमवर्क) उपयोग
• उत्तर की सटीकता, उत्तर की प्रासंगिकता, स्रोतों के प्रति उत्तर की निष्ठा आदि सूचकांक स्वचालित गणना
• LLM-as-a-Judge (अन्य LLM से अंक दिलवाना)

चुनौती 5: बहुभाषी·मल्टीमोडल

हिंदी और अंग्रेज़ी मिले हुए दस्तावेज़, छवि-युक्त PDF, तालिकाएँ-ग्राफ़ आदि की प्रोसेसिंग कठिन।

उपाय:

• बहुभाषी एम्बेडिंग मॉडल (BGE-M3, Cohere Multilingual)
• छवि·तालिका को LLM से पहले पाठ में बदलना (OCR + VLM)
• मल्टीमोडल एम्बेडिंग (CLIP, Nomic आदि)

11. प्रमुख उपकरण और सेवाओं की सूची

RAG निर्माण में उपयोगी प्रमुख उपकरण श्रेणी के अनुसार सूचीबद्ध हैं।

फ़्रेमवर्क·लाइब्रेरी

• LangChain—खोज, मॉडल और डेटा स्रोत जोड़ना
• LlamaIndex—डेटा कनेक्शन में विशेषज्ञ
• Haystack—एंटरप्राइज़ के लिए
• DSPy—प्रॉम्प्ट स्वचालित अनुकूलन

वेक्टर DB (मैनेज्ड)

• Pinecone—मैनेज्ड वेक्टर खोज
• Weaviate Cloud—GraphQL समर्थन
• Qdrant Cloud—Qdrant की मैनेज्ड सेवा
• Zilliz Cloud—Milvus का मैनेज्ड संस्करण

वेक्टर DB (OSS·सेल्फ-होस्ट)

• Chroma—Python से वेक्टर खोज
• Qdrant—वेक्टर खोज और फ़िल्टर
• Weaviate—OSS संस्करण
• Milvus—वेक्टर डेटाबेस
• pgvector—PostgreSQL एक्सटेंशन

एम्बेडिंग मॉडल

• OpenAI text-embedding-3—API से एम्बेडिंग बनाना
• Voyage AI—Anthropic के दस्तावेज़ में परिचय
• Cohere Embed—बहुभाषी समर्थन
• BGE-M3—बहुभाषी मॉडल; स्थानीय संचालन का विकल्प

नो-कोड·मैनेज्ड RAG सेवाएँ

• ChatGPT Projects / मौजूदा Custom GPTs—अतिरिक्त दस्तावेज़ देखने की तैयार सुविधाएँ; हर सुविधा की प्रक्रिया और शर्तें जाँचें
• Claude Projects—Anthropic की RAG सुविधा
• Notion AI—Notion के दस्तावेज़ सर्च
• Microsoft Copilot (Microsoft 365)—आंतरिक दस्तावेज़ देखने का विकल्प; अनुबंध, कनेक्शन और अनुमतियाँ जाँचें
• Dify—OSS नो-कोड AI निर्माण मंच
• Vertex AI Agent Builder—Google Cloud की RAG निर्माण सेवा
• Amazon Bedrock Knowledge Bases—AWS की मैनेज्ड RAG

मूल्यांकन उपकरण

• RAGAS—OSS RAG मूल्यांकन फ़्रेमवर्क
• TruLens—LLM ऐप मूल्यांकन सामान्य
• LangSmith—LangChain आधिकारिक ट्रेस·मूल्यांकन

फाइन-ट्यूनिंग को और गहराई से समझने के लिए फाइन-ट्यूनिंग क्या है भी पढ़ें: यह RAG के मुक़ाबले कब इस्तेमाल करें और LoRA/QLoRA जैसे तरीक़े शुरुआती लोगों के लिए समझाता है।

FAQ

9 अक्टूबर 2026 को आधिकारिक स्रोतों में कीमत, उत्पाद शर्तें और API डेटा नीति जाँची गई। उदाहरण का कोड चलाया नहीं गया, API परिणाम या बिल नहीं मापे गए और गोपनीयता सुरक्षा का वास्तविक परीक्षण नहीं हुआ। लागू करने से पहले नवीनतम दस्तावेज़ और सेवा की शर्तें देखें।