विषय-सूची
- 1. क्या बदला — ओपन मॉडल एजेंटिक स्तर तक पहुँच गए
- 2. औज़ार दो तरह के हैं — Continue और Cline एक चीज़ नहीं
- 3. पहला जाल — कॉन्टेक्स्ट लंबाई आपके VRAM से तय होती है
- 4. मॉडल चुनना — VRAM के हिसाब से व्यावहारिक जवाब
- 5. सेटअप — सबसे छोटा रास्ता
- 6. क्लाउड से फ़ासला अब नापना मुश्किल हो गया है
- 7. क्या लोकल सचमुच मुफ़्त है
- 8. कब कौन सा चुनें — निष्कर्ष
- सारांश
- FAQ
अपने ही PC पर चलने वाले मॉडल से कोड लिखवाना। इतना तो कई साल से मुमकिन था, पर जो मुमकिन था वह कम्प्लीशन था — यानी जिस लाइन को आप टाइप कर रहे हैं उसका बचा हुआ हिस्सा भर देना। वह एजेंटिक तरीक़ा, जिसमें मॉडल रिपॉज़िटरी पढ़ता है, कई फ़ाइलें बदलता है और टेस्ट चलाता है, लोकल मशीन के लिए बहुत भारी था।
यही बात 2025 के आख़िर से 2026 के दौरान बदलनी शुरू हुई। यह लेख सिर्फ़ प्राथमिक स्रोतों के आधार पर बताता है कि आज आप असल में कहाँ तक पहुँच सकते हैं और कहाँ अटकते हैं। निष्कर्ष पहले ही कह देता हूँ — यह चलता है, पर एक दरवाज़ा है: एक सेटिंग नहीं बदली तो यह चुपचाप टूट जाता है।
📌 इस लेख के आँकड़ों के बारे में: हर बेंचमार्क और मॉडल विवरण बनाने वाले की अपनी घोषणा से लिया गया है (Mistral AI आधिकारिक, Qwen का आधिकारिक मॉडल कार्ड, Ollama के आधिकारिक दस्तावेज़, Cline के आधिकारिक दस्तावेज़, Anthropic आधिकारिक)। राउंडअप लेखों से कुछ भी उधार नहीं लिया गया — क्योंकि खोजबीन के दौरान कई ऐसे राउंडअप मिले जिन्होंने एक आकार के मॉडल का स्कोर दूसरे आकार के मॉडल के नाम लिख दिया था।
1. क्या बदला — ओपन मॉडल एजेंटिक स्तर तक पहुँच गए
इस बदलाव का सबसे साफ़ सबूत यह है कि मॉडल बनाने वाले ख़ुद अब अपने मॉडल को एजेंटिक कोडिंग के लिए बेच रहे हैं।
Qwen के आधिकारिक मॉडल कार्ड में लिखा है कि मॉडल Qwen Code और CLINE जैसे अधिकांश प्लेटफ़ॉर्म को सपोर्ट करता है और उसमें ख़ास तौर पर डिज़ाइन किया गया function call फ़ॉर्मैट है, यानी एडिटर एक्सटेंशन के नाम सीधे लिखे गए हैं (Qwen3-Coder-30B-A3B-Instruct model card)। दूसरे शब्दों में, मॉडल किसी ख़ास कोडिंग एजेंट को ध्यान में रखकर बनाया गया है।
Mistral AI भी उसी दिशा में है। 9 दिसंबर 2025 को घोषित Devstral 2 एजेंटिक कोडिंग के लिए साफ़-साफ़ बनाया गया समर्पित मॉडल है, और छोटे वाले Devstral Small 2 (24B) को Apache 2.0 के तहत जारी किया गया (Introducing: Devstral 2 and Mistral Vibe CLI)।
जब सिर्फ़ कम्प्लीशन था
जो लाइन टाइप हो रही है उसे पूरा करना। छोटा मॉडल काफ़ी है और कॉन्टेक्स्ट छोटा रह सकता है। लोकल हार्डवेयर पर बिना दिक़्क़त चलता था
जैसे ही यह एजेंटिक बनता है
तब टूल कॉल सटीक निकालना और लंबा कॉन्टेक्स्ट भरोसे से सँभालना ज़रूरी हो जाता है। इस स्तर को पार करने वाले ओपन मॉडल अब आ चुके हैं
2. औज़ार दो तरह के हैं — Continue और Cline एक चीज़ नहीं
दोनों को गड्डमड्ड करके शुरू किया तो उम्मीद और नतीजा मेल नहीं खाएँगे। दोनों VS Code एक्सटेंशन हैं और दोनों Ollama से जुड़ते हैं, पर इनकी डिज़ाइन सोच बिल्कुल अलग है।
| Continue | Cline | |
|---|---|---|
| स्वभाव | कम्प्लीशन, चैट और एडिट का पैकेज | स्वायत्त रूप से काम करने वाला कोडिंग एजेंट |
| भूमिकाओं का बँटवारा | हर भूमिका के लिए अलग मॉडल — chat / edit / apply / rerank / autocomplete |
एक ही मॉडल योजना से लेकर अमल तक सब करता है |
| हार्डवेयर की माँग | कम। कम्प्लीशन के लिए कुछ GB का मॉडल काफ़ी है | ज़्यादा। इसे लंबा कॉन्टेक्स्ट और सटीक टूल कॉल चाहिए |
| किस काम के लिए ठीक | लिखते-लिखते अपने हाथ तेज़ करना | पूरा काम सौंप देना |
Continue का हर भूमिका के लिए अलग मॉडल वाला डिज़ाइन लोकल हार्डवेयर से अच्छा मेल खाता है, क्योंकि कम्प्लीशन को छोटा और तेज़ मॉडल और चैट को बड़ा मॉडल दिया जा सकता है। आधिकारिक Ollama गाइड कम्प्लीशन के लिए qwen2.5-coder:1.5b और starcoder2:3b जैसे हल्के मॉडल नाम लेकर गिनाती है (Continue — Ollama guide)।
⚠️ हालाँकि आधिकारिक दस्तावेज़ों में सुझाए गए मॉडल पुराने हो सकते हैं। ऊपर वाली गाइड चैट के लिए llama3.1:8b और deepseek-r1:32b सुझाती है, और आज जो चुना जा सकता है उसके मुक़ाबले ये कई पीढ़ी पीछे हैं। दस्तावेज़ों की प्रक्रिया अब भी काम की है, पर मॉडल नामों को जस का तस मत मानिए; नीचे के भाग 4 "मॉडल चुनना" से दोबारा चुनिए।
3. पहला जाल — कॉन्टेक्स्ट लंबाई आपके VRAM से तय होती है
यह इस लेख का सबसे अहम भाग है। इसे न जाना तो आप उस हालत में फँसेंगे जहाँ सेटअप तो सफल हो गया, पर एजेंट बीच काम में बेतुका बर्ताव करने लगता है। और कोई एरर भी नहीं आता।
वजह Ollama की डिफ़ॉल्ट कॉन्टेक्स्ट लंबाई है। यह कोई तय मान नहीं है; यह अपने आप इस हिसाब से चुनी जाती है कि आपके पास कितना VRAM है (Ollama — Context length)।
| VRAM | डिफ़ॉल्ट कॉन्टेक्स्ट लंबाई |
|---|---|
| 24 GiB से कम | 4k |
| 24 से 48 GiB | 32k |
| 48 GiB और उससे ऊपर | 256k |
आम गेमिंग PC (VRAM 8 से 16GB) सबसे ऊपर वाली पंक्ति में गिरता है। यानी 4k। सिस्टम प्रॉम्प्ट, फ़ाइलों की सामग्री और टूल कॉल की आवाजाही जुड़ते ही एजेंट इस सीमा को आसानी से पार कर जाता है, इसलिए बातचीत की शुरुआत चुपचाप काट दी जाती है। निर्देश भूल जाना, वही काम बार-बार दोहराना, बीच में मक़सद खो देना — वजह मॉडल का कम अक़्लमंद होना नहीं, बल्कि यह है कि संदर्भ दरवाज़े पर ही फेंक दिया जा रहा है।
ठीक इसी काम के लिए Ollama के दस्तावेज़ साफ़ लिखते हैं कि वेब सर्च और कोडिंग टूल जैसे भारी कामों के लिए कॉन्टेक्स्ट कम से कम 64000 टोकन पर सेट करें। सेटिंग सर्वर शुरू करते समय एनवायरनमेंट वेरिएबल से होती है।
OLLAMA_CONTEXT_LENGTH=64000 ollama serve
अगर आप ऐप संस्करण इस्तेमाल करते हैं, तो सेटिंग्स स्क्रीन में इसी के लिए एक स्लाइडर है।
⚠️ पर सिर्फ़ बढ़ा देने से बात ख़त्म नहीं होती। दस्तावेज़ चेताते हैं कि कॉन्टेक्स्ट लंबाई बढ़ाने से मॉडल चलाने के लिए ज़रूरी मेमोरी भी बढ़ती है।
जैसे ही यह VRAM में नहीं समाता, मॉडल का एक हिस्सा CPU पर धकेल दिया जाता है और सब कुछ नाटकीय रूप से धीमा हो जाता है। सेटिंग सचमुच लागू हुई या नहीं, यह ollama ps से जाँचिए — दस्तावेज़ यही करने को कहते हैं। वहीं दिखता है कि मॉडल पूरा GPU पर बैठा है या नहीं।
इसी समस्या का अपना जवाब Cline के पास भी है। आधिकारिक दस्तावेज़ Use Compact Prompt चालू करने और कामों को छोटा रखने (छोटा कॉन्टेक्स्ट तेज़ जवाब देता है) की सलाह देते हैं (Cline — Running models locally)। एजेंट का अपना सिस्टम प्रॉम्प्ट लंबा होता है, इसलिए उसे छोटा करने के लिए ही एक सेटिंग रखी गई है।
4. मॉडल चुनना — VRAM के हिसाब से व्यावहारिक जवाब
राउंडअप लेखों की सिफ़ारिशों पर भरोसा न करना ही बेहतर है। मैंने जितना देखा, उसमें कुछ ने 2025 के मध्य के मॉडल को "2026 की पसंद" बताया था, और एक ने 480B मॉडल का स्कोर 30B मॉडल के ख़ाने में लिख रखा था। आगे सिर्फ़ वही है जो बनाने वालों ने ख़ुद प्रकाशित किया।
| मॉडल | आकार | कॉन्टेक्स्ट | लाइसेंस | SWE-bench Verified |
|---|---|---|---|---|
| Qwen3.6-35B-A3B | 35B (3B सक्रिय) | 262,144 (अधिकतम 1,010,000) | Apache 2.0 | 73.4 |
| Devstral Small 2 | 24B | 256K | Apache 2.0 | 68.0% |
| Devstral 2 (संदर्भ के लिए, बहुत बड़ा) | 123B | 256K | Modified MIT | 72.2% |
स्रोत: Qwen3.6-35B-A3B मॉडल कार्ड (Terminal-Bench 2.0 पर 51.5 और QwenClawBench पर 52.6) तथा Mistral AI की आधिकारिक घोषणा (9 दिसंबर 2025)। ये स्कोर हर कंपनी ने अपने ही मॉडल पर ख़ुद नापे हैं, किसी तीसरे पक्ष ने साथ-साथ रखकर नहीं।
ध्यान देने लायक़ आँकड़ा Qwen3.6-35B-A3B का "3B सक्रिय" है। 35B में से हर बार असल में सिर्फ़ 3B जितना ही चलता है, और यहीं MoE (Mixture of Experts) अपना काम दिखाता है। यह ऐसी संरचना है जो बड़े मॉडल की समझ और छोटे मॉडल की रफ़्तार, दोनों एक साथ पाने की कोशिश करती है — इसलिए यह लोकल इस्तेमाल के लिए अच्छी बैठती है।
डाउनलोड आकार और ज़रूरी स्पेक
Ollama की लाइब्रेरी में qwen3.6 के 27b (18GB) और 35b (23GB) साथ-साथ मिलते हैं। Mac के लिए -mlx वाले टैग भी हैं।
Cline की आधिकारिक मेमोरी सलाह ऐसी है — छोटे मॉडलों के लिए 16 से 32GB, मध्यम आकार के कोडिंग मॉडलों के लिए 32 से 64GB, और बड़े मॉडल तथा बड़े कॉन्टेक्स्ट के लिए 64GB या उससे ज़्यादा।
VRAM 8 से 12GB
Continue के कम्प्लीशन तक सीमित रहिए। एजेंटिक रास्ता छोड़ दीजिए या क्लाउड के साथ मिलाकर चलाइए
VRAM 16 से 24GB
Devstral Small 2 (24B) पहुँच में है। क्वांटाइज़ेशन ज़रूरी है क्योंकि कॉन्टेक्स्ट बढ़ाने के लिए जगह चाहिए
VRAM 24GB या ज़्यादा / यूनिफ़ाइड मेमोरी 32GB या ज़्यादा
Qwen3.6 का 27b या 35b व्यावहारिक हो जाता है। डिफ़ॉल्ट कॉन्टेक्स्ट भी बढ़कर 32k हो जाता है
Mistral लिखता है कि Devstral Small 2 उपभोक्ता GPU पर, यहाँ तक कि सिर्फ़ CPU वाले सेटअप पर भी चलता है। पर यह याद रखना ठीक रहेगा कि "चलता है" और "एजेंट के तौर पर काम लायक़ रफ़्तार से चलता है" दो अलग बातें हैं।
5. सेटअप — सबसे छोटा रास्ता
1. Ollama इंस्टॉल कीजिए और कॉन्टेक्स्ट सेट कीजिए
क्रम मायने रखता है। मॉडल खींचने से पहले कॉन्टेक्स्ट लंबाई तय कीजिए।
OLLAMA_CONTEXT_LENGTH=64000 ollama serve
इंस्टॉलेशन के क़दम ख़ुद Ollama की पूरी गाइड में दिए गए हैं, इसलिए उसे देख लीजिए।
2. मॉडल खींचिए
ollama pull qwen3.6:27b
अगर VRAM तंग है तो इसके बजाय Devstral Small 2 चुनिए। आम चैट मॉडल से इन दोनों को अलग करने वाली बात यही है कि ये एजेंटिक इस्तेमाल को ध्यान में रखकर बनाए गए हैं।
3. जाँचिए कि यह GPU पर है
ollama ps
यह जाँच मत छोड़िए। अगर मॉडल का हिस्सा CPU पर धकेल दिया गया है, तो अनुभव बिल्कुल दूसरी ही चीज़ बन जाता है। "लोकल LLM इतने धीमे हैं कि काम के नहीं" वाली ज़्यादातर राय की जड़ ठीक यही है।
4. एक्सटेंशन जोड़िए
Cline और Continue दोनों में प्रोवाइडर के तौर पर Ollama चुनिए और उसे http://localhost:11434 पर लगाइए। Cline की आधिकारिक चेतावनी सीधी-सादी है — प्रॉम्प्ट भेजने से पहले पक्का कर लीजिए कि Ollama चल रहा है, और कोई ख़ास कॉन्फ़िगरेशन नहीं चाहिए।
अगर आप Cline इस्तेमाल कर रहे हैं तो साथ ही Use Compact Prompt चालू कीजिए।
6. क्लाउड से फ़ासला अब नापना मुश्किल हो गया है
यहाँ मैं खुलकर लिखना चाहता हूँ। "लोकल मॉडल क्लाउड के कितने प्रतिशत तक पहुँचे" जैसी साफ़-सुथरी तुलना अभी बनाई ही नहीं जा सकती। वजह यह है कि बेंचमार्क अब आपस में मेल नहीं खाते।
ओपन मॉडल वाला पक्ष SWE-bench Verified छापता है: Qwen3.6-35B-A3B का 73.4, Devstral Small 2 का 68.0%। दूसरी ओर, फ़्रंटियर वाला पक्ष इस पैमाने से दूर हटता जा रहा है।
असल में, Anthropic की Claude Opus 5 घोषणा में SWE-bench Verified का आँकड़ा है ही नहीं। वहाँ जो गिनाया गया है वह Frontier-Bench v0.1, CursorBench 3.2, AA Coding Agent Index और FrontierCode 1.1 है, और उसमें से बहुत कुछ निरपेक्ष के बजाय सापेक्ष भाषा में कहा गया है (Opus 4.8 के प्रदर्शन से दोगुने से भी ज़्यादा, Fable 5 के शिखर स्कोर के 0.5% के भीतर, वग़ैरह)।
⚠️ इसलिए जब कोई दावा दिखे कि लोकल Claude के इतने प्रतिशत पर है, तो शक कीजिए। पूरी संभावना है कि दोनों पक्ष एक ही पैमाने पर नापे ही नहीं गए, या फिर तुलना कई पीढ़ी पुराने Claude से हो रही है। आजकल SWE-bench Verified पर बमुश्किल ओपन मॉडल आपस में ही क़तार में खड़े होते हैं।
फिर भी फ़ासले के बारे में जो कहा जा सकता है
आँकड़े मेल न खाएँ, फिर भी जहाँ अंतर संरचनात्मक रूप से दिखता है वे जगहें काफ़ी साफ़ हैं।
जहाँ लोकल जीतता है
कोड मशीन से बाहर नहीं जाता, इस्तेमाल के हिसाब से बिल नहीं आता (जितनी बार चाहें चलाइए), ऑफ़लाइन काम करता है, और कोई रेट लिमिट नहीं
जहाँ क्लाउड जीतता है
कई फ़ाइलों में फैला तर्क, लंबे स्वायत्त रन में स्थिरता, कोई शुरुआती निवेश नहीं, और मॉडल अपने आप नया होता रहता है
"कई फ़ाइलों में फैले तर्क" पर फ़ासला सबसे ज़्यादा दिखने की एक वजह है। वह काम कॉन्टेक्स्ट भारी मात्रा में खाता है और दर्जनों निर्णय एक के ऊपर एक चढ़ाता है। एक निर्णय की सटीकता का अंतर हर आवाजाही के साथ गुणा होकर बढ़ता है। एक ही फ़ाइल की मरम्मत में जो फ़र्क़ महसूस नहीं होता, वही रिपॉज़िटरी के पैमाने पर साफ़ महसूस होने लगता है।
7. क्या लोकल सचमुच मुफ़्त है
यह सच है कि API का बिल नहीं आता, पर यह मुफ़्त नहीं है। बस लागत का रूप बदल गया है।
| मद | लोकल | क्लाउड |
|---|---|---|
| शुरुआती ख़र्च | ज़्यादा VRAM वाला GPU, या भरपूर यूनिफ़ाइड मेमोरी | कुछ नहीं |
| इस्तेमाल के साथ बढ़ने वाला ख़र्च | सिर्फ़ बिजली | टोकन बिलिंग या सब्सक्रिप्शन |
| आसानी से नज़र न आने वाला ख़र्च | सेटअप और रखरखाव की मेहनत, साथ ही नए मॉडलों के साथ बने रहना | कुछ नहीं (सेवा देने वाला उठाता है) |
इसलिए "कौन सस्ता है" का जवाब तुलना की शर्तों के साथ पलट जाता है। अगर आपके पास पहले से 24GB श्रेणी का GPU है, तो लोकल लगभग शून्य अतिरिक्त लागत पर चलता है। अगर नहीं है, तो उसी GPU की क़ीमत में कई साल की सब्सक्रिप्शन आ जाती है। जवाब को दो बातों पर टिका मानना ज़्यादा सही है: क्या आप रोज़ बहुत चलाते हैं, और क्या हार्डवेयर पहले से आपके पास है।
8. कब कौन सा चुनें — निष्कर्ष
लोकल चुनने की सही वजहें
कोड बाहर नहीं जा सकता (अनुबंध, आंतरिक नियम), हार्डवेयर पहले से मौजूद है, बिना गिनती किए बार-बार आज़माना है, या आप ऑफ़लाइन काम करते हैं
जो वजह नहीं बनतीं
"क्योंकि यह मुफ़्त है" (हार्डवेयर की गिनती नहीं की गई) और "क्योंकि यह तेज़ लगता है" (क्लाउड आमतौर पर तेज़ होता है)
सबसे व्यावहारिक तरीक़ा दोनों को साथ इस्तेमाल करना है। Continue का कम्प्लीशन किसी छोटे लोकल मॉडल को सौंपिए और उसे लगातार चलने दीजिए, और बड़े काम क्लाउड एजेंट को दीजिए। कम्प्लीशन बार-बार होता है पर हर बार हल्का, इसलिए लोकल के लायक़; एजेंट कम बार चलता है पर हर बार भारी, इसलिए क्लाउड के लायक़ — भार का आकार ठीक उल्टा है।
सारांश
- ओपन मॉडल एजेंटिक कोडिंग तक पहुँच गए हैं। Qwen और Mistral, दोनों अब ऐसे समर्पित मॉडल देते हैं जो एडिटर एक्सटेंशन का नाम सीधे लेते हैं
- सबसे बड़ा दरवाज़ा Ollama की डिफ़ॉल्ट कॉन्टेक्स्ट लंबाई है। VRAM 24GiB से कम पर यह 4k रहती है और एजेंट चुपचाप टूट जाता है। कोडिंग के काम के लिए आधिकारिक सिफ़ारिश 64000 या उससे ज़्यादा है
- बढ़ाने के बाद
ollama psसे जाँचिए कि मॉडल GPU पर है। CPU पर धकेले जाने पर यह बिल्कुल दूसरे क़िस्म का धीमापन बन जाता है - Continue और Cline अलग औज़ार हैं। पहला हर भूमिका को एक मॉडल देता है और कम्प्लीशन पर टिका है, दूसरा स्वायत्त एजेंट है। दोनों की हार्डवेयर माँग अलग है
- "क्लाउड के कितने प्रतिशत" वाली तुलना अब मुश्किल से टिकती है। फ़्रंटियर पक्ष SWE-bench Verified छापने से हटता जा रहा है
- यह "मुफ़्त" नहीं है, लागत का रूप अलग है। जवाब इस बात पर पलटता है कि हार्डवेयर पहले से आपके पास है या नहीं
FAQ
Q1. क्या 8GB VRAM वाले GPU पर एजेंटिक सेटअप चल सकता है?
मुश्किल है, क्योंकि मॉडल ख़ुद समा भी जाए, तो कॉन्टेक्स्ट बढ़ाने की जगह नहीं बचती। Ollama का डिफ़ॉल्ट 24GiB से कम VRAM पर 4k हो जाता है, और उसे 64000 तक ले जाने से ज़रूरी मेमोरी बढ़ती है — 8GB में इन दोनों को साधना कठिन है। व्यावहारिक विकल्प हैं Continue के कम्प्लीशन तक सीमित रहना, या कम्प्लीशन लोकल रखकर एजेंट को क्लाउड पर डालना।
Q2. Cline और Continue में से किससे शुरू करूँ?
अगर लोकल LLM पहली बार आज़मा रहे हैं तो Continue से शुरू कीजिए, क्योंकि इसकी हार्डवेयर माँग कम है और गड़बड़ होने पर वजह अलग करना आसान है। कम्प्लीशन आराम से चलता है, यह पक्का करने के बाद एजेंटिक रास्ते पर बढ़िए, तो आप तय कर पाएँगे कि समस्या मॉडल की है या कॉन्फ़िगरेशन की।
Q3. क्या यह Mac पर चलता है?
हाँ। यूनिफ़ाइड मेमोरी VRAM का काम भी करती है, इसलिए बड़े मॉडल उठाना उलटा आसान रहता है। Ollama की लाइब्रेरी में qwen3.6 के Apple Silicon वाले -mlx टैग भी हैं। ध्यान रहे कि मेमोरी के आकार से डिफ़ॉल्ट कॉन्टेक्स्ट लंबाई तय होने वाला वही नियम यहाँ भी लागू होता है, इसलिए जाँच करनी ही होगी।
Q4. सबसे "अक़्लमंद" मॉडल कौन सा है?
सिर्फ़ प्रकाशित स्कोर देखें तो यहाँ गिनाए मॉडलों में सबसे ऊँचा Qwen3.6-35B-A3B है, SWE-bench Verified पर 73.4। पर ये हर कंपनी के अपने माप हैं, किसी तीसरे पक्ष की साथ-साथ की गई जाँच नहीं। व्यवहार में लाइसेंस (Devstral Small 2 और Qwen3.6, दोनों Apache 2.0 हैं) और यह कि मॉडल आपके VRAM में समाता है या नहीं, ज़्यादा मायने रखते हैं।
Q5. यह "बिना एरर दिए" क्यों टूटता है?
क्योंकि कॉन्टेक्स्ट लंबाई से बाहर की हर चीज़ को एरर नहीं, कटाई की तरह निपटाया जाता है। मॉडल जो हिस्सा उसे सौंपा गया, उस पर ठीक-ठीक जवाब देता है। नतीजा भूले हुए निर्देश, दोहराए गए काम और खोए हुए मक़सद के रूप में सामने आता है, और ऐसा लगता है मानो मॉडल में ही दम नहीं है। यह जानना कि इस लक्षण पर कॉन्फ़िगरेशन पर शक करना चाहिए, वजह पकड़ने की रफ़्तार पूरी तरह बदल देता है।
Q6. कौन सा क्वांटाइज़ेशन चुनूँ?
अगर असमंजस है तो Q4_K_M के आसपास से शुरू करना सुरक्षित है। फ़ॉर्मैट के अंतर (GGUF / GPTQ / AWQ) और चुनने का तरीक़ा हमारी क्वांटाइज़ेशन फ़ॉर्मैट की पूरी गाइड में इकट्ठा है। कोडिंग के काम में "बड़ा मॉडल लेकर कसकर क्वांटाइज़ करने" से ज़्यादा स्थिर "थोड़ा छोटा मॉडल लेकर क्वांटाइज़ेशन ढीला रखना" रहता है, क्योंकि टूल कॉल का फ़ॉर्मैट हूबहू निभाना पड़ता है।
Q7. क्या कंपनी के कोड पर इसका इस्तेमाल सुरक्षित है?
जब तक सब कुछ लोकल रहता है, कोड मशीन से बाहर नहीं जाता — और यही लोकल LLM का सबसे बड़ा फ़ायदा है। फिर भी एक्सटेंशन की अपनी सेटिंग्स ज़रूर जाँचिए: प्रोवाइडर Ollama पर लगा होने के बावजूद टेलीमेट्री या कोई दूसरा फ़ीचर बाहर बात कर सकता है। और आपके नियम इसकी इजाज़त देते हैं या नहीं, यह तकनीक से अलग सवाल है, इसलिए पहले अपने आंतरिक नियम देख लीजिए।
संबंधित लेख
- Ollama की पूरी गाइड — इंस्टॉलेशन और बुनियादी कमांड
- सबसे अच्छे लोकल LLM मॉडलों की तुलना — उपयोग और आकार के हिसाब से चुनाव
- लोकल LLM के लिए ज़रूरी PC स्पेक — VRAM और GPU की झटपट सूची
- क्वांटाइज़ेशन फ़ॉर्मैट की पूरी गाइड — GGUF, GPTQ और AWQ में से चुनाव
- लोकल LLM बनाम क्लाउड LLM — प्रदर्शन का अंतर और चुनाव