विषय-सूची

आप शायद यही मानते होंगे कि किसी बड़े भाषा मॉडल (LLM) को क्लाउड में ही चलना पड़ता है। असल में, AI को पूरी तरह अपने ही PC के अंदर चलाना — यानी "लोकल LLM" — अब एक व्यावहारिक विकल्प बन चुका है। आपका डेटा कभी मशीन से बाहर नहीं जाता, कोई API शुल्क नहीं लगता, और यह इंटरनेट के बिना भी काम करता है। छोटे मॉडल सिर्फ़ कुछ GB के होते हैं, इसलिए एक साधारण लैपटॉप भी उन्हें चला लेता है।

इस लेख में शुरुआती लोगों के लिए बताया गया है कि लोकल LLM क्या है, इसके फायदे और कमज़ोरियाँ, कौन-से स्पेक्स चाहिए, शुरुआत कैसे करें (Ollama को आधिकारिक स्टेप से इंस्टॉल करने से लेकर चलने की जाँच तक), मॉडल कैसे चुनें और क्लाउड की जगह इसे कब इस्तेमाल करें।

LOCAL LLM · अपने ही PC पर चलने वाला AI

क्लाउड को कुछ नहीं भेजा जाता, कोई बिल नहीं

— आपका डेटा मशीन में ही रहता है; एक बार इंस्टॉल करें, जितना चाहें उपयोग करें

🔒

प्राइवेसी

आपका इनपुट कभी किसी बाहरी सर्वर पर नहीं भेजा जाता — गोपनीय डेटा के लिए भी सुरक्षित।

💰

शून्य लागत

कोई API शुल्क नहीं। एक बार इंस्टॉल करें और चाहे जितनी बार उपयोग करें, मुफ़्त।

✈️

ऑफलाइन

इंटरनेट के बिना भी काम करता है — हवाई जहाज़ में या बाहर कहीं भी, कोई दिक्कत नहीं।

1. लोकल LLM क्या है?

लोकल LLM का मतलब है ChatGPT या Claude जैसी किसी AI मॉडल को क्लाउड के बजाय सीधे अपने ही PC (या फ़ोन) पर चलाना। जो AI आप आम तौर पर इस्तेमाल करते हैं, वह आपका इनपुट किसी दूर के सर्वर पर भेजता है, वहीं प्रोसेस करता है, और जवाब लौटाता है — लेकिन लोकल LLM यह सारा प्रोसेसिंग आपके सामने रखी मशीन पर ही करता है।

इसे "म्यूज़िक स्ट्रीमिंग बनाम डाउनलोडिंग" जैसा समझिए। क्लाउड AI ऐसा है जैसे हर बार सुनने के लिए नेटवर्क पर स्ट्रीम करना; लोकल LLM ऐसा है जैसे गाने को अपने डिवाइस पर डाउनलोड कर लेना ताकि आप उसे ऑफलाइन, कभी भी चला सकें। एक बार किसी मॉडल — कुछ गीगाबाइट की फ़ाइल — को अपने PC पर डाल लें, तो आप उसे बिना इंटरनेट और बिना शुल्क के चला सकते हैं।

💡 एक पंक्ति में: लोकल LLM यानी "ऐसा AI जो पूरी तरह आपके PC पर चलता है, नेटवर्क को कुछ भी भेजे बिना।" यह प्राइवेसी और लागत में मज़बूत है — पर सबसे ऊपरी क्लाउड AI जितना समझदार नहीं। इस अदला-बदली को समझना ही पहला कदम है।

2. लोकल क्यों? फायदे और कमज़ोरियाँ

लोकल LLM के तीन बड़े आकर्षण हैं: प्राइवेसी, लागत, और ऑफलाइन उपयोग। चूँकि इनपुट कभी आपकी मशीन से बाहर नहीं जाता, गोपनीय डेटा संभालना आसान हो जाता है, और कोई API शुल्क नहीं लगता। हर अनुरोध पर शुल्क न होने से, एक ही काम को हज़ारों बार दोहराने वाले उपयोग में फ़र्क उतना ही बढ़ता है।

कमज़ोरियाँ भी हैं। आइए इन्हें ईमानदारी से देख लें।

○ फायदे
  • डेटा कभी मशीन से बाहर नहीं जाता (प्राइवेसी)
  • बिना अतिरिक्त शुल्क के असीमित उपयोग
  • इंटरनेट के बिना चलता है
  • मॉडल और सेटिंग्स को स्वतंत्र रूप से कस्टमाइज़ करें
✕ कमज़ोरियाँ
  • सबसे ऊपरी क्लाउड AI जितना समझदार नहीं
  • एक ठीक-ठाक सक्षम PC चाहिए
  • शुरुआत में थोड़ा सेटअप
  • ताज़ा जानकारी नहीं रखता (सिर्फ़ अपने ट्रेनिंग कटऑफ़ तक)

संक्षेप में: "समझदारी में अत्याधुनिक से एक कदम पीछे, पर प्राइवेसी, लागत और ऑफलाइन में साफ़ विजेता।" जिन कामों के लिए आप इस अदला-बदली को स्वीकार कर सकते हैं, उनके लिए लोकल LLM एक ताक़तवर विकल्प है।

3. ज़रूरी PC स्पेक्स और क्वांटिज़ेशन

"क्या यह मेरे PC पर चलेगा?" — शायद यही आपका सबसे बड़ा सवाल है। इसकी कुंजी हैं मेमोरी (RAM, या GPU की VRAM) और क्वांटिज़ेशन।

क्वांटिज़ेशन एक कम्प्रेशन तकनीक है, जो मॉडल के अंकों की सटीकता घटाकर बदले में आकार को काफ़ी छोटा कर देती है। लोकल इस्तेमाल के लिए मानक फ़ॉर्मेट GGUF है, और उसमें Q4_K_M संतुलन का सबसे लोकप्रिय विकल्प है। यह कितना छोटा करता है, यह Ollama की टैग सूची में देखा जा सकता है: Llama 3.1 8B, 16-बिट (fp16) में 16 GB का है और Q4_K_M में 4.9 GB का — यानी लगभग 30%। ollama run llama3.1:8b चलाने पर भी यही Q4_K_M संस्करण डाउनलोड होता है (llama3.1 की टैग सूची, 30 सितंबर 2026 तक)। Hugging Face पर GGUF फ़ॉर्मेट के 2,07,667 मॉडल हैं (Hugging Face का GGUF फ़िल्टर, उसी तारीख़ तक)।

तो असल में ये कितने बड़े हैं? नीचे Ollama की मॉडल लाइब्रेरी में दिखाए गए डाउनलोड साइज़ छोटे से बड़े क्रम में हैं।

Ollama टैग साइज़ इनपुट अधिकतम कॉन्टेक्स्ट
llama3.2:3b 2.0 GB टेक्स्ट 128K
gemma4:e2b 4.6–7.5 GB टेक्स्ट, इमेज, ऑडियो* 128K
llama3.1:8b 4.9 GB टेक्स्ट 128K
gemma4:e4b 6.6–9.5 GB टेक्स्ट, इमेज, ऑडियो* 128K
gemma4:12b 7.7–8.0 GB टेक्स्ट, इमेज 256K
gemma4:26b 16–19 GB टेक्स्ट, इमेज 256K
muse-glimmer 18 GB टेक्स्ट, इमेज 128K
qwen3.8:27b 18 GB टेक्स्ट, इमेज 256K
gemma4:31b 19–20 GB टेक्स्ट, इमेज 256K
llama3.1:70b 43 GB टेक्स्ट 128K

*स्रोत: Ollama की मॉडल लाइब्रेरी में हर टैग का पेज (30 सितंबर 2026 तक)। साइज़ की रेंज वैसी ही दी गई है जैसी लाइब्रेरी में दिखती है। ऑडियो: gemma4 पेज की तालिका में यह सिर्फ़ E2B और E4B के लिए दिखाया गया है (टैग सूची में खुद टेक्स्ट, इमेज लिखा है)। muse-glimmer वाली पंक्ति muse-glimmer की टैग सूची से है (5 अक्टूबर 2026 तक)।

तालिका पढ़ने के दो सुझाव:

  • फ़ाइल साइज़ से ज़्यादा मेमोरी चाहिए: तालिका फ़ाइल का आकार बताती है। चलते समय इसके ऊपर बातचीत का संदर्भ (कॉन्टेक्स्ट) याद रखने की मेमोरी जुड़ती है। Ollama का डिफ़ॉल्ट कॉन्टेक्स्ट 4,096 टोकन है, और इसे जितना लंबा करेंगे, उतनी ज़्यादा मेमोरी लगेगी (Ollama FAQ)।
  • GPU में पूरा आया या नहीं, यह ollama ps से देखें: PROCESSOR कॉलम में "100% GPU" हो तो पूरा मॉडल GPU पर है, "100% CPU" हो तो वह सिस्टम मेमोरी में चल रहा है। "48%/52% CPU/GPU" जैसा बँटवारा दिखे तो उसका कुछ हिस्सा बाहर छलक गया है (वही FAQ)। CPU पर चलने वाला हिस्सा आम तौर पर धीमा होता है, इसलिए यह एक साइज़ छोटा टैग चुनने का संकेत है।

Apple Silicon वाले Mac में CPU और GPU एक ही मेमोरी साझा करते हैं (यूनिफ़ाइड मेमोरी), इसलिए ज़्यादा मेमोरी वाला Mac बड़े टैग भी GPU पर आसानी से चला लेता है। हर टूल के आधिकारिक पेज के अनुसार OS और हार्डवेयर की ज़रूरतें ये हैं।

Ollama LM Studio
Mac macOS 14 Sonoma या नया; Apple M सीरीज़ (CPU और GPU) या x86 (सिर्फ़ CPU) Apple Silicon (M1–M4), macOS 14.0 या नया; 16 GB या ज़्यादा RAM की सलाह (8 GB पर छोटे मॉडल चल सकते हैं)
Windows Windows 10 22H2 या नया (Home या Pro); ड्राइवर: NVIDIA 551.61 या नया, AMD के लिए ROCm v7 या Vulkan सपोर्ट x64 (AVX2 ज़रूरी) और ARM (Snapdragon X Elite); 16 GB या ज़्यादा RAM और 4 GB या ज़्यादा डेडिकेटेड VRAM की सलाह
Linux इंस्टॉल स्क्रिप्ट, साथ में मैनुअल इंस्टॉल के निर्देश भी x64 और ARM64, Ubuntu 20.04 या नया (AppImage के रूप में)
डिस्क Windows: ऐप के लिए कम से कम 4 GB; मॉडल मिलाकर दसियों से सैकड़ों GB तक हो सकते हैं —

स्रोत: Ollama के macOS और Windows दस्तावेज़, और LM Studio की सिस्टम ज़रूरतें (सभी 30 सितंबर 2026 तक)।

हाल के लैपटॉप में मौजूद NPU (AI के लिए समर्पित हिस्सा) अभी Ollama में इस्तेमाल नहीं होता। NPU किस काम आता है, यह जानने के लिए "NPU क्या है? पीसी को इसकी ज़रूरत है या नहीं" देखें।

पहली बार आज़माने के लिए तालिका के ऊपर वाले टैग (लगभग 2–5 GB) काफ़ी हैं।

इसके उलट, Claude Code और Codex जैसे टूल मॉडल को सर्वर पर चलाते हैं। इनमें PC की क्षमता से सिर्फ़ यह बदलता है कि आपके PC पर चलने वाले कमांड कितनी तेज़ी से चलते हैं और कितनी मेमोरी खाली है; AI के सोचने का समय नहीं बदलता ("Claude Code और Codex के लिए ज़रूरी PC स्पेक्स")।

4. शुरुआत कैसे करें — टूल चुनना और पहला रन

Ollama को और गहराई से इस्तेमाल करना हो, तो हमारी Ollama की पूरी गाइड (कमांड, API, कस्टमाइज़ेशन) भी देखें।

अपने तरीक़े के हिसाब से दो लोकप्रिय टूल में से एक चुनें।

LM Studio (शुरुआती लोगों के लिए)

एक सुंदर डेस्कटॉप ऐप। सूची से मॉडल चुनें, डाउनलोड करें और सीधे चैट शुरू करें। प्रोग्रामिंग की ज़रूरत नहीं — स्क्रीन ChatGPT जैसी लगती है। पहली बार के लिए यहीं से शुरू करें।

Ollama (डेवलपर्स के लिए)

कमांड से चलने वाला हल्का टूल। सिर्फ़ एक लाइन, ollama run gemma4, मॉडल डाउनलोड करने से लेकर बातचीत तक पहुँचा देती है। इसमें API भी है, इसलिए यह अपने ऐप में जोड़ना चाहने वालों के लिए उपयुक्त है।

दोनों मुफ़्त हैं और Windows, Mac व Linux पर चलते हैं। इनके अलावा Jan, Open WebUI, llama.cpp जैसे टूल भी हैं। अगर आप टाइप करने से ज़्यादा क्लिक करना पसंद करते हैं, तो LM Studio इंस्टॉल करके एक छोटा मॉडल डाउनलोड करें — यही सबसे तेज़ रास्ता है। अगर टर्मिनल से डर नहीं लगता, तो नीचे दिए Ollama के स्टेप से कुछ ही मिनट में मॉडल चल जाएगा।

Ollama से पहला मॉडल चलाना

यहाँ हम Ollama के आधिकारिक README और दस्तावेज़ के स्टेप के मुताबिक़ इंस्टॉल से लेकर चलने की जाँच तक चलते हैं (30 सितंबर 2026 तक)। पूरी कमांड सूची और बारीकियाँ हमारी Ollama गाइड के कमांड वाले हिस्से में हैं; यहाँ सिर्फ़ पहली बार की चार ज़रूरी बातें हैं।

1. इंस्टॉल करें। macOS और Linux पर टर्मिनल में यह लाइन चलाएँ:

curl -fsSL https://ollama.com/install.sh | sh

Windows पर PowerShell में यह लाइन चलाएँ:

irm https://ollama.com/install.ps1 | iex

अगर इंटरनेट से आई स्क्रिप्ट को सीधे चलाना नहीं चाहते, तो आधिकारिक मैनुअल डाउनलोड भी चलेंगे (Mac के लिए Ollama.dmg, Windows के लिए OllamaSetup.exe और Linux के लिए मैनुअल इंस्टॉल के स्टेप)। Docker के लिए आधिकारिक इमेज ollama/ollama है (Ollama का README)।

2. मॉडल चलाएँ। README के पहले उदाहरण की तरह Gemma 4 चलाते हैं। अगर मॉडल अभी आपकी मशीन पर नहीं है, तो पहले वह डाउनलोड होगा, फिर बातचीत शुरू होगी।

ollama run gemma4

gemma4 का डिफ़ॉल्ट टैग 6.6–9.5 GB का है। मेमोरी कम हो, तो छोटा टैग बताएँ, जैसे ollama run gemma4:e2b या ollama run llama3.2 (2.0 GB)।

3. जाँचें कि चल रहा है। दूसरे टर्मिनल में नीचे की कमांड चलाएँ; लोड हुआ मॉडल और उसका PROCESSOR कॉलम (GPU या CPU) दिखेगा। जैसा सेक्शन 3 में बताया, "100% GPU" सबसे अच्छा है।

ollama ps

4. साफ़-सफ़ाई। ollama stop gemma4 मॉडल को मेमोरी से उतारता है, और ज़रूरत न रहे तो ollama rm gemma4 उसे हटा देता है। मॉडल macOS पर ~/.ollama/models, Linux पर /usr/share/ollama/.ollama/models और Windows पर C:\Users\%username%\.ollama\models में रहते हैं; OLLAMA_MODELS एनवायरनमेंट वेरिएबल से इसे बदला जा सकता है (Ollama FAQ)।

⚠️ ":cloud" टैग वाले मॉडल आपकी मशीन पर नहीं चलते: Ollama में gemma4:cloud जैसे क्लाउड मॉडल भी हैं। ये Ollama के क्लाउड में चलते हैं और इनके लिए साइन-इन ज़रूरी है (Ollama के क्लाउड दस्तावेज़)। Ollama के मुताबिक़ वह प्रॉम्प्ट और जवाब आपके अनुरोध का उत्तर देने के लिए प्रोसेस करता है और उन्हें ट्रेनिंग में इस्तेमाल नहीं करता। फिर भी, अगर आपका मक़सद डेटा को अपनी मशीन से बाहर न जाने देना है, तो इस्तेमाल से पहले देख लें कि टैग में :cloud तो नहीं है।

5. मॉडल कैसे चुनें (सितंबर 2026 के उदाहरण)

मॉडल तेज़ी से बदलते हैं, इसलिए नामों से पहले चुनने के आधार समझ लें: (1) क्या यह आपकी मेमोरी में समाता है (सेक्शन 3 की तालिका), (2) क्या इमेज या ऑडियो इनपुट चाहिए, (3) क्या यह आपके काम में मज़बूत है, जैसे आपकी भाषा या कोड, और (4) क्या यह अब भी अपडेट हो रहा है। नाम, साइज़ और अपडेट की तारीख़ Ollama की मॉडल लाइब्रेरी में देखी जा सकती है। 30 सितंबर 2026 तक के प्रमुख उदाहरण:

Llama 3.1 (8B)

Ollama लाइब्रेरी में कुल मिलाकर सबसे ज़्यादा डाउनलोड हुआ मॉडल (12 करोड़ बार)। 4.9 GB का है, इसलिए मिड-रेंज PC पर चल जाता है। लेकिन इसका आख़िरी अपडेट एक साल पहले हुआ था। कम मेमोरी वाले PC के लिए Llama 3.2 है, जो सिर्फ़ 1B (1.3 GB) और 3B (2.0 GB) में आता है।

Meta Muse Glimmer (30B)

Meta के ओपन-वेट मॉडलों में से अपने PC के लिए छोटा मॉडल, अगस्त 2026 में जारी हुआ। यह Muse Spark से डिस्टिल किया गया 30B का डेंस मॉडल है, जो टेक्स्ट और इमेज पढ़ता है और टेक्स्ट में जवाब देता है। कॉन्टेक्स्ट 128K है और लाइसेंस Apache 2.0 (Meta का डॉक्यूमेंटेशन)। Ollama का डिफ़ॉल्ट टैग muse-glimmer Q4_K_M वर्ज़न है, 18 GB का (टैग सूची, 5 अक्टूबर 2026 तक)। Meta के मुताबिक उसकी अपनी Q4_K_M GGUF फ़ाइल (लगभग 17 GB) 24 GB VRAM में समा जाती है (Get the model)। Llama 3.1 अब भी उपलब्ध है और छोटे PC के लिए काफ़ी है, लेकिन Meta का छोटा ओपन मॉडल यही है। 15 अक्टूबर को 816B पैरामीटर वाला बड़ा संस्करण Muse Spark Open भी आया, लेकिन 4-बिट में भी इसके वेट लगभग 537 GB के हैं, इसलिए यह किसी निजी PC पर नहीं चल सकता। Ollama पर इसका सिर्फ़ वह टैग है जो Ollama के क्लाउड पर चलता है (muse-spark-open:cloud, 18 अक्टूबर 2026 को जाँचा गया)।

Google Gemma 4

वह मॉडल जिसे Ollama का README पहले उदाहरण में इस्तेमाल करता है। इसके पाँच साइज़ हैं — E2B, E4B, 12B, 26B और 31B — और सभी इमेज पढ़ सकते हैं। ऑडियो सिर्फ़ छोटे E2B और E4B सपोर्ट करते हैं।

Alibaba Qwen3.8

इसे कोडिंग और लंबे, कई चरणों वाले एजेंट कामों में सुधार के साथ पेश किया गया है। Ollama पर सिर्फ़ एक साइज़ है, 27B (18 GB, 256K कॉन्टेक्स्ट, इमेज इनपुट), इसलिए यह पर्याप्त मेमोरी वाले PC के लिए है।

DeepSeek, Mistral आदि

DeepSeek-R1 के 1.5B से 671B तक कई साइज़ हैं, और यह जवाब देने से पहले सोचने वाला रीज़निंग मॉडल है। Mistral सिर्फ़ 7B के एक साइज़ में है। उपयोग और मेमोरी के हिसाब से चुनें।

तरीक़ा है कदम-दर-कदम बढ़ना: पहले एक छोटा टैग आज़माएँ, ollama ps से पक्का करें कि वह GPU पर है, और कम पड़े तभी एक साइज़ बड़ा लें। हमारी क्लाउड AI की तुलना की तरह, कोई मॉडल आपके काम के लायक़ है या नहीं, यह ख़ुद आज़माकर ही पता चलता है।

6. लोकल बनाम क्लाउड: कब किसका उपयोग करें

लोकल और क्लाउड के बीच अंतर, प्रदर्शन के फ़र्क़ और चुनाव को और गहराई से समझने के लिए, हमारा लोकल LLM बनाम क्लाउड LLM लेख देखें।

लोकल और क्लाउड में से किसी एक को चुनने की बात नहीं है — समझदार तरीका है उन्हें भूमिका के अनुसार बाँटना।

  • लोकल इनके लिए उपयुक्त है: गोपनीय डेटा संभालना, अधिक-मात्रा या दोहराव वाले कार्य, ऑफलाइन माहौल, और ऐसे नियमित काम जहाँ आप लागत कम रखना चाहते हैं।
  • क्लाउड इनके लिए उपयुक्त है: कठिन समस्याएँ जिनमें शीर्ष सटीकता चाहिए, ऐसी शोध जिसमें ताज़ा जानकारी चाहिए, और भारी कोडिंग — जहाँ ChatGPT, Claude और Gemini जैसी शीर्ष मॉडल्स चमकती हैं।

उदाहरण के लिए, "ड्राफ़्ट, वर्गीकरण और सारांश लोकल पर मुफ़्त में करें, और सिर्फ़ अंतिम परिष्कार या कठिन हिस्सों को क्लाउड पर भेजें" अच्छा काम करता है। ध्यान रहे कि "मुफ़्त" सिर्फ़ API शुल्क के बारे में है — बिजली और हार्डवेयर का खर्च तो लगता ही है। उपयोग कम हो तो क्लाउड सस्ता भी पड़ सकता है; कौन सस्ता है, यह इस पर निर्भर है कि आप कितना इस्तेमाल करते हैं।

सारांश

लोकल LLM पर तीन मुख्य बातें।

  • यह क्या है: AI मॉडल को अपने ही PC पर चलाना। डेटा कभी बाहर नहीं जाता, कोई API शुल्क नहीं और कोई ऑफलाइन सीमा नहीं।
  • शुरुआत कैसे करें: शुरुआती लोगों के लिए LM Studio, डेवलपर्स के लिए Ollama (आधिकारिक स्क्रिप्ट से इंस्टॉल करें, ollama run चलाएँ और ollama ps से देखें कि मॉडल GPU पर है)। लगभग 2–5 GB के छोटे टैग से शुरू करें। क्वांटिज़ेशन (Q4_K_M) मॉडल को fp16 के लगभग 30% आकार तक छोटा कर देता है।
  • कब उपयोग करें: क्लाउड ज़्यादा समझदार है। गोपनीय, अधिक-मात्रा और ऑफलाइन काम के लिए लोकल, और कठिन समस्याओं के लिए क्लाउड का उपयोग करें — दोनों को मिलाकर चलाना सबसे अच्छा है।

शुरुआत LM Studio इंस्टॉल करके और एक छोटी मॉडल चलाकर करें। "AI का पूरी तरह आपके ही PC के अंदर बातें करना" अनुभव आपकी अपेक्षा से कहीं ज़्यादा ताज़गी भरा है। अगर आप इसकी कार्यप्रणाली समझना चाहते हैं, तो LLM कैसे काम करते हैं भी देखें।

FAQ

Q. क्या यह एक साधारण लैपटॉप पर चलेगा?

A. छोटे मॉडल ज़रूर चलेंगे। Ollama की लाइब्रेरी में llama3.2:3b 2.0 GB का और llama3.1:8b 4.9 GB का है (30 सितंबर 2026 तक); चलते समय इसके ऊपर कॉन्टेक्स्ट की मेमोरी जुड़ती है। LM Studio आधिकारिक तौर पर 16 GB या ज़्यादा RAM की सलाह देता है। छोटे टैग से शुरू करें, ollama ps से देखें कि वह GPU पर है, फिर साइज़ बढ़ाएँ।

Q. क्या लोकल LLM ChatGPT से ज़्यादा समझदार है?

A. शीर्ष सटीकता पर, सबसे ऊपरी क्लाउड AI (ChatGPT और Claude की उच्च-श्रेणी मॉडल्स) आगे हैं। लोकल LLM की ताक़त कच्ची समझदारी नहीं, बल्कि प्राइवेसी, लागत और ऑफलाइन उपयोग है। सही उद्देश्य के लिए यह पूरी तरह व्यावहारिक है।

Q. क्या यह पूरी तरह मुफ़्त है?

A. टूल और ओपन मॉडल्स मुफ़्त हैं, और कोई API शुल्क नहीं है। आप सिर्फ़ बिजली का खर्च और, अगर ज़रूरत हो तो, PC या GPU की शुरुआती लागत चुकाते हैं। जितना ज़्यादा उपयोग करते हैं, हर बार की लागत उतनी ही सस्ती होती जाती है। हाँ, Ollama के :cloud टैग वाले मॉडल Ollama के क्लाउड में चलते हैं, जो आपकी मशीन पर लोकल रूप से चलाने से अलग बात है।

Q. क्वांटिज़ेशन से कितनी गुणवत्ता घटती है?

A. फ़ाइल fp16 के लगभग 30% आकार की रह जाती है (Llama 3.1 8B में 16 GB से 4.9 GB)। गुणवत्ता कितनी घटती है, यह मॉडल और काम पर निर्भर है, इसलिए पहले Q4_K_M (वही संस्करण जो llama3.1:8b डाउनलोड करता है) से शुरू करें और शक हो तो उसी मॉडल के q8_0 संस्करण (Llama 3.1 8B में 8.5 GB) से जवाबों की तुलना करें।