Ollama संपूर्ण गाइड: लोकल LLM को आसानी से चलाएँ [2026]

Ollama एक मुफ़्त, ओपन-सोर्स टूल है जिससे आप ओपन LLM (लार्ज लैंग्वेज मॉडल) अपने ही कंप्यूटर पर चला सकते हैं। यह Windows, macOS और Linux पर चलता है, और सिर्फ़ एक लाइन ollama run मॉडल-का-नाम से मॉडल डाउनलोड करने से लेकर उससे बातचीत तक सब हो जाता है। चलते समय यह localhost:11434 पर एक API सर्वर खोल देता है, इसलिए आपके अपने ऐप और Claude Code जैसे टूल भी इसे कॉल कर सकते हैं। आपके कंप्यूटर पर चलने वाले मॉडल के अलावा, अब यही कमांड उन क्लाउड मॉडल को भी चलाते हैं जिनका नाम :cloud पर ख़त्म होता है।

यह गाइड ख़ुद Ollama के इस्तेमाल पर केंद्रित है और इसे आधिकारिक GitHub रिपॉज़िटरी (सोर्स कोड सहित), आधिकारिक डॉक्यूमेंटेशन और कीमतों वाले पेज के मूल पाठ से मिलाकर लिखा गया है (12 नवंबर 2026 की स्थिति)। लोकल LLM के बारे में सामान्य जानकारी के लिए लोकल LLM कैसे शुरू करें, मॉडल चुनने के लिए सबसे अच्छे लोकल LLM मॉडल की तुलना, ज़रूरी VRAM का हिसाब लगाने के लिए हार्डवेयर ज़रूरतों वाला लेख, और एडिटर से जोड़ने के लिए Ollama + Cline वाला लेख देखें।

1. Ollama क्या है? मॉडल चलाने के दो तरीके: लोकल और क्लाउड

Ollama एक मुफ़्त, ओपन-सोर्स टूल है जिससे आप ओपन मॉडल (Gemma, Qwen, gpt-oss वगैरह) आसानी से अपने PC पर चला सकते हैं। मॉडल डाउनलोड करना, क्वांटाइज़ेशन फ़ॉर्मैट संभालना, GPU के इस्तेमाल की सेटिंग जैसे झंझट वह पीछे से संभाल लेता है, और आपको बस "मॉडल का नाम बताकर उसे चलाना" होता है। इनफ़रेंस llama.cpp पर आधारित है, और Apple silicon वाले Mac पर कुछ मॉडल ऐसे संस्करणों में भी मिलते हैं जो Apple के MLX पर चलते हैं।

मॉडल चलाने के दो तरीके हैं, और आप कौन-सा चुनते हैं, इससे ज़रूरी कंप्यूटर और ख़र्च पूरी तरह बदल जाते हैं।

इसी तरह का एक टूल LM Studio है। मोटे तौर पर: Ollama = कमांड और API पर केंद्रित, डेवलपर, ऑटोमेशन और एजेंट जोड़ने के लिए; LM Studio = GUI पर केंद्रित, उनके लिए जो मॉडल खोजने से बातचीत तक सब एक ही विंडो में करना चाहते हैं। दोनों मुफ़्त हैं। लोकल और क्लाउड के बीच के अंतर (ख़र्च, परफ़ॉर्मेंस, प्राइवेसी) हमारे लोकल बनाम क्लाउड LLM तुलना वाले लेख में विस्तार से हैं।

2. Ollama कैसे इंस्टॉल करें (Windows / macOS / Linux / Docker)

आधिकारिक डाउनलोड पेज और GitHub के README में हर ऑपरेटिंग सिस्टम के लिए दो रास्ते दिए गए हैं: टर्मिनल में चिपकाने वाली एक लाइन की कमांड या मैनुअल इंस्टॉलर। दोनों का नतीजा एक ही है।

Windows

अगर आप कमांड का इस्तेमाल नहीं करना चाहते, तो डाउनलोड पेज से OllamaSetup.exe लेकर चलाएँ। आधिकारिक Windows पेज के मुताबिक़ यह डिफ़ॉल्ट रूप से आपके होम फ़ोल्डर में इंस्टॉल होता है, और मॉडल अलग से दसियों से सैकड़ों GB तक जगह ले सकते हैं। अगर C ड्राइव में जगह कम है, तो इंस्टॉल की जगह OllamaSetup.exe /DIR="d:\some\location" से और मॉडल की जगह एनवायरनमेंट वेरिएबल OLLAMA_MODELS से बदलें (अध्याय 9)। इंस्टॉल के बाद Ollama बैकग्राउंड में चलता रहता है, और ollama कमांड cmd और PowerShell दोनों में काम करती है।

macOS

मैनुअल इंस्टॉल के लिए Ollama.dmg खोलें और ऐप को Applications फ़ोल्डर में खींचकर डालें। पहली बार चलाने पर, अगर ollama कमांड PATH में नहीं है, तो ऐप /usr/local/bin में लिंक बनाने की अनुमति माँगता है (आधिकारिक macOS पेज)।

Linux

स्क्रिप्ट के बिना मैनुअल इंस्टॉल का तरीक़ा और AMD GPU के लिए अतिरिक्त पैकेज आधिकारिक Linux पेज पर हैं। Linux पर Windows और macOS जैसा ऐप नहीं है; वहाँ इसे कमांड और API से इस्तेमाल करते हैं।

Docker

आधिकारिक इमेज ollama/ollama Docker Hub पर है। सिर्फ़ CPU पर चलाने का सबसे छोटा उदाहरण नीचे है। NVIDIA GPU के लिए NVIDIA Container Toolkit इंस्टॉल करके --gpus=all जोड़ें, और AMD GPU के लिए ollama/ollama:rocm इमेज इस्तेमाल करें (आधिकारिक Docker पेज)। macOS पर Docker Desktop GPU का इस्तेमाल नहीं कर सकता (आधिकारिक FAQ), इसलिए Mac पर ऐप सीधे इंस्टॉल करना ज़्यादा तेज़ है।

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
docker exec -it ollama ollama run gemma4:e2b

3. क्या आपके GPU पर यह तेज़ चलेगा? (समर्थित GPU एक नज़र में)

अगर Ollama आपका GPU इस्तेमाल नहीं कर पाता, तो वह CPU पर चलने लगता है। कोई एरर नहीं दिखती, लेकिन यह कई गुना धीमा हो जाता है। इंस्टॉल से पहले देख लें कि आपका GPU आधिकारिक Hardware support पेज पर है या नहीं। मुख्य बातें तालिका में हैं।

मॉडल सच में GPU पर लोड हुआ या नहीं, यह जानने के लिए मॉडल चलते समय ollama ps चलाएँ। PROCESSOR कॉलम में 100% GPU हो तो पूरा मॉडल GPU पर है; 48%/52% CPU/GPU जैसा बँटवारा हो तो मॉडल VRAM में नहीं समाया (आधिकारिक FAQ)। बँटवारा होने पर क्या घटाएँ, यह अध्याय 9 की तालिका में है। हर GPU के लिए VRAM का अनुमान हमारे हार्डवेयर ज़रूरतों वाले लेख में है।

4. Ollama कमांड की सूची

तालिका में आधिकारिक CLI संदर्भ की कमांड और सोर्स कोड (cmd/cmd.go) में परिभाषित कमांड हैं। रोज़मर्रा में आप ज़्यादातर पहली छह ही इस्तेमाल करेंगे।

ollama run के कुछ काम के विकल्प हैं। --verbose लगाने पर हर जवाब के बाद लगा समय और प्रति सेकंड टोकन (eval rate) दिखते हैं, इसलिए मॉडल या टैग बदलने पर रफ़्तार की तुलना आँकड़ों में कर सकते हैं। --think=false सोचने की प्रक्रिया दिखाने वाले मॉडल में वह प्रक्रिया बंद करता है, --format json जवाब JSON में लौटवाता है, और --keepalive 30m यह बदलता है कि मॉडल कितनी देर मेमोरी में रहे। तस्वीरें समझने वाले मॉडल के लिए फ़ाइल का पाथ प्रॉम्प्ट में ही लिख दें, जैसे ollama run gemma4 "इस तस्वीर में क्या है? ./photo.png"।

बातचीत के दौरान (>>> के बाद) / से शुरू होने वाली ख़ास कमांड चलती हैं। /bye से बाहर निकलें, /? से सूची देखें, /clear से बातचीत का कॉन्टेक्स्ट मिटाएँ, और /set parameter num_ctx 8192 से उसी समय कॉन्टेक्स्ट लंबाई बदलें। एक साथ कई लाइनें लिखनी हों तो उन्हें """ में बंद करें।

5. मॉडल कैसे लें और टैग कैसे पढ़ें

मॉडल नाम + टैग से बताया जाता है। टैग छोड़ने पर latest चुना जाता है, लेकिन latest किस आकार की ओर इशारा करता है, यह हर मॉडल में अलग है। बिना देखे इंस्टॉल करने पर उम्मीद से कहीं बड़ा संस्करण डाउनलोड हो सकता है। आधिकारिक gemma4 की टैग सूची के उदाहरण से तालिका बताती है कि टैग कैसे पढ़ें (12 नवंबर 2026 को दिखी जानकारी)।

आकार एक दायरे में इसलिए दिखते हैं क्योंकि एक टैग में कई फ़ॉर्मैट होते हैं और आपकी मशीन के लायक़ फ़ॉर्मैट चुना जाता है। gemma4 के latest में निचली सीमा 6.6GB e4b-it-q4_K_M के बराबर है और ऊपरी सीमा 9.5GB e4b-mlx के बराबर। उलझन हो तो बिना प्रत्यय वाला टैग (जैसे gemma4:e4b) चुनें, Ollama आपकी मशीन के लायक़ फ़ॉर्मैट ख़ुद चुन लेगा। क्वांटाइज़ेशन फ़ॉर्मैट ख़ुद (GGUF का Q4_K_M कैसे पढ़ें वगैरह) हमारे क्वांटाइज़ेशन फ़ॉर्मैट वाले लेख में हैं।

VRAM वाले आँकड़े अनुमान हैं: मॉडल का आकार और बातचीत (कॉन्टेक्स्ट) के लिए थोड़ी अतिरिक्त जगह। आधिकारिक क्विकस्टार्ट भी gemma4:e2b (डिफ़ॉल्ट रूप से इंस्टॉल होने वाले फ़ॉर्मैट में लगभग 7.2GB) के लिए "8GB VRAM (Mac पर यूनिफ़ाइड मेमोरी)" का सुझाव देता है। इंस्टॉल के बाद ollama show gemma4 से पैरामीटर संख्या, क्वांटाइज़ेशन और कॉन्टेक्स्ट लंबाई देख सकते हैं।

6. GUI से इस्तेमाल (Ollama ऐप, Open WebUI और दूसरे)

अगर टर्मिनल पसंद नहीं, तो सबसे पहले Ollama का अपना ऐप खोलें। Windows और macOS संस्करणों में मॉडल चुनकर चैट करने वाली विंडो है (आधिकारिक ब्लॉग पोस्ट "Ollama's new app")। Linux पर ऐप नहीं है, इसलिए नीचे दिए दूसरे इंटरफ़ेस में से कोई इस्तेमाल करें।

7. क्लाउड मॉडल और कीमतें

जब आपका GPU बड़ा मॉडल नहीं चला पाता, तब आप उसी तरीक़े से Ollama के सर्वर पर चलने वाले क्लाउड मॉडल इस्तेमाल कर सकते हैं। ollama signin से ollama.com में साइन इन करें और ollama run gemma4:cloud की तरह :cloud वाला नाम दें। कुछ डाउनलोड नहीं करना पड़ता (आधिकारिक Cloud पेज)। प्लान ये हैं (कीमतों वाला पेज, 12 नवंबर 2026 की स्थिति)।

इस्तेमाल हर मॉडल की प्रति 10 लाख टोकन कीमत से गिना जाता है। उदाहरण के लिए gemma4 के क्लाउड संस्करण की कीमत इनपुट $0.14 और आउटपुट $0.40 है। 10 लाख इनपुट टोकन और 2 लाख आउटपुट टोकन पर 0.14 + 0.40 × 0.2 = लगभग $0.22 बनते हैं। इसी अनुपात में Pro के हर महीने के $60 लगभग 270 ऐसे दौर (60 ÷ 0.22) के बराबर हैं। शामिल इस्तेमाल अगले महीने में नहीं जुड़ता। आपकी अपनी मशीन पर चलने वाले मॉडल हर प्लान में असीमित और मुफ़्त हैं।

8. API का इस्तेमाल (OpenAI और Anthropic के अनुरूप)

Ollama की असली ताक़त उसकी लोकल API है। डिफ़ॉल्ट रूप से सर्वर 127.0.0.1:11434 पर सुनता है; वहाँ अनुरोध भेजें तो आपके ऐप, स्क्रिप्ट और टूल लोकल LLM इस्तेमाल कर सकते हैं। अनुरोध के तीन फ़ॉर्मैट हैं।

/api/chat (बातचीत का इतिहास भेजना)

curl http://localhost:11434/api/chat -d '{
  "model": "gemma4",
  "messages": [{
    "role": "user",
    "content": "Why is the sky blue?"
  }],
  "stream": false
}'

जवाब message.content में आता है। "stream": false हटाने पर जवाब JSON की लाइनों में थोड़ा-थोड़ा आता है (डिफ़ॉल्ट स्ट्रीमिंग है)। एक ही जवाब चाहिए तो /api/generate पर "prompt" भी भेज सकते हैं। ऊपर का उदाहरण macOS और Linux के शेल के लिए है; Windows PowerShell कोटेशन चिह्नों को अलग तरह से संभालता है, इसलिए आधिकारिक Windows पेज का यह रूप इस्तेमाल करें (सिर्फ़ मॉडल का नाम बदला है)।

(Invoke-WebRequest -method POST -Body '{"model":"gemma4", "prompt":"Why is the sky blue?", "stream": false}' -uri http://localhost:11434/api/generate ).Content | ConvertFrom-json

OpenAI के अनुरूप (/v1)

OpenAI की आधिकारिक लाइब्रेरी में बस base_url को Ollama की ओर करना है। आधिकारिक डॉक्यूमेंटेशन के मुताबिक़ लोकल सर्वर पर API key "ज़रूरी है, पर अनदेखी की जाती है", इसलिए कोई भी स्ट्रिंग चलेगी।

from openai import OpenAI

client = OpenAI(
    base_url='http://localhost:11434/v1/',
    api_key='ollama',  # required but ignored
)

chat_completion = client.chat.completions.create(
    messages=[{'role': 'user', 'content': 'Say this is a test'}],
    model='gemma4',
)
print(chat_completion.choices[0].message.content)

Anthropic के अनुरूप (Claude Code जोड़ना)

Anthropic अनुरूपता के आधिकारिक पेज के मुताबिक़ Anthropic की API वाले टूल के लिए ये दो एनवायरनमेंट वेरिएबल सेट करें। इन्हें ख़ुद सेट किए बिना भी ollama launch claude से Claude Code जुड़ी हालत में शुरू हो जाता है।

export ANTHROPIC_AUTH_TOKEN=ollama  # required but ignored
export ANTHROPIC_BASE_URL=http://localhost:11434

दोनों अनुरूपता परतें मूल API का सिर्फ़ एक हिस्सा संभालती हैं। उदाहरण के लिए Responses फ़ॉर्मैट स्थिति नहीं रखता, इसलिए हर बार बातचीत का इतिहास भेजना पड़ता है। कोडिंग एजेंट के साथ लोकल मॉडल इस्तेमाल करते समय अगले अध्याय की कॉन्टेक्स्ट लंबाई सबसे अहम है।

9. कस्टमाइज़ करना (Modelfile, एनवायरनमेंट वेरिएबल, मेमोरी की सेटिंग)

Modelfile: अपना मॉडल बनाएँ

Modelfile Dockerfile जैसी एक सेटिंग फ़ाइल है। बेस मॉडल (FROM, ज़रूरी) से शुरू करके पैरामीटर (PARAMETER) और सिस्टम प्रॉम्प्ट (SYSTEM) जोड़ें, तो आपको "अपना मॉडल" मिलता है जो हमेशा एक जैसा बर्ताव करता है। सबसे छोटा उदाहरण:

FROM gemma4
PARAMETER temperature 0.7
PARAMETER num_ctx 16384
SYSTEM """तुम एक संक्षिप्त सहायक हो। सबसे ज़रूरी बात पहले कहो और हिंदी में जवाब दो।"""

इसे Modelfile नाम की फ़ाइल में सहेजें और उसी फ़ोल्डर में नीचे की कमांड चलाएँ। Modelfile में num_ctx लिखने से पूरे सर्वर का डिफ़ॉल्ट बदले बिना सिर्फ़ इसी मॉडल की कॉन्टेक्स्ट लंबाई बढ़ जाती है।

ollama create my-assistant -f Modelfile
ollama run my-assistant

किसी मौजूदा मॉडल का Modelfile ollama show --modelfile gemma4 से दिखता है। उसे कॉपी करके बदलना सबसे तेज़ तरीक़ा है।

मुख्य एनवायरनमेंट वेरिएबल

सर्वर का बर्ताव एनवायरनमेंट वेरिएबल से बदला जाता है। पूरी सूची ollama serve --help से दिखती है। सबसे ज़्यादा इस्तेमाल होने वाले वेरिएबल, सोर्स कोड (envconfig/config.go) और आधिकारिक FAQ में लिखे डिफ़ॉल्ट मानों के साथ:

सेट करने का तरीक़ा ऑपरेटिंग सिस्टम पर निर्भर है (आधिकारिक FAQ)। Windows पर टास्कबार से Ollama बंद करें, एनवायरनमेंट वेरिएबल की सेटिंग में यूज़र वेरिएबल जोड़ें, और स्टार्ट मेन्यू से Ollama दोबारा चलाएँ। macOS पर launchctl setenv OLLAMA_HOST "0.0.0.0:11434" जैसे सेट करके ऐप रीस्टार्ट करें। Linux पर (systemd से चलाने पर) यह तरीक़ा है:

systemctl edit ollama.service
# [Service] के नीचे हर वेरिएबल की एक लाइन जोड़ें
# Environment="OLLAMA_HOST=0.0.0.0:11434"
systemctl daemon-reload
systemctl restart ollama

मेमोरी कम हो या लंबा कॉन्टेक्स्ट चाहिए तो क्या बदलें

VRAM 24GiB से कम हो तो डिफ़ॉल्ट कॉन्टेक्स्ट लंबाई सिर्फ़ 4k (लगभग 4,000 टोकन) होती है। आधिकारिक Context length पेज वेब सर्च, एजेंट और कोडिंग टूल के लिए कम से कम 64,000 टोकन का सुझाव देता है। कम पड़ने पर मॉडल बिना एरर दिखाए पुरानी बातें भूल जाता है, इसलिए तालिका में हर लक्ष्य के लिए सेटिंग दी गई है, ताकि आप लक्षण से उलटा ढूँढ सकें।

बदलने के बाद ollama ps से देखें कि CONTEXT कॉलम में चाही गई लंबाई है और PROCESSOR अब भी 100% GPU है। कॉन्टेक्स्ट लंबाई से मेमोरी का हिसाब हमारे हार्डवेयर ज़रूरतों वाले लेख में है, और कॉन्टेक्स्ट ख़त्म होने पर एजेंट के बिगड़ने के लक्षण Ollama + Cline वाले लेख में।

10. समस्याओं का हल

आम अटकने वाली जगहें और आधिकारिक FAQ व Troubleshooting पेज में दिए हल।

सारांश

Ollama ओपन मॉडल को आपकी मशीन पर या क्लाउड में एक ही तरीक़े से चलाता है। चार मुख्य बातें:

• इंस्टॉल से पहले GPU जाँचें: NVIDIA के लिए Compute Capability 5.0 या ज़्यादा, AMD के लिए ROCm v7 की सूची या Vulkan, Mac के लिए Apple M सीरीज़। चलाने के बाद ollama ps में 100% GPU देखें।
• टैग पढ़कर चुनें: latest में क्या है, यह मॉडल के हिसाब से बदलता है। आकार की संख्या (e2b, 12b, 31b) देखें, और उलझन हो तो बिना प्रत्यय वाला टैग लें।
• कॉन्टेक्स्ट लंबाई ख़ुद तय करें: 24GiB से कम VRAM पर डिफ़ॉल्ट 4k है। एजेंट के लिए कम से कम 64k का सुझाव है; मेमोरी K/V कैश के क्वांटाइज़ेशन से बचाएँ।
• API और launch से टूल जोड़ें: OpenAI और Anthropic के अनुरूप API और ollama launch से आपके ऐप और Claude Code इसे इस्तेमाल कर सकते हैं। भारी मॉडल :cloud से चलाएँ।

शुरुआत ऐप खोलकर या ollama run gemma4:e2b लिखकर करें। सीखने का सबसे अच्छा तरीक़ा है इसे चलाते हुए क्लाउड से अंतर और मॉडल चुनने का तरीक़ा समझना। अगर आगे बढ़कर मॉडल को एडिटर से जोड़कर कोड लिखवाना चाहते हैं, तो लोकल LLM से कोडिंग में Cline और Continue की सेटिंग है।

FAQ