AI डेवलपमेंट और प्रोग्रामिंग: AI से ऐप बनाएं

AI एजेंट बनाने के बाद, आप हमेशा उसी दीवार से टकराते हैं: "ठीक है, पर क्या यह सचमुच काम कर रहा है?" यह तय करने का तंत्र कि किसी प्रॉम्प्ट या मॉडल बदलाव ने चीज़ों को अंदाज़े के बजाय डेटा के आधार पर बेहतर किया या बदतर, ही है evals। LLM एक ही इनपुट पर हर बार अलग आउटपुट देते हैं, इसलिए एग्ज़ैक्ट-मैच यूनिट टेस्ट फ़िट नहीं होते। यह लेख बताता है कि evals क्या हैं, गुणवत्ता मापने के पाँच तरीके (① ग्राउंड-ट्रुथ मैचिंग ② नियम-आधारित जाँच ③ LLM-as-judge ④ रिग्रेशन टेस्टिंग ⑤ प्रोडक्शन मॉनिटरिंग), एजेंट-विशिष्ट मूल्यांकन (टास्क सफलता-दर, सही टूल कॉल, ट्रैजेक्टरी, लागत), 20 विफलता उदाहरणों से छोटे से शुरुआत, आम गलतियाँ, और प्रमुख टूल (Anthropic Console/Evals, OpenAI Evals, LangSmith, Langfuse, Ragas) — प्रैक्टिशनर्स के लिए लिखा गया।

स्वचालन का चिरस्थायी सवाल: "AI एजेंट या RPA?" जवाब "या तो यह या वह" वाला नहीं — भूमिका से चुनें, और 2026 का जीतने वाला पैटर्न है दोनों का हाइब्रिड। RPA निर्धारक "हाथ" हैं जो तय प्रक्रिया को तेज़ी व सटीकता से चलाते हैं (पर स्क्रीन/स्पेसिफ़िकेशन बदलने पर टूट जाते हैं); AI एजेंट प्रायिक "दिमाग़" है जो हालात पढ़कर फ़ैसला लेता है (अस्पष्टता व अपवादों में मज़बूत, पर हर बार वही नतीजा नहीं)। यह लेख काम करने के सिद्धांत का फ़र्क़, तुलना तालिका (पुनरुत्पादकता बनाम सहनशीलता की अदला-बदली), चुनाव का तरीक़ा (कसौटी है "क्या इसे पूरी तरह नियमों में लिखा जा सकता है?" — हाँ → RPA, न लिखा जा सके ऐसा फ़ैसला → AI एजेंट), 2026 का रुझान (RPA अग्रणी UiPath, Automation Anywhere, Blue Prism एजेंटिक बन रहे — अभिसरण; सवाल अब "कौन सा" नहीं बल्कि "तर्क कहाँ रहे" = ऑर्केस्ट्रेशन-पहले), और व्यावहारिक जवाब को समेटता है: एक हाइब्रिड जहाँ दिमाग़ (AI एजेंट) फ़ैसला/ऑर्केस्ट्रेशन सँभाले और हाथ (RPA) निर्धारक निष्पादन चलाएँ — जहाँ निर्धारकता ज़रूरी हो वहाँ एजेंट न लगाएँ, और सौंपे गए फ़ैसले के साथ गार्डरेल व मानवीय अनुमोदन रखें। विक्रेताओं की आधिकारिक जानकारी पर आधारित, FAQ सहित।

Claude Fable 5 और Opus 5 दोनों टॉप-टियर हैं, लेकिन जवाब न "हमेशा Fable 5" है न "हमेशा Opus 5" — टास्क के हिसाब से चुनें। और 24 जुलाई 2026 को आए Opus 5 ने इस जवाब को काफ़ी बदल दिया: पिछली पीढ़ी का Opus 4.8 "Fable 5 से थोड़ा नीचे, पर आधी कीमत" वाली जगह पर था, जबकि Opus 5 वही $5 / $25 कीमत बनाए रखते हुए agentic बेंचमार्क पर Fable 5 की बराबरी करता है या आगे निकल जाता है (Frontier-Bench 43.3% बनाम 33.7% और OSWorld 2.0 70.6% बनाम 66.1%, दोनों मीडिया-रिपोर्ट से; CursorBench 3.2 पर Anthropic का कहना है कि यह लगभग आधी लागत में Fable 5 के 0.5% के भीतर पहुँचता है)। एक ही बार में हल होने वाला सबसे मुश्किल तर्क आज भी Fable 5 की तरफ़ झुका है, पर बहुत मामूली अंतर से — Humanity's Last Exam 56.5% बनाम 56.3% और DeepSWE v1.1 69.7% बनाम 68.8% (मीडिया-रिपोर्ट से)। स्पेक में 1M कॉन्टेक्स्ट विंडो और 128K अधिकतम आउटपुट समान हैं; fast mode (लगभग 2.5×) सिर्फ़ Opus 5 में है, पर उसकी कीमत 2× है और वह सिर्फ़ Claude API पर मिलता है, और नॉलेज कटऑफ़ Opus 5 का ज़्यादा नया है (मई 2026)। फैसले का फ्लो: पहले Opus 5 आज़माएँ और सिर्फ़ वहीं Fable 5 तक जाएँ जहाँ Opus 5 की सीमा आ जाए। व्यवहार में "Opus 5 आधार, मुश्किल हिस्सों के लिए Fable 5" सर्वोत्तम है — साथ में ऐप-साइड सेफ़्टी-ब्लॉक ऑटो-स्विच और नया API फ़ॉलबैक "default" मोड। इसमें उपलब्धता (जून निलंबन, जुलाई पुनः-तैनाती), एकल-मॉडल निर्भरता से बचाव, लागत के लिए effort ट्यूनिंग और एक FAQ शामिल है — Fable 5 क्लस्टर को Opus 5 रिलीज़ गाइड से जोड़ते हुए।

AI एजेंट को असली काम में उतारने की पहली बाधा है "इसे किस फ्रेमवर्क पर बनाएँ।" डेवलपर और तकनीक-चयनकर्ता के नज़रिए से यह लेख छह प्रमुख फ्रेमवर्कों की तुलना करता है — LangGraph, CrewAI, AutoGen (Microsoft Agent Framework में समाहित, GA अप्रैल 2026), OpenAI Agents SDK, Google ADK और Claude Agent SDK — ऑर्केस्ट्रेशन दृष्टिकोण (दिशात्मक ग्राफ़ / भूमिका-आधारित क्रू / संवादात्मक GroupChat / हैंडऑफ़ / श्रेणीबद्ध वृक्ष / स्वायत्त टूल लूप), भाषा, सीखने की चढ़ाई, नियंत्रण, प्रोडक्शन परिपक्वता, टोकन लागत और सबसे उपयुक्त उपयोग-परिदृश्य के आधार पर। मुख्य चेतावनी: जो फ्रेमवर्क "प्रोटोटाइप में सबसे तेज़" है (CrewAI) वही प्रोडक्शन में सबसे महँगा हो सकता है — करीब 3× टोकन (एक बेंचमार्क में LangGraph 18.5k के मुकाबले 41k) और अनिर्धारक, जो वित्त और स्वास्थ्य के लिए खराब फिट है। यह भी बताता है कि 2026 में MCP (टूल) और A2A (एजेंट-टू-एजेंट) से इंटरऑप कैसे आया, जिससे अलग-अलग फ्रेमवर्कों के एजेंट अब मिलकर काम कर सकते हैं और लॉक-इन कमज़ोर पड़ गया। इसमें उपयोग-परिदृश्य चयन गाइड और FAQ शामिल हैं।

लोकल LLM शुरू करने के लिए सबसे भरोसेमंद टूल Ollama है, जो झंझट भरी सेटअप खुद संभालकर सिर्फ़ एक कमांड से मॉडल डाउनलोड और चैट करने देता है। यह शुरुआती-अनुकूल गाइड इंस्टॉलेशन (Win/Mac/Linux), ज़रूरी कमांड, आकार के अनुसार मॉडल चुनना, Open WebUI जैसे GUI, लोकल API और OpenAI-संगत एंडपॉइंट से ऐप्स में एम्बेड करना, Modelfile व एनवायरनमेंट वेरिएबल से कस्टमाइज़ेशन, और आम समस्याओं के समाधान तक—शुरुआत से अंत तक सब कुछ समझाती है।

local LLM चलाने का माहौल तैयार होने के बाद सबसे बड़ा सवाल यही है कि कौन-सा मॉडल इंस्टॉल करें। यह लेख 2026 के मुख्य मॉडलों को डेवलपर, मूल देश, उपयोग, साइज़ और लाइसेंस के आधार पर व्यवस्थित करता है—Qwen, Llama, Gemma, DeepSeek, Mistral, Phi जैसी वैश्विक फैमिली से लेकर Sarvam/OpenHathi, Krutrim, BharatGPT और AI4Bharat के Airavata जैसे भारतीय/हिंदी मॉडल तक—ताकि आप अपने VRAM, भाषा और काम के अनुसार सही "पहला मॉडल" चुन सकें।

Local LLM शुरू करने पर पहली चिंता यही होती है कि क्या यह मेरे PC पर चलेगा, और इसका जवाब लगभग पूरी तरह VRAM पर निर्भर करता है। यह लेख मॉडल आकार (7B से 70B+ तक) के अनुसार ज़रूरी VRAM की त्वरित तालिका, "आकार × ~0.6" का आसान फ़ॉर्मूला, क्वांटाइज़ेशन (Q4/Q8/FP16) का असर, और कॉन्टेक्स्ट लंबाई से बढ़ने वाले KV cache के जाल को सरल भाषा में समझाता है। साथ ही RTX 3060, 4090, 5090 और Apple Mac पर वास्तविक गति, और एंट्री से लेकर गंभीर उपयोग तक तीन बजट टियर के सुझाए गए बिल्ड भी दिए गए हैं, ताकि एक शुरुआती भी आत्मविश्वास से सही मशीन चुन सके।

अपने PC पर चलने वाला लोकल LLM और Claude, ChatGPT, Gemini जैसे क्लाउड LLM — दोनों "LLM" हैं, पर प्रदर्शन, लागत, प्राइवेसी और मेहनत में इनका अंतर साफ़ है। यह लेख सात पहलुओं पर दोनों को आमने-सामने रखता है और ईमानदारी से बताता है कि 2026 तक "प्रदर्शन का अंतर" कितना घट चुका है (रोज़मर्रा के कामों में लोकल अब व्यवहारिक है, पर सबसे कठिन 10–20% में क्लाउड आगे है)। साथ ही लागत, हार्डवेयर ज़रूरतें और एक सरल निर्णय गाइड दी गई है — और बताया गया है कि ज़्यादातर लोगों के लिए हाइब्रिड ही सबसे अच्छा जवाब क्यों है।

Claude Code का "तेज़ ↔ स्मार्टर" डायल हर जवाब में लगने वाली सोच और टोकन तय करता है। जानें कि 5 API प्रयास स्तर (low–max) और Ultracode मोड कैसे काम करते हैं, "अतिरिक्त" (xhigh) और "अधिकतम" (max) में क्या अंतर है, और /effort कमांड से इसे कैसे सेट करें।

Agent evals यह व्यवस्थित रूप से मापने की प्रक्रिया है कि एक agent—जो टूल्स का उपयोग करता है और किसी लक्ष्य तक पहुँचने के लिए कई चरण लेता है—सचमुच अपने कार्य पूरे कर सकता है या नहीं। ये LLM evals का विकास हैं, जो लक्ष्य को "एक आउटपुट" से बढ़ाकर "क्रियाओं का एक अनुक्रम" बना देते हैं। चूँकि एक agent योजना बनाता है, टूल्स कॉल करता है, और स्टेट अपडेट करता है, इसलिए केवल अंतिम आउटपुट पर्याप्त नहीं है; Google कहता है कि आपको agent की क्रियाओं के पीछे का "क्यों" समझना होगा और मूल्यांकन को final response तथा trajectory में बाँटता है। पाँच आयाम हैं: outcome (कार्य की सफलता, अंतिम स्टेट से आँकी गई—क्या DB में आरक्षण मौजूद है, न कि "मैंने बुक कर दिया" कथन), trajectory (उचित चरण, सही क्रम में सही टूल्स), टूल-उपयोग की शुद्धता (सही टूल और आर्गुमेंट, फ़ंक्शन नाम व प्रकार जाँचना), दक्षता (चरण, टोकन, लागत, latency—अक्सर observability संकेत जो मूल्यांकन में लाए जाते हैं), और अंतिम-प्रतिक्रिया की गुणवत्ता (LLM-as-judge या रूब्रिक से)। ग्रेडर हैं code (तेज़/सस्ता/पुनरुत्पाद्य पर भंगुर), LLM-as-judge (लचीला पर अनिर्धारणीय और कैलिब्रेशन चाहिए), और human (स्वर्ण-मानक पर महँगा—हो सके तो टालें)। Anthropic पथ नहीं, बल्कि परिणाम को ग्रेड करने की सलाह देता है: रटी-रटाई trajectory मैचिंग "बहुत कठोर और भंगुर" है क्योंकि agents वैध विकल्प खोज लेते हैं, जबकि Google और Microsoft विफलताओं के निदान के लिए trajectory-match मेट्रिक्स देते हैं। अनोखी मुश्किलें हैं अनिर्धारणीयता (pass^k), संयोजी त्रुटियाँ (p^t), reward hacking (DeepMind का रोबोट आर्म पकड़ का नाटक करते हुए), और पुराने या contaminated eval सेट। Anthropic के अनुसार व्यावहारिक रणनीति: 20-50 प्रोडक्शन विफलताओं को टेस्ट केस में बदलें, CI में स्वचालित ग्रेडिंग चलाएँ, capability और regression evals अलग करें, और इन्हें जल्दी लिखें। SWE-bench, tau-bench, WebArena, GAIA, OSWorld, और BFCL जैसे बेंचमार्क उपयोगी संदर्भ हैं (स्कोर वर्शन के साथ बदलते हैं, इसलिए उन्हें अंकित मूल्य पर न लें)। आधिकारिक जानकारी पर आधारित, अनिश्चितताओं को चिह्नित करते हुए।

Claude Code hooks यूज़र द्वारा परिभाषित shell कमांड हैं जो Claude Code के लाइफ़साइकल में निश्चित बिंदुओं पर अपने-आप चलते हैं, और "ऐसा हमेशा होना ही चाहिए" को LLM के फ़ैसले पर निर्भर हुए बिना सच और डिटरमिनिस्टिक बना देते हैं। क्लासिक इवेंट नौ हैं—SessionStart, UserPromptSubmit, PreToolUse, PostToolUse, Notification, Stop, SubagentStop, SessionEnd, PreCompact—जिनमें से PreToolUse और अन्य ब्लॉक कर सकते हैं (सुरक्षित फ़ाइलों में एडिट या ख़तरनाक कमांड रोककर)। आप इन्हें settings.json में "hooks" की के तहत इवेंट नाम -> matcher -> type + command के रूप में कॉन्फ़िगर करते हैं। I/O कॉन्ट्रैक्ट: एक hook stdin पर JSON प्राप्त करता है (session_id, tool_input आदि) और exit code 0 (सफलता) / 2 (ब्लॉक, stderr Claude को वापस) या स्ट्रक्चर्ड JSON (continue, decision:block, permissionDecision: deny/allow/ask) के ज़रिए लौटाता है। मुख्य सिद्धांत है "hooks पाबंदियाँ सख़्त कर सकते हैं पर ढीली नहीं" (deny हमेशा जीतता है, bypassPermissions के तहत भी ब्लॉक)। क्लासिक उपयोग-केस: एडिट के बाद ऑटो-फ़ॉर्मैट (PostToolUse + Edit|Write), अहम फ़ाइलों की सुरक्षा, ख़तरनाक कमांड रोकना, कॉन्टेक्स्ट फिर से इंजेक्ट करना (SessionStart), नोटिफ़िकेशन/ऑडिट लॉगिंग, और रुकने से पहले टेस्ट (Stop)। सुरक्षा पर, hooks आपके अधिकारों के साथ मनमाने shell कमांड चलाते हैं, इसलिए केवल भरोसेमंद ही कॉन्फ़िगर करें और इनपुट वैलिडेट/कोट करें; hook कॉन्फ़िग सेशन स्टार्टअप पर कैप्चर होता है (एक सुरक्षा फ़ीचर) इसलिए सेशन के बीच के बदलाव लागू नहीं होते। आधिकारिक दस्तावेज़ पर आधारित, नौ क्लासिक इवेंट और I/O कॉन्ट्रैक्ट पर केंद्रित।

Checkpointing और /rewind एक सुरक्षा-जाल हैं: Claude Code आपके काम करते समय Claude के फ़ाइल एडिट्स को अपने-आप ट्रैक करता है, ताकि आप कुछ ही कीस्ट्रोक में "गड़बड़ होने से पहले" तक वापस लौट सकें। हर एडिट से पहले एक स्नैपशॉट लिया जाता है, आपका भेजा हर प्रॉम्प्ट एक रिस्टोर पॉइंट बन जाता है, और checkpoints सेशनों के पार बने रहते हैं। इसका इस्तेमाल करने के लिए, /rewind टाइप करें या इनपुट खाली होने पर Esc दो बार दबाकर मेन्यू खोलें, फिर एक बिंदु चुनें और कोड और बातचीत बहाल करें / बातचीत बहाल करें / कोड बहाल करें चुनें (ध्यान दें: अगर इनपुट में टेक्स्ट हो, तो Esc दो बार उसे साफ़ कर देता है)। सबसे ज़रूरी चेतावनी: केवल Claude के एडिट टूल्स (Write/Edit/NotebookEdit) द्वारा किए गए बदलाव बहाल होते हैं — bash कमांड (rm/mv/cp) के फ़ाइल बदलाव, सेशन के बाहर या अन्य सेशनों से किए गए बदलाव, डायरेक्टरी ऑपरेशन, रिमोट फ़ाइलें, और डेटाबेस स्थिति rewind से पूर्ववत नहीं होतीं। दस्तावेज़ इसे "checkpoints = लोकल undo, Git = स्थायी इतिहास" के रूप में रखता है, यह कहते हुए कि यह वर्ज़न कंट्रोल का पूरक है पर स्थान नहीं लेता, इसलिए माइलस्टोन पर Git में कमिट करना नियम है। /rewind tool-use कॉन्करेंसी और thinking blocks से जुड़े 400 एरर की भी रिकवरी है (प्रोडक्ट खुद इसे चलाने को कहता है), हालाँकि v2.1.156 से पुराने वर्ज़न इसे साफ़ न कर पाएँ इसलिए पहले claude update। यह इंटरैक्टिव CLI में डिफ़ॉल्ट रूप से चालू है, Agent SDK में opt-in, और सेशनों के साथ 30 दिन तक रखा जाता है (कॉन्फ़िगर करने योग्य)। आधिकारिक दस्तावेज़ के आधार पर, अनिश्चितताओं को चिह्नित करते हुए।