AI API के साथ, जिन कामों के नतीजे तुरंत पाना ज़रूरी नहीं है, उन्हें कम दर पर चलाया जा सकता है। OpenAI और Claude (Anthropic) मिलकर इसके लिए 3 तरीके देते हैं। दोनों कंपनियों में Batch API उपलब्ध है (अनुरोधों को समूह में भेजें और नतीजे बाद में पाएँ); केवल OpenAI बैकग्राउंड प्रोसेसिंग के लिए छूट वाली समय-सीमाएँ देता है; और OpenAI Flex को बंद करने की दिशा में बढ़ रहा है। इस लेख में पहले दोनों कंपनियों के Batch API की तुलना समान मानदंडों पर की गई है, फिर केवल OpenAI के लिए उपलब्ध दो विकल्प समझाए गए हैं। इसमें हमारी साइट के अनुवाद टूल से किए गए माप भी शामिल हैं, जिनमें OpenAI Batch की तुलना सामान्य अनुरोधों से की गई है।

पहले नतीजा

एक ही अनुरोध में पूरे होने वाले बहुत सारे काम

Batch API से 50% छूट

OpenAI और Claude, दोनों में इनपुट और आउटपुट की कीमत आधी होती है। समय-सीमा 24 घंटे है। Anthropic के अनुसार, Claude के कई बैच एक घंटे के भीतर पूरे हो जाते हैं।

OpenAI के ऐसे काम जिनके लिए कुछ घंटे इंतज़ार कर सकते हैं

30–40% छूट के लिए समय-सीमा चुनें

भेजते समय 2 घंटे की समय-सीमा (30% छूट) या 8 घंटे की समय-सीमा (40% छूट) चुनें। छूट एक अनुरोध के साथ-साथ टूल के नतीजे लौटाने वाले आगे के अनुरोधों पर भी लागू होती है।

OpenAI Flex

इसके साथ कुछ नया न बनाएँ

यह GPT-6.2 मॉडल के साथ उपलब्ध नहीं है और OpenAI बीटा को बंद करने की दिशा में बढ़ रहा है। अगर आप इसे अभी इस्तेमाल कर रहे हैं, तो तय करें कि अपने वर्कलोड को कहाँ ले जाना है।

जाँच की तारीख: 22 नवंबर 2026। स्रोत प्रत्येक अनुभाग के अंत में दिए गए OpenAI और Anthropic के आधिकारिक दस्तावेज़ हैं।

1. ऐसे कामों पर छूट देने वाले 3 तरीके जो तुरंत पूरे होना ज़रूरी नहीं

इन तीनों विकल्पों में अंतर इस बात पर निर्भर करता है कि आप कितनी देर इंतज़ार कर सकते हैं और क्या काम एक ही अनुरोध में पूरा होता है। सिर्फ़ छूट की मात्रा देखकर चुनाव करेंगे, तो टूल कॉल के कई चरणों वाले काम को Batch से चलाने पर हर चरण के लिए इंतज़ार करना पड़ सकता है।

तरीकाप्रदाताछूटइंतज़ार का समयभेजने का तरीकास्थिति
Batch APIOpenAI · Anthropic (Claude)50%24 घंटे की समय-सीमाAnthropic के अनुसार, Claude के कई बैच एक घंटे के भीतर पूरे हो जाते हैंकई अनुरोधों को एक साथ भेजें और नतीजे बाद में पाएँउपलब्ध
बैकग्राउंड प्रोसेसिंग की समय-सीमाएँOpenAI2 घंटे की समय-सीमा: 30% · 8 घंटे की समय-सीमा: 40%चुनी गई समय-सीमा के भीतर पूरा होना लक्ष्य हैअनुरोध एक-एक करके भेजें; टूल के नतीजे लौटाने वाले आगे के अनुरोधों पर भी वही छूट मिलती हैसार्वजनिक बीटा
FlexOpenAI50% (Batch के समान दर)सामान्य से धीमा और कभी-कभी अनुपलब्धसामान्य अनुरोध में service_tier: "flex" जोड़ेंबंद किया जा रहा है · GPT-6.2 के साथ उपलब्ध नहीं

स्रोत: OpenAI, “Batch API,” “Background mode,” और “Flex processing”; Anthropic, “Batch processing” (22 नवंबर 2026 को जाँचा गया)। Google के Gemini API में भी Batch API है, जिसकी लागत सामान्य कीमत की 50% है और लक्ष्य समय-सीमा 24 घंटे है।

2. OpenAI और Claude के Batch API की तुलना

दोनों में अनुरोधों को समूह में भेजा जाता है और उनके पूरे होने पर सभी नतीजे एक साथ मिलते हैं। छूट दोनों में 50% है, लेकिन अनुरोध भेजने के तरीकों, सीमाओं और नतीजों को रखने की अवधि में अंतर है।

मदOpenAI Batch APIClaude Message Batches API
छूटइनपुट और आउटपुट पर 50% छूटइनपुट और आउटपुट पर 50% छूट
भेजने का तरीकाJSONL फ़ाइल अपलोड करके बैच बनाएँअनुरोधों की सूची सीधे API के ज़रिए भेजें
एक बैच की सीमा50,000 अनुरोध · 200 MB इनपुट फ़ाइल100,000 अनुरोध या 256 MB, जो भी सीमा पहले आए
बैच बनाने और कतार की सीमाएँहर घंटे 2,000 बैच बनाए जा सकते हैं। इसके अलावा, प्रोसेसिंग की कतार में रखे जा सकने वाले इनपुट टोकन की संख्या पर मॉडल के अनुसार सीमा होती है (डैशबोर्ड में Limits के अंतर्गत अपनी सीमा देखें)Batches API पर HTTP अनुरोधों की संख्या और प्रोसेसिंग की कतार में रखे अनुरोधों की संख्या पर दर-सीमाएँ लागू होती हैं (सीमाएँ उपयोग के स्तर के अनुसार बदलती हैं)
समय-सीमा24 घंटे24 घंटे (Anthropic के अनुसार, कई बैच एक घंटे के भीतर पूरे हो जाते हैं)
समय-सीमा पूरी होने परपूरे हो चुके अनुरोधों के नतीजे मिलते हैं और उनका बिल लिया जाता है (अधूरे अनुरोध रद्द कर दिए जाते हैं; दस्तावेज़ में यह नहीं बताया गया कि उनका बिल कैसे लिया जाएगा)पूरे हो चुके अनुरोधों के नतीजे मिलते हैं और उनका बिल लिया जाता है (मॉडल को भेजे जाने से पहले जिन अनुरोधों की समय-सीमा पूरी हो जाती है, उनका बिल नहीं लिया जाता; मॉडल को भेजे गए अनुरोधों के बारे में दस्तावेज़ में जानकारी नहीं दी गई है)
गड़बड़ियाँ कैसे जाँचेंगड़बड़ी वाले अनुरोध, आउटपुट से अलग एक गड़बड़ी फ़ाइल में दिखते हैंनतीजे का प्रकार errored होता है और अनुरोध का बिल नहीं लिया जाता (रद्द किए गए अनुरोध canceled के रूप में दिखते हैं और उनका भी बिल नहीं लिया जाता)
नतीजे कैसे पाएँआउटपुट फ़ाइल डाउनलोड करें और custom_id का उपयोग करके अनुरोधों का मिलान करें (पंक्तियों का क्रम इनपुट के क्रम जैसा होना ज़रूरी नहीं)सभी अनुरोध पूरे होने या 24 घंटे बीतने के बाद नतीजे उपलब्ध होते हैं; custom_id का उपयोग करके अनुरोधों का मिलान करें
नतीजे रखने की अवधिडिफ़ॉल्ट रूप से 30 दिन (बैच बनाते समय 1 घंटे से 30 दिन तक की अवधि तय कर सकते हैं)बनाने के 29 दिन बाद तक
क्या समर्थित नहीं हैstream वाले अनुरोधstream · तेज़ मोड (speed) · सर्वर-साइड फ़ॉलबैक (fallbacks) · max_tokens: 0
कैशिंग के साथ छूट जोड़नाBatch में कैश किए गए इनपुट की दर है (सामान्य दर की आधी)कैश मल्टीप्लायर Batch की छूट के साथ जुड़ते हैं

स्रोत: OpenAI, “Batch API” (सीमाएँ, समय-सीमा पूरी होना और नतीजों की फ़ाइलें) और “Pricing” (कैश किए गए इनपुट); Anthropic, “Batch processing” (सीमाएँ, नतीजों के प्रकार और असमर्थित सेटिंग) और “Pricing” (छूट जोड़ने का तरीका)। 22 नवंबर 2026 को जाँचा गया।

कोई भी प्रदाता यह गारंटी नहीं देता कि सभी अनुरोध 24 घंटे के भीतर पूरे हो जाएँगे। समय-सीमा वाले कामों के लिए, इन दो प्रक्रियाओं की अलग-अलग योजना बनाएँ।

  • समय-सीमा के बाद दोबारा भेजें: नतीजे और गड़बड़ियाँ पाएँ, फिर custom_id के ज़रिए उन्हें हर अनुरोध के अनुसार अलग करें। सफल अनुरोधों को हटा दें। जिन अनुरोधों के नतीजे नहीं आए, जिनकी समय-सीमा पूरी हो गई या जिन्हें रद्द कर दिया गया है, उन्हें नए बैच या सामान्य अनुरोधों के रूप में फिर से भेजें। गड़बड़ी वाले अनुरोधों को दोबारा भेजने से पहले उसकी वजह (जैसे अमान्य इनपुट) पहचानें और ठीक करें।
  • समय-सीमा से पहले सामान्य अनुरोधों पर जाएँ: पहले बैच रद्द करें और रद्द होने की प्रक्रिया पूरी होने तक इंतज़ार करें (OpenAI में स्थिति cancelled और Claude में ended दिखाई देती है। OpenAI में चल रहे अनुरोध पूरे होने में 10 मिनट तक लग सकते हैं)। रद्द करने से पहले प्रोसेस किए गए अनुरोध पूरे हो जाते हैं और उनका बिल लिया जाता है, इसलिए उनके नतीजे पाएँ और custom_id से उन्हें अलग करें। फिर केवल बाकी अनुरोध सामान्य अनुरोधों के रूप में भेजें। रद्द होने का इंतज़ार किए बिना अनुरोध भेजने पर, उसी अनुरोध के लिए दो बार भुगतान करना पड़ सकता है।

पहले से तय करें कि कब तरीका बदलना है: समय-सीमा से रद्द होने का इंतज़ार, नतीजे पाने और उनका मिलान करने, बाकी अनुरोधों को सामान्य तरीके से प्रोसेस करने और दोबारा कोशिश के लिए कुछ समय बचाने की अवधि घटाएँ।

कीमत

मॉडलसामान्य (इनपुट / आउटपुट)Batch (इनपुट / आउटपुट)
GPT-6.2 Astra$8 / $40$4 / $20
GPT-6.2 Sol$2 / $10$1 / $5
GPT-6.1 Terra$1 / $5$0.50 / $2.50
GPT-6 Luna$0.10 / $0.50$0.05 / $0.25
Claude Fable 5.2$8 / $40$4 / $20
Claude Opus 5.5$4 / $20$2 / $10
Claude Sonnet 5.5$2 / $10$1 / $5
Claude Haiku 5.5$0.10 / $0.50$0.05 / $0.25

प्रति 1 मिलियन टोकन, अमेरिकी डॉलर में। स्रोत: OpenAI, “Pricing”; Anthropic, “Pricing” (22 नवंबर 2026 को जाँचा गया)। इनपुट की वह लंबाई जिससे दर बदलती है: तालिका में दिए गए OpenAI के 4 मॉडलों के लिए, प्रति अनुरोध 272,000 से अधिक इनपुट टोकन होने पर लंबी इनपुट दर लागू होती है (Batch पर भी यही लागू है)। Claude Haiku 5.5 के लिए, प्रति अनुरोध 100,000 से अधिक इनपुट टोकन होने पर ऊँची दर लागू होती है (Batch के लिए $0.25 / $1.25)। तालिका के बाकी 3 Claude मॉडलों में इनपुट की लंबाई से दर नहीं बदलती।

3. OpenAI की बैकग्राउंड प्रोसेसिंग की समय-सीमाएँ — टूल के कई चरणों पर भी छूट

Responses API के अनुरोध में background: true जोड़ें और background_options.completion_window की मदद से समय-सीमा चुनें, ताकि मॉडल के टोकन की दर कम हो। छूट का निर्धारण अनुरोध भेजते समय चुनी गई समय-सीमा से होता है, न कि वास्तव में लगे समय से। समय-सीमा यह लक्ष्य तय करती है कि उस अनुरोध का जवाब कब तक पूरा होना चाहिए।

समय-सीमाछूटउपयुक्त इस्तेमाल (OpenAI का उदाहरण)
soonest (डिफ़ॉल्ट)कोई नहींकिसी के इंतज़ार करते समय रिपोर्ट तैयार करना
2hसामान्य दर से 30% कमसुबह की पूछताछ को दोपहर की मीटिंग से पहले संकलित करना
8hसामान्य दर से 40% कमरात में दस्तावेज़ पढ़कर अगली सुबह तक उनकी समीक्षा करना
POST /v1/responses
{
  "model": "gpt-6.1-terra",
  "input": "(पढ़ने के लिए दस्तावेज़ और निर्देश)",
  "background": true,
  "service_tier": "default",
  "background_options": { "completion_window": "8h" }
}

स्रोत: OpenAI, “Background mode” और “Pricing” (22 नवंबर 2026 को जाँचा गया)। ऊपर दिया गया उदाहरण OpenAI के “रात में दस्तावेज़ों की समीक्षा” वाले उदाहरण का एक सरल रूप है।

  • समर्थित मॉडल: GPT-6.2 Astra · GPT-6.2 Sol · GPT-6.1 Terra · GPT-6 Luna। सार्वजनिक बीटा।
  • ज़रूरी शर्तें: service_tier को default (मानक प्रोसेसिंग) पर सेट करें। auto के साथ छूट तभी लागू होती है जब मानक प्रोसेसिंग चुनी जाती है। stream का इस्तेमाल न करें।
  • नतीजे पाना: मिले हुए जवाब का ID सेव करें, जवाब पूरा होने का पता लगाने के लिए response.completed webhook का इस्तेमाल करें और ID से जवाब पाएँ। अगर webhook का इस्तेमाल नहीं कर सकते, तो उसी ID से स्थिति जाँचें।
  • आगे के अनुरोध: जब मॉडल किसी टूल को कॉल करे, तो टूल का नतीजा लेकर अगला अनुरोध भेजें। अगर अगला अनुरोध भी समय-सीमा के साथ भेजा जाता है, तो उस पर भी छूट लागू होती है। इसके अलावा, एक ही मॉडल, समय-सीमा और प्रोजेक्ट के लिए, अपने ऐप से चुना गया वही continuation_id इस्तेमाल करने पर आगे के अनुरोधों को प्राथमिकता मिलने की संभावना बढ़ जाती है। समय-सीमा हर अनुरोध के लिए लक्ष्य है, पूरी प्रक्रिया के लिए नहीं। कुल समय में हर अनुरोध का इंतज़ार और आपके ऐप को टूल चलाने में लगा समय शामिल होता है।
  • कैशिंग अलग तरह से काम करती है: समय-सीमा वाले अनुरोधों से बने प्रॉम्प्ट कैश, समय-सीमा के बाहर के सामान्य अनुरोधों में उपलब्ध नहीं होते। सामग्री बिल्कुल समान होने पर भी कैश हिट नहीं होगा।
  • कतार की सीमाएँ: 2 घंटे और 8 घंटे की समय-सीमा वाले अनुरोध, प्रोसेसिंग की कतार में रखे जा सकने वाले इनपुट टोकन की संख्या की वही सीमा साझा करते हैं जो Batch API पर लागू है।
  • स्टोरेज: store को false पर सेट करने पर भी बैकग्राउंड प्रोसेसिंग जवाब का डेटा कुछ समय के लिए सेव करती है।

22 नवंबर 2026 को जाँची गई Claude Messages API की कीमत तालिका में, इस तरह की समय-सीमाओं के ज़रिए दर घटाने का कोई तरीका नहीं दिया गया है। इस लेख में Claude के विकल्पों के रूप में Batch API और प्रॉम्प्ट कैशिंग की तुलना की गई है।

4. OpenAI Flex — इसके साथ कुछ नया न बनाएँ

Flex में सामान्य अनुरोध के साथ service_tier: "flex" जोड़ने पर, धीमे जवाब और कभी-कभी अनुपलब्ध सेवा के बदले Batch जैसी ही दर मिलती है। 22 नवंबर 2026 तक OpenAI की जानकारी के अनुसार इसकी स्थिति यह है।

  • समर्थित मॉडल: कीमत तालिका में Flex की दर वाले मॉडल (जैसे GPT-6 Astra · GPT-6.1 Sol · GPT-6.1 Terra · GPT-6 Luna) में यह अब भी उपलब्ध है।
  • असमर्थित मॉडल: GPT-6.2 Astra · GPT-6.2 Sol। इसे आने वाले मॉडलों के साथ भी इस्तेमाल न करें।
  • नीति: बीटा को बंद करने की दिशा में बढ़ रहे हैं।
  • बंद होने की तारीख: घोषित नहीं की गई है। OpenAI का कहना है कि तारीख तय होने पर दस्तावेज़ वाले पेज पर तारीख और माइग्रेशन के निर्देश दिए जाएँगे।

स्रोत: OpenAI, “Flex processing” (22 नवंबर 2026 को जाँचा गया)।

अगर आप अभी Flex का इस्तेमाल कर रहे हैं, तो अपने वर्कलोड को इस क्रम में माइग्रेट करने का विकल्प तय करें।

  1. हर काम के लिए लिख लें कि जवाब कब तक चाहिए (कुछ मिनटों में, कुछ घंटों में या अगले दिन) और क्या आपको स्ट्रीमिंग या टूल कॉल के कई चरण चाहिए।
  2. अगर स्ट्रीमिंग ज़रूरी है, तो केवल सामान्य अनुरोध और कैशिंग विकल्प हैं (Batch और समय-सीमाएँ, दोनों स्ट्रीमिंग का समर्थन नहीं करते)। अगर काम एक ही अनुरोध में पूरा होता है और 24 घंटे की समय-सीमा के भीतर दोबारा कोशिश करने का समय है, तो Batch API इस्तेमाल करें। अगर 24 घंटे इंतज़ार नहीं कर सकते, लेकिन कुछ घंटे इंतज़ार कर सकते हैं, तो टूल इस्तेमाल हों या न हों, समय-सीमा चुनें (2 घंटे या 8 घंटे)। ये हर अनुरोध के लिए लक्ष्य हैं, गारंटी नहीं। अगर टूल कॉल के कई चरण हैं, तो यह भी अनुमान लगाएँ कि पहले अनुरोध से आखिरी जवाब तक का कुल समय समय-सीमा में समाएगा या नहीं। इसमें क्रम से हर अनुरोध का इंतज़ार और टूल चलाने का समय शामिल करें। अगर समय-सीमा में नहीं समाता, तो सामान्य अनुरोध इस्तेमाल करें।
  3. चुने हुए विकल्प के साथ कुछ अनुरोध आज़माएँ, फिर स्विच करने से पहले मौजूदा Flex की तुलना में लागत, इंतज़ार का समय और ज़रूरी सुविधाओं को परखें कि वे समय-सीमा में समाते हैं या नहीं।

5. क्या छूट को कैशिंग की छूट के साथ जोड़ा जा सकता है?

ऐसे कामों में जहाँ एक ही प्रीऐम्बल (निर्देश या सामग्री) बार-बार भेजा जाता है, प्रॉम्प्ट कैशिंग की छूट को अन्य छूट के साथ जोड़ा जा सकता है या नहीं, इससे लागत में और अंतर आ सकता है।

तरीकाकैशिंग के साथ छूट कैसे जुड़ती है
OpenAI Batchछूट जुड़ती है। Batch की कीमतों में कैश किए गए इनपुट की दर शामिल है, जो सामान्य प्रोसेसिंग में कैश किए गए इनपुट की दर से आधी है (GPT-6.2 Sol के लिए, प्रति 1 मिलियन टोकन $0.10 → $0.05)
Claude Batchछूट जुड़ती है। कैश लिखने और पढ़ने के मल्टीप्लायर, Batch की 50% छूट के साथ जुड़ते हैं (कैश की अवधि के लिए, Anthropic साझा प्रीऐम्बल में 1 घंटे का कैश इस्तेमाल करने की सलाह देता है, क्योंकि Batch प्रोसेसिंग में 5 मिनट से अधिक लग सकते हैं)
OpenAI की समय-सीमाएँउपलब्धता: समय-सीमा वाले अनुरोधों के बीच (समय-सीमा से बाहर के सामान्य अनुरोधों के साथ साझा नहीं होता)। कीमत: कीमत तालिका में समय-सीमा के भीतर के अनुरोधों के कैश किए गए इनपुट की दर नहीं दी गई है (22 नवंबर 2026 को जाँचा गया)
OpenAI FlexFlex की कीमतों में कैश किए गए इनपुट की दर लागू होती है (GPT-6.1 Sol के लिए, प्रति 1 मिलियन टोकन $0.05; यह Batch की कीमत के ऊपर मिलने वाली अतिरिक्त छूट नहीं है)

स्रोत: OpenAI, “Pricing,” “Background mode,” और “Flex processing”; Anthropic, “Batch processing” और “Pricing” (22 नवंबर 2026 को जाँचा गया)।

कैशिंग कैसे काम करती है और कैश हिट न होने की वजहों के बारे में विस्तार से जानने के लिए, “OpenAI और Claude में प्रॉम्प्ट कैशिंग का अंतर” देखें।

6. माप के नतीजे: OpenAI Batch और सामान्य अनुरोधों की लागत और समय

हमारी साइट लेखों के शुरुआती अनुवाद तैयार करने के लिए API का इस्तेमाल करती है। 22 नवंबर 2026 को हमने OpenAI के GPT-6 Luna (रीज़निंग प्रयास: medium) से एक ही लेख का अनुवाद सामान्य अनुरोधों और Batch, दोनों के ज़रिए किया और अपने टूल में दर्ज लागत और समय की तुलना की। प्रक्रिया में पहले अंग्रेज़ी में अनुवाद किया जाता है, फिर अंग्रेज़ी संस्करण को दूसरी भाषाओं के अनुवाद के लिए संदर्भ के रूप में इस्तेमाल किया जाता है। हर अनुरोध का प्रीऐम्बल (निर्देश और स्रोत टेक्स्ट) अंग्रेज़ी में लगभग 15,000 टोकन और दूसरी भाषाओं में लगभग 23,000 टोकन का होता है। उस दिन हमने Claude Batch का माप नहीं लिया।

एक अंग्रेज़ी अनुवाद की लागत (अमेरिकी डॉलर, इस्तेमाल किए गए टोकन के आधार पर गणना)

सामान्य अनुरोध$0.0059
Batch$0.0030

एक अंग्रेज़ी अनुवाद का समय (सेकंड)

सामान्य अनुरोध52 सेकंड
Batch246 सेकंड

यह लागत बिल की गई राशि नहीं है; इसकी गणना जवाब के usage में मौजूद टोकन की संख्या को कीमत तालिका की दरों से गुणा करके की गई है। सामान्य अनुरोध: 3 इनपुट टोकन, कैश लिखने के 15,389 टोकन और 7,913 आउटपुट टोकन को इनपुट के लिए $0.10, 30 मिनट के कैश लेखन के लिए $0.125 और आउटपुट के लिए $0.50 (प्रति 1 मिलियन टोकन) से गुणा करने पर लगभग $0.00588। Batch: 3 इनपुट टोकन, कैश लिखने के 15,404 टोकन और 8,199 आउटपुट टोकन को Batch की $0.05, $0.0625 और $0.25 दरों से गुणा करने पर लगभग $0.00301। OpenAI की कीमत तालिका में, कैश लेखन (30m write) की दर इनपुट की दर से अलग होती है। सामान्य अनुरोध का समय भेजने से लेकर जवाब आने तक का है; Batch का समय भेजने से लेकर नतीजे मिलने तक का है और इसमें हर 30 सेकंड में स्थिति जाँचने के दौरान का इंतज़ार शामिल है।

इस परीक्षण में लागत लगभग आधी हो गई, जबकि इंतज़ार कुछ मिनट बढ़ा। अनुवादों की HTML संरचना (शीर्षकों, तालिकाओं और लिंक की संख्या) सामान्य अनुरोधों की तरह ही जापानी स्रोत से मेल खाती थी। यह संरचना की जाँच थी; अनुवाद की गुणवत्ता अलग से पढ़कर जाँची गई।

पूरी प्रक्रिया के उदाहरण के तौर पर, अगर अंग्रेज़ी अनुवाद पूरा होने का इंतज़ार करके बाकी भाषाओं के अनुरोध भेजते हैं, तो काम को 2 बैचों में बाँटना होगा। स्पैनिश और चीनी अनुवादों को एक साथ रखने वाले दूसरे बैच में 154 सेकंड लगे और चीनी अनुरोध ने कैश से लगभग 23,000 प्रीऐम्बल टोकन पढ़े। अंग्रेज़ी, स्पैनिश और चीनी, इन 3 भाषाओं के लिए कुल समय लगभग 6 मिनट 40 सेकंड था (यह सामान्य अनुरोधों से तुलना नहीं है)।

1–2 अनुरोधों वाले छोटे परीक्षणों के नतीजे; प्रोसेसिंग का समय उस दिन की माँग के अनुसार बदलता है। बड़े बैच और व्यस्त समय में अधिक समय लग सकता है।

7. कौन-सा विकल्प चुनें — 4 सवाल

कोई व्यक्ति नतीजे का इंतज़ार कर रहा है (चैट या स्क्रीन पर काम करते समय)सामान्य अनुरोध + प्रॉम्प्ट कैशिंग
बहुत सारे काम एक ही अनुरोध में पूरे होते हैं और समय-सीमा में 24 घंटे की अवधि के भीतर दोबारा कोशिश करने का समय हैBatch API (50%)
OpenAI पर 24 घंटे इंतज़ार नहीं कर सकते, लेकिन कुछ घंटे इंतज़ार कर सकते हैं (चाहे एक अनुरोध हो या टूल कॉल के कई चरण)2 घंटे की समय-सीमा (30%) या 8 घंटे की समय-सीमा (40%)। कई चरण हों, तो पूरी प्रक्रिया के समय का अनुमान लगाएँ; अगर यह समय-सीमा में नहीं समाता, तो सामान्य अनुरोध इस्तेमाल करें
Claude पर काम में टूल कॉल के कई चरण हैंआम तौर पर सामान्य अनुरोध + कैशिंग इस्तेमाल करें। Batch तभी इस्तेमाल करें जब समय-सीमा में बैच के चरणों के बीच का इंतज़ार और दोबारा कोशिश का समय शामिल हो

2 घंटे और 8 घंटे की समय-सीमाएँ हर अनुरोध को पूरा करने के लक्ष्य हैं, गारंटी नहीं। कम समय-सीमा वाले कामों के लिए छूट के बजाय सामान्य अनुरोध चुनें। हमने Claude की जिस कीमत तालिका को देखा, उसमें समय-सीमा वाली छूट का ज़िक्र नहीं है। इसलिए टूल कॉल के कई चरणों वाले काम को Batch से चलाने पर, हर चरण के बीच बैच पूरा होने का इंतज़ार करना पड़ेगा। जिन कामों में स्ट्रीमिंग ज़रूरी है, उनके लिए दोनों कंपनियों में सामान्य अनुरोध इस्तेमाल करें।

छूट चुनने से पहले, प्रतिनिधि इनपुट के साथ यह जाँच लेना बहुत फ़ायदेमंद हो सकता है कि कम कीमत वाला मॉडल भी गुणवत्ता के आपके मानक पूरे कर सकता है या नहीं। मॉडल की दरों में अंतर अक्सर छूट से बड़ा होता है; उदाहरण के लिए, ऊपर दी गई तालिका में GPT-6 Luna की दर GPT-6.2 Sol की दर का बीसवाँ हिस्सा है। मॉडल चुनने की सलाह के लिए “AI के इस्तेमाल और टोकन की लागत कैसे बचाएँ” देखें।

सारांश

ऐसे कामों के लिए जिनके नतीजे तुरंत पाना ज़रूरी नहीं है, OpenAI और Claude, दोनों में Batch API से दर आधी हो जाती है। समय-सीमा 24 घंटे है और कोई भी प्रदाता यह गारंटी नहीं देता कि हर अनुरोध पूरा हो जाएगा। समय-सीमा तक पूरे हुए अनुरोधों का बिल लिया जाता है। जिन अनुरोधों के नतीजे नहीं मिले, उन्हें फिर से भेजें और गड़बड़ी वाले अनुरोधों को दोबारा भेजने से पहले उनकी वजह ठीक करें। OpenAI में भेजते समय चुनी जाने वाली 2 घंटे की समय-सीमा (30% छूट) और 8 घंटे की समय-सीमा (40% छूट) भी उपलब्ध हैं, जिनका इस्तेमाल टूल कॉल के कई चरणों वाले कामों के लिए किया जा सकता है। Flex, GPT-6.2 के साथ उपलब्ध नहीं है और इसे बंद किया जा रहा है, इसलिए नए कामों के लिए इसका इस्तेमाल न करें। दोनों कंपनियों में Batch की छूट को साझा प्रीऐम्बल की कैशिंग छूट के साथ जोड़ा जा सकता है।

अक्सर पूछे जाने वाले सवाल

Batch के नतीजे आने में कितना समय लगता है?

OpenAI और Claude, दोनों में समय-सीमा 24 घंटे है और कोई भी गारंटी नहीं देता कि सभी अनुरोध इस अवधि में पूरे हो जाएँगे। Anthropic के अनुसार, कई बैच एक घंटे के भीतर पूरे हो जाते हैं। हमारे छोटे परीक्षण (OpenAI, 1–2 अनुरोध) में, भेजने के 2–4 मिनट बाद नतीजे मिले।

क्या 24 घंटे में पूरे न होने वाले अनुरोधों का भी बिल लिया जाता है?

दोनों प्रदाता समय-सीमा तक पूरे हुए अनुरोधों का बिल लेते हैं। उनके दस्तावेज़ों में दी गई जानकारी के आधार पर, अधूरे अनुरोधों का प्रबंधन इस तरह होता है। OpenAI केवल इतना कहता है कि अनुरोध रद्द कर दिए जाते हैं और यह स्पष्ट नहीं करता कि उनका बिल कैसे लिया जाएगा। Claude कहता है कि मॉडल को भेजे जाने से पहले जिन अनुरोधों की समय-सीमा पूरी हो जाती है, उनका बिल नहीं लिया जाता; लेकिन मॉडल को भेजे जाने के बाद समय-सीमा पूरी होने वाले अनुरोधों के बारे में जानकारी नहीं देता। Claude उन अनुरोधों का भी बिल नहीं लेता जिनमें गड़बड़ी आती है या जिन्हें रद्द किया जाता है।

मैं Flex इस्तेमाल कर रहा हूँ। इसे कब तक इस्तेमाल कर सकता हूँ?

22 नवंबर 2026 तक, इसे बंद करने की कोई तारीख घोषित नहीं की गई है। OpenAI का कहना है कि तारीख तय होने पर Flex के दस्तावेज़ वाले पेज पर तारीख और माइग्रेशन के निर्देश जोड़े जाएँगे। Flex, GPT-6.2 Astra, GPT-6.2 Sol या आने वाले मॉडलों के साथ उपलब्ध नहीं है, इसलिए मॉडल बदलते समय माइग्रेट करना आसान होगा।

क्या कैशिंग और Batch को एक साथ इस्तेमाल कर सकता हूँ?

हाँ। Claude में मल्टीप्लायर जुड़ते हैं और OpenAI में Batch के लिए कैश किए गए इनपुट की दर है। साझा प्रीऐम्बल को अनुरोधों की शुरुआत में रखने से उसके कैश होने की संभावना बढ़ जाती है।

अपडेट लॉग

  • 22 नवंबर 2026प्रकाशित।

स्रोत