मल्टीमॉडल AI वह AI है जो सिर्फ़ टेक्स्ट ही नहीं, बल्कि छवियाँ, PDF, ऑडियो और वीडियो भी इनपुट के रूप में लेकर उनके बारे में जवाब देता है। लेकिन "मल्टीमॉडल" का लेबल यह नहीं बताता कि आप असल में क्या भेज सकते हैं — यह मॉडल के हिसाब से बहुत बदलता है। 12 नवंबर 2026 को हर कंपनी के आधिकारिक दस्तावेज़ जाँचने पर पता चला कि Claude और OpenAI के सामान्य मॉडलों के API टेक्स्ट, छवि और PDF तक ही हैं, जबकि Google का Gemini 4 और Qwen के Omni मॉडल ऑडियो और वीडियो सीधे लेते हैं। तीनों बड़ी कंपनियाँ छवि के टोकन भी अलग-अलग तरीक़े से गिनती हैं, इसलिए एक ही फ़ोन फ़ोटो एक मॉडल पर दूसरे की तुलना में दस गुना से भी ज़्यादा इनपुट बना सकती है।

इस लेख में हम देखेंगे कि मल्टीमॉडल AI कैसे काम करता है (जोड़-तोड़ वाला बनाम नेटिव), मुख्य मॉडल क्या-क्या इनपुट लेते हैं इसकी तालिका, छवि, वीडियो और PDF के टोकन के सूत्र और गणना के उदाहरण, बेंचमार्क कैसे पढ़ें, हर उपयोग में क्या जाँचें, और वे सीमाएँ जिन्हें आधिकारिक दस्तावेज़ ख़ुद मानते हैं।

MULTIMODAL AI

टेक्स्ट, छवि, ऑडियो और वीडियो संभालने वाला AI

— एक मॉडल अकेले कितना संभाल सकता है, यह मॉडल पर निर्भर है

TEXT
टेक्स्ट
लेख, कोड, चिह्न
IMAGE
छवि
फ़ोटो, चार्ट, स्क्रीनशॉट, PDF
AUDIO
ऑडियो
बातचीत, संगीत, आसपास की आवाज़
VIDEO
वीडियो
समय + दृश्य + आवाज़

एक ही API से चारों लेने वालों में Gemini 4 और Qwen की Omni शृंखला आदि हैं।
Claude और OpenAI के सामान्य मॉडलों के API टेक्स्ट, छवि और PDF लेते हैं (12 नवंबर 2026 को आधिकारिक दस्तावेज़ों में जाँचा गया; तालिका §3 में)।

विषय-सूची

1. मल्टीमॉडल AI क्या है — टेक्स्ट से आगे का इनपुट लेने वाला AI

परिभाषा: "ऐसा AI मॉडल जो टेक्स्ट के अलावा दूसरे इनपुट (छवि, ऑडियो, वीडियो आदि) भी संभाल सके"। यह कहाँ तक जाता है, यह मॉडल पर निर्भर है — सिर्फ़ टेक्स्ट और छवि से लेकर एक ही मॉडल में ऑडियो और वीडियो तक।

पहले का AI एक ही मोडैलिटी के लिए बनाया जाता था। GPT-3 सिर्फ़ टेक्स्ट संभालता था, Whisper सिर्फ़ बोली को टेक्स्ट में बदलता था और Stable Diffusion सिर्फ़ टेक्स्ट से छवि बनाता था। इन्हें जोड़ने के लिए एक "पाइपलाइन" बनानी पड़ती थी, जिसमें एक मॉडल का आउटपुट दूसरे का इनपुट बनता था, और रास्ते में जानकारी छूट जाती थी। टेक्स्ट बनाने वाला हिस्सा कैसे काम करता है, यह LLM क्या है में समझाया गया है।

मल्टीमॉडल AI में एक ही मॉडल कई इनपुट एक साथ देखकर जवाब देता है। उदाहरण के लिए, "इस स्क्रीनशॉट का एरर मैसेज (छवि) और मेरा सवाल (टेक्स्ट) साथ में देखकर कारण बताओ" — यह एक ही API कॉल में हो जाता है।

शब्दावली: LMM (Large Multimodal Model) बड़े मल्टीमॉडल मॉडलों का सामान्य नाम है, VLM (Vision-Language Model) टेक्स्ट और छवि संभालता है, और ओम्नीमॉडल (omnimodal) मॉडल टेक्स्ट, छवि, ऑडियो और वीडियो एक ही मॉडल में संभालता है। "मल्टीमॉडल" कहने वाले दो उत्पाद बहुत अलग हो सकते हैं, अगर एक VLM है और दूसरा ओम्नीमॉडल। अगर आपको ऑडियो या वीडियो के साथ काम करना है, तो विज्ञापन के शब्दों के बजाय §3 की तालिका की तरह API असल में कौन-से इनपुट लेता है यह जाँचें।

2. जोड़-तोड़ वाला बनाम नेटिव — बनाने के दो तरीक़े

मूल रूप से दो डिज़ाइन हैं। पहले आम तरीक़ा था अलग-अलग मॉडलों को एक कड़ी में जोड़ना: एक बोली को टेक्स्ट में बदलता, दूसरा टेक्स्ट पर सोचता, तीसरा जवाब पढ़कर सुनाता (OpenAI बताता है कि GPT-4o से पहले ChatGPT का वॉइस मोड ठीक ऐसी तीन मॉडलों की कड़ी था)। अब ऐसे डिज़ाइन फैल रहे हैं जिनमें एक ही मॉडल कई तरह के इनपुट सीधे लेता है।

आर्किटेक्चर की तुलना

Stitched बनाम Native

① Stitched
  • ट्रांसक्रिप्शन, सोचना और बोलना — अलग-अलग मॉडल करते हैं
  • मॉडल आपस में टेक्स्ट के रूप में काम सौंपते हैं
  • लहजा, कई वक्ता और पृष्ठभूमि की आवाज़ें रास्ते में छूट जाती हैं
  • हर अतिरिक्त चरण देरी बढ़ाता है
  • जैसे: GPT-4o से पहले ChatGPT का वॉइस मोड (तीन जुड़े हुए मॉडल)
VS
② Native
  • एक ही मॉडल कई इनपुट सीधे लेता है
  • इनपुट से आउटपुट तक एक ही नेटवर्क में
  • मॉडल लहजा और दृश्य-ध्वनि का मेल सीधे देख पाता है
  • बीच के हस्तांतरण में जानकारी कम खोती है
  • जैसे: GPT-4o (मई 2024), Google का Gemini, Qwen की Omni श्रृंखला

Native में "वीडियो की आवाज़ और दृश्य को साथ समझना" एक ही मॉडल के भीतर हो जाता है।
Stitched में बीच का पड़ाव आता है — जैसे पहले आवाज़ को टेक्स्ट में बदलना — और वहीं जानकारी छूट जाती है।

एक ठोस उदाहरण: "यह खाना बनाने का वीडियो देखकर रेसिपी लिखो"। जोड़-तोड़ वाले सेटअप में कई चरण लगते हैं — "स्पीच मॉडल से ऑडियो को टेक्स्ट में बदलो, फिर टेक्स्ट मॉडल से सार बनाओ" और साथ में "वीडियो से फ़्रेम निकालकर अलग से विश्लेषण करो"। वीडियो सीधे लेने वाला मॉडल एक ही API कॉल में पूरा वीडियो ले लेता है और मॉडल के भीतर ही बोले गए विवरण को स्क्रीन की क्रियाओं से मिला लेता है।

लेकिन हर कंपनी एक ही नेटिव मॉडल पर नहीं आई है। OpenAI काम बाँटता है: सामान्य मॉडल (जैसे GPT-6 Astra) टेक्स्ट और छवि लेते हैं, आवाज़ में बातचीत GPT-Live-1 और GPT-Realtime जैसे वॉइस मॉडल संभालते हैं, और ट्रांसक्रिप्शन GPT-Transcribe जैसे मॉडल (OpenAI की मॉडल सूची, 12 नवंबर 2026 को जाँची गई)। यानी हर काम के लिए अलग मॉडल चुना जाता है, और वॉइस मॉडल ख़ुद ऑडियो सीधे लेकर आवाज़ में जवाब देते हैं। सुनते हुए बोलने वाली फ़ुल-डुप्लेक्स वॉइस बातचीत GPT-Live पर हमारे लेख में विस्तार से है।

3. मुख्य मॉडल क्या इनपुट लेते हैं — आधिकारिक दस्तावेज़ों से तालिका

तालिका में वे इनपुट हैं जिन्हें हर कंपनी के API दस्तावेज़ "स्वीकार्य" बताते हैं (12 नवंबर 2026 को जाँचा गया)। जो सुविधाएँ पर्दे के पीछे किसी दूसरे मॉडल या ट्रांसक्रिप्शन से गुज़रती हैं, जैसे किसी ऐप का वॉइस मोड, वे शामिल नहीं हैं।

मॉडल (API)टेक्स्टछविPDFऑडियोवीडियोआउटपुट
Claude (Fable, Opus, Sonnet और Haiku के सभी मौजूदा मॉडल)✓✓✓✕✕टेक्स्ट
OpenAI के सामान्य मॉडल (GPT-6 Astra, GPT-6.1 Sol आदि)✓✓✓✕✕टेक्स्ट
Gemini 4 (Carbon, Argon)✓✓✓✓✓टेक्स्ट
Qwen के Omni मॉडल (Alibaba Cloud का API)✓✓उल्लेख नहीं✓✓टेक्स्ट (Qwen3.5-Omni: टेक्स्ट और आवाज़)
DeepSeek V4.1 Flash✓✓उल्लेख नहींउल्लेख नहींउल्लेख नहींटेक्स्ट

स्रोत: Anthropic का मॉडल अवलोकन ("सभी मौजूदा मॉडल टेक्स्ट और छवि इनपुट तथा टेक्स्ट आउटपुट का समर्थन करते हैं") और PDF समर्थन; OpenAI का GPT-6 Astra पेज (इनपुट: text, image; आउटपुट: text) और फ़ाइल इनपुट गाइड; Gemini 4 Carbon का मॉडल कार्ड और Gemini API की मॉडल सूची; Alibaba Cloud के Qwen-Omni दस्तावेज़; DeepSeek का API अपडेट लॉग (V4.1 Flash में "नेटिव मल्टीमॉडल विज़ुअल समझ")। मौजूदा मॉडलों के लिए हमारी मॉडल और नॉलेज कटऑफ़ सूची देखें।

इस तालिका से तीन बातें निकलती हैं।

  • तीनों बड़ी कंपनियाँ PDF को "पेज की छवि + निकाला गया टेक्स्ट" के रूप में पढ़ती हैं। Claude हर पेज को छवि बनाता है और उस पेज से निकाला गया टेक्स्ट साथ में मॉडल को देता है। OpenAI भी विज़न वाले मॉडलों पर टेक्स्ट और पेज की छवियाँ दोनों भेजता है। इसी वजह से तालिकाएँ और चार्ट पढ़े जा सकते हैं — और इसी वजह से PDF ज़्यादा टोकन लेते हैं (§4)।
  • ऑडियो और वीडियो पर कंपनियाँ "दूसरा मॉडल चुनो" और "सब एक मॉडल में डालो" में बँटी हैं। Gemini 4 और Qwen के Omni मॉडल इन्हें एक ही मॉडल में लेते हैं। OpenAI ऑडियो को वॉइस और ट्रांसक्रिप्शन मॉडलों को भेजता है, और Claude का API न ऑडियो लेता है न वीडियो। Claude या OpenAI के सामान्य मॉडलों से वीडियो संभालना हो तो फ़्रेम निकालकर छवियों के रूप में भेजें और ऑडियो अलग से ट्रांसक्राइब करें।
  • आउटपुट लगभग हमेशा टेक्स्ट होता है। छवियाँ इमेज जनरेशन मॉडल बनाते हैं (इमेज जनरेशन AI की हमारी तुलना) और आवाज़ में जवाब वॉइस मॉडल देते हैं — "समझना" और "बनाना" अक्सर अलग मॉडल करते हैं।

Qwen के लिए Alibaba Cloud के दस्तावेज़ Qwen3.8-Omni-Flash (इनपुट: टेक्स्ट, छवि, ऑडियो, वीडियो; आउटपुट: टेक्स्ट; 10 लाख टोकन का कॉन्टेक्स्ट) और Qwen3.5-Omni (आउटपुट: टेक्स्ट और ऑडियो; 3 घंटे तक ऑडियो और 1 घंटे तक वीडियो) बताते हैं। Google की मॉडल सूची में भी कम विलंब वाली वॉइस बातचीत के लिए Gemini 3.8 Live और ट्रांसक्रिप्शन के लिए Gemini 3.5 Transcribe अलग से हैं।

4. छवि, वीडियो और PDF कितने टोकन — सूत्र और उदाहरण

मल्टीमॉडल इनपुट भी टेक्स्ट की तरह टोकन में बदलकर बिल होता है — लेकिन तीनों कंपनियाँ यह बदलाव अलग-अलग करती हैं। हर कंपनी के दस्तावेज़ में दिए सूत्र ये हैं (12 नवंबर 2026 को जाँचे गए)।

Claude

28×28 पिक्सेल का हर खंड 1 टोकन: ⌈चौड़ाई ÷ 28⌉ × ⌈ऊँचाई ÷ 28⌉। Claude 4.7 और बाद के मॉडल लंबी भुजा पर 2,576 पिक्सेल और 4,784 टोकन तक, पहले के मॉडल 1,568 पिक्सेल और 1,568 टोकन तक लेते हैं। बड़ी छवियाँ छोटी कर दी जाती हैं (Vision दस्तावेज़)।

OpenAI (GPT-6 Astra)

32×32 पिक्सेल के खंडों की संख्या ⌈चौड़ाई ÷ 32⌉ × ⌈ऊँचाई ÷ 32⌉, उसे 1.2 से गुणा। detail न देने पर auto लागू होता है, और GPT-6 Astra में auto मूल आकार बनाए रखता है (original जैसा)। high 2,500 खंडों तक सीमित है, low छवि को 512×512 में फ़िट करता है (इमेज और विज़न गाइड)।

Gemini 4 और Gemini 3

हर रिज़ॉल्यूशन सेटिंग की ऊपरी सीमा से तय होता है। छवि डिफ़ॉल्ट रूप से अधिकतम 1,120 टोकन (low 280, medium 560, ultra_high 2,240), वीडियो प्रति फ़्रेम 70 टोकन (high में 280), ऑडियो प्रति सेकंड 25 टोकन (मीडिया रिज़ॉल्यूशन दस्तावेज़)।

गणना का उदाहरण: एक ही छवि कितने टोकन बनती है

ऊपर के सूत्रों से हमने दो आम छवियों की गणना की। लागत सिर्फ़ इनपुट की है; मॉडल का सोचना और आउटपुट अलग से बिल होते हैं।

छविClaude Opus 5.5GPT-6 AstraGemini 4 Carbon
फ़ुल HD स्क्रीनशॉट (1920×1080)69×39 = 2,691 टोकन60×34×1.2 = 2,448 टोकन (डिफ़ॉल्ट auto)अधिकतम 1,120 टोकन (डिफ़ॉल्ट)
फ़ोन फ़ोटो (4032×3024, लगभग 12 MP)छोटी होकर लगभग 4,700 टोकन (सीमा 4,784)डिफ़ॉल्ट auto: 126×95×1.2 = 14,364 टोकन (detail: "high" पर अधिकतम 3,000)अधिकतम 1,120 टोकन (डिफ़ॉल्ट)
इनपुट कीमत (प्रति 10 लाख टोकन)$4$10$2 (30 नवंबर तक), $4 (1 दिसंबर से)
1,000 फ़ोन फ़ोटो का इनपुटलगभग $19लगभग $144 (auto), लगभग $30 (high)लगभग $4.50 ($4 पर)

कीमतों के स्रोत: Anthropic, OpenAI, Gemini API की कीमतें (सभी 12 नवंबर 2026 को जाँची गईं; राशि अमेरिकी डॉलर में)। फ़ुल HD के लिए Claude का आँकड़ा Anthropic के दस्तावेज़ की तालिका से मेल खाता है। Gemini के आँकड़े ऊपरी सीमा हैं, असली संख्या इतनी या इससे कम होती है।

निष्कर्ष: टोकन का अंतर लगभग पूरी तरह इस पर निर्भर है कि छवि छोटी की जाती है या नहीं। GPT-6 Astra डिफ़ॉल्ट रूप से मूल रिज़ॉल्यूशन रखता है — छोटे अक्षर पढ़ने में मदद मिलती है, पर बड़ी फ़ोटो महँगी पड़ती हैं। अगर आप बहुत सारी फ़ोन फ़ोटो भेजते हैं, तो detail को high करें या भेजने से पहले छोटा करें — इनपुट लगभग पाँचवें हिस्से पर आ जाता है। उलटे, छोटे अक्षरों वाली सामग्री पढ़ने के लिए Gemini में रिज़ॉल्यूशन बढ़ाने की सेटिंग है। सूत्र कोई भी हो, भेजने से पहले बेकार हिस्सा काट देना सबसे असरदार है।

वीडियो और ऑडियो: एक घंटे में कितने टोकन

  • Gemini (वीडियो सीधे): डिफ़ॉल्ट रूप से हर सेकंड 1 फ़्रेम लिया जाता है। Google का वीडियो दस्तावेज़ कहता है "डिफ़ॉल्ट रिज़ॉल्यूशन पर प्रति सेकंड वीडियो लगभग 100 टोकन, हाई रिज़ॉल्यूशन पर लगभग 300"। एक घंटा लगभग 3.6 लाख टोकन है, यानी 10 लाख टोकन वाले मॉडल में डिफ़ॉल्ट पर लगभग 3 घंटे और हाई रिज़ॉल्यूशन पर लगभग 1 घंटा आता है (वीडियो समझ दस्तावेज़)। Gemini 4 और कुछ अन्य मॉडलों में वैकल्पिक "एजेंटिक वीडियो समझ" भी है, जो सिर्फ़ ज़रूरी हिस्से देखती है; Google के अनुसार लंबे वीडियो पर यह 88% तक कम टोकन लेती है, पर 5 मिनट से छोटे क्लिप या लगभग पूरा वीडियो देखने वाले सामान्य सवालों में यह ज़्यादा टोकन और समय ले सकती है।
  • Gemini (सिर्फ़ ऑडियो): प्रति सेकंड 25 टोकन पर एक घंटे का ऑडियो 90,000 टोकन है।
  • Claude और OpenAI (फ़्रेम को छवि के रूप में): 1280×720 का एक फ़्रेम Claude में 46×26 = 1,196 टोकन और GPT-6 Astra में 40×23×1.2 = 1,104 टोकन है। हर 10 सेकंड पर 1 फ़्रेम, एक घंटे तक (360 फ़्रेम), लगभग 4 से 4.3 लाख टोकन बनते हैं, और इसमें ऑडियो शामिल नहीं होता। GPT-6 Astra में 2.72 लाख से ज़्यादा इनपुट टोकन वाले पूरे अनुरोध पर इनपुट की दोगुनी और आउटपुट की 1.5 गुनी दर लगती है, इसलिए लंबा वीडियो हिस्सों में भेजना सस्ता है। Claude एक अनुरोध में 600 छवियाँ तक लेता है, पर 20 से ज़्यादा होने पर हर छवि के आकार की सीमा कड़ी हो जाती है (लंबी भुजा 3,000 पिक्सेल या कम रखें तो सभी प्लेटफ़ॉर्म पर ठीक रहता है)।

PDF: पेजों के साथ लागत बढ़ती है

Anthropic के दस्तावेज़ के अनुसार PDF का एक पेज सिर्फ़ टेक्स्ट के लिए आम तौर पर 1,500–3,000 टोकन लेता है, ऊपर से पेज की छवि ऊपर वाले सूत्र से जुड़ती है (एक अनुरोध में 600 पेज तक, या कॉन्टेक्स्ट विंडो 10 लाख टोकन से कम हो तो 100 पेज)। OpenAI भी पेज की छवियाँ जोड़ता है, और GPT-5.6 व बाद के मॉडलों में PDF का detail डिफ़ॉल्ट रूप से high होने से छवि वाला हिस्सा बड़ा रहता है (एक अनुरोध में कुल फ़ाइलें 50 MB तक)। Gemini PDF में मौजूद मूल टेक्स्ट के टोकन का शुल्क नहीं लेता और पेजों को छवि के रूप में गिनता है (1,000 पेज या 50 MB तक; दस्तावेज़ प्रोसेसिंग दस्तावेज़)। 100 पेज से बड़े दस्तावेज़ में सिर्फ़ ज़रूरी हिस्से भेजना सस्ता भी है और भरोसेमंद भी। टोकन बचाने के सामान्य तरीक़े AI टोकन लागत कैसे घटाएँ में हैं।

5. हर मोडैलिटी में ताक़त किससे तय होती है

"कौन-सा मॉडल सबसे अच्छा है" हर पीढ़ी के साथ बदलता है। जो लंबे समय तक काम आता है, वह यह समझ है कि हर मोडैलिटी में ताक़त तकनीकी रूप से किससे तय होती है। इन चार कसौटियों से आप नए मॉडल ख़ुद परख सकते हैं।

🎬 वीडियो समझ को क्या तय करता है

① कितनी बार फ़्रेम लिए जाते हैं ② लंबी रिकॉर्डिंग समाने लायक़ कॉन्टेक्स्ट ③ समय के क्रम पर तर्क। जैसा §4 दिखाता है, एक घंटा लाखों टोकन बनता है, इसलिए वीडियो की लंबाई और कॉन्टेक्स्ट का आकार साथ चलते हैं।

🎙 वॉइस बातचीत को क्या तय करता है

① आने-जाने की देरी ② फ़ुल डुप्लेक्स है या नहीं (बोलते समय बीच में टोक सकते हैं या नहीं) ③ लहजा और भावना बची रहती है या नहीं। जो सेटअप पहले बोली को टेक्स्ट में बदलता है, वह उस अतिरिक्त इंतज़ार और लहजे के नुकसान से नहीं बच सकता।

📄 दस्तावेज़ और स्क्रीन विश्लेषण को क्या तय करता है

① टेक्स्ट पढ़ने की सटीकता ② लेआउट बचा रहता है या नहीं (तालिका, कॉलम, फ़ुटनोट) ③ निर्देशांक लौटा सकता है या नहीं। ③ स्क्रीन चलाने वाले एजेंटों के लिए निर्णायक है: बटन है, यह जानना बेकार है अगर मॉडल यह न बता सके कि वह कहाँ है। §4 की रिज़ॉल्यूशन सीमाएँ भी असर डालती हैं।

🔓 ओपन मॉडलों को क्या तय करता है

① ओम्नीमॉडल है, या हर मोडैलिटी के अलग मॉडलों का जोड़ ② वेट्स प्रकाशित हैं या नहीं, और लाइसेंस। एक ही परिवार में नया संस्करण सिर्फ़ API पर हो सकता है और खुले वेट्स सिर्फ़ पिछली पीढ़ी के हों। ख़ुद चलाना है तो प्रदर्शन से पहले यह जाँचें।

इस नज़र से देखें तो वीडियो में अंतर लंबाई के साथ बढ़ता है। Video-MME 11 सेकंड से 1 घंटे तक के वीडियो को छोटे, मध्यम और लंबे — तीन वर्गों में अंक देता है, और उसके आधिकारिक लीडरबोर्ड के कई मॉडल लंबे वर्ग में नीचे आते हैं। अगर आप सिर्फ़ छोटे क्लिप संभालते हैं, तो लंबे वीडियो की रैंकिंग आपके काम की नहीं। दस्तावेज़ विश्लेषण में, जितना ज़्यादा कोई एजेंट स्क्रीन देखकर उस पर काम करता है — जैसे Cursor —, उतना ही स्थिति लौटाने की क्षमता कच्ची सटीकता से ज़्यादा मायने रखती है।

6. बेंचमार्क कैसे पढ़ें — MMMU-Pro अब शीर्ष मॉडलों में फ़र्क़ नहीं दिखाता

छवियों वाला बहु-विषयी टेस्ट MMMU जब 2023 के अंत में आया, तब GPT-4V का स्कोर 56% था। उसके कठिन उत्तराधिकारी MMMU-Pro (सितंबर 2024 में जारी) पर अब शीर्ष मॉडल 90% के क़रीब हैं। स्वतंत्र कंपनी Artificial Analysis के माप (हर मॉडल की रीज़निंग सेटिंग अलग है): Gemini 4 Carbon (Medium) 89%, Claude Opus 5.5 (Max, Default Fallback) 88%, GPT-6 Astra (Max) 87% (MMMU-Pro मूल्यांकन पेज, 12 नवंबर 2026 को जाँचा गया)। शीर्ष मॉडलों में सिर्फ़ 1–2 अंकों का अंतर है।

कंपनियाँ ऐसे टेस्ट की ओर बढ़ रही हैं जो अब भी अंतर दिखाते हैं। Gemini 4 Carbon के मॉडल कार्ड (10 नवंबर 2026 को प्रकाशित) के "मल्टीमॉडल समझ" वाले हिस्से में Google ने MMMU-Pro नहीं दिया, बल्कि दो दूसरे टेस्ट — Chartography और Blueprint-Bench 2 — दिए (Chartography: Gemini 4 Carbon 72.5%, GPT-6 Astra 71.0%, Claude Opus 5.5 66.3% — Google का माप)। मॉडल चुनते समय अपने उपयोग के हिसाब से नीचे के चार देखें।

बेंचमार्क × 4

मल्टीमॉडल AI को मापने के पैमाने

① MMMU-Pro
छवि, आरेख और ग्राफ़ वाली बहु-विषयी समझ। शीर्ष मॉडल 90% के क़रीब हैं, आपस में 1–2 अंक का फ़र्क़। न्यूनतम कसौटी के रूप में ठीक, निर्णायक आधार नहीं।
② Video-MMMU
व्याख्यान शैली के 300 विशेषज्ञ वीडियो और 900 प्रश्न। मापता है कि मॉडल वीडियो से ज्ञान लेकर नई समस्याओं पर लगा पाता है या नहीं — धारणा, समझ और प्रयोग के तीन चरणों में।
③ DocVQA / OCRBench
दस्तावेज़ और छवि के भीतर का टेक्स्ट पढ़ना। फ़र्क़ इसमें है कि तालिका, कॉलम और निर्देशांक बिना बिगड़े पढ़े जाते हैं या नहीं। स्क्रीन विश्लेषण या फ़ॉर्म प्रोसेसिंग के लिए MMMU से पहले इसे देखें।
④ AudioBench
ऑडियो सुनकर जवाब देने वाले मॉडलों की समझ मापता है: वाक् पहचान और अनुवाद, आसपास की आवाज़, भावना और वक्ता की विशेषताएँ (आधिकारिक रिपॉज़िटरी में 50 से ज़्यादा डेटासेट)। विलंब और आवाज़ बनाना नहीं मापता।

"MMMU-Pro ऊँचा = हर चीज़ में अच्छा" सही नहीं है।
वीडियो के लिए Video-MMMU, दस्तावेज़ के लिए DocVQA और ऑडियो के लिए AudioBench देखकर चुनें।

आँकड़ा कोई भी हो, यह जानकर पढ़ें कि उसे कंपनी ने ख़ुद मापा या किसी तीसरे पक्ष ने। कंपनियों की घोषणाएँ अक्सर अपने पक्ष के टेस्ट चुनती हैं; तीसरे पक्ष की तालिकाओं में शर्तें एक जैसी होती हैं, पर टेस्ट कम होते हैं। आख़िर में, §7 की तरह अपनी असली सामग्री से जाँच सबसे भरोसेमंद है।

7. उपयोग के अनुसार — चुनने से पहले क्या जाँचें

यहाँ पाँच उपयोग और फ़ैसले से पहले क्या जाँचना है दिया गया है। ये मॉडल के नाम नहीं, जाँच के क़दम हैं, इसलिए नए मॉडल आने पर भी काम आते हैं।

① फ़ोन फ़ोटो के बारे में पूछना (एरर स्क्रीन, खाना, सामान)

लगभग कोई भी मॉडल काफ़ी है। यहाँ मॉडलों में सबसे कम अंतर है, इसलिए मुफ़्त प्लान पर दो आज़माएँ और जिसके जवाब पसंद आएँ, उसे रखें। API से बड़ी मात्रा में भेजते हैं तो §4 के अनुसार भेजने से पहले छोटा करना या रिज़ॉल्यूशन सेटिंग घटाना लागत को बहुत बदल देता है।

② PDF और काग़ज़ात पढ़वाना (रसीद, अनुबंध, स्पेसिफ़िकेशन, शोध-पत्र)

अपने पास का सबसे मुश्किल से पढ़ा जाने वाला पेज आज़माएँ। तीन बातें देखें: तालिकाएँ बिखरती तो नहीं, कॉलम पढ़ने के क्रम में चलते हैं या नहीं, और ख़राब गुणवत्ता वाले पेज पर संख्याएँ गढ़ी तो नहीं जातीं। छवि से टेक्स्ट निकालने के क़दम AI से छवियों से टेक्स्ट कैसे निकालें में हैं।

③ वीडियो का सार बनाना (मीटिंग, लेक्चर, व्याख्या वाले वीडियो)

वीडियो सीधे लेने वाले मॉडल (जैसे Gemini) और ट्रांसक्रिप्ट + फ़्रेम की छवियों में से चुनें। अगर सिर्फ़ बोली गई बात चाहिए, तो अकेला ट्रांसक्रिप्ट सस्ता है। रिकॉर्डिंग का ट्रांसक्रिप्शन ChatGPT में ऑडियो फ़ाइल अपलोड करना में विस्तार से है।

④ आवाज़ में बातचीत (दुभाषिया, इंटरव्यू अभ्यास, वॉइस सहायता)

सामान्य मॉडल के बजाय वॉइस मॉडल (OpenAI के GPT-Live और GPT-Realtime, Google का Gemini Live आदि) चुनें। जाँच आसान है: उसके बोलते समय बीच में टोककर देखें।

⑤ कम बजट में बड़ी मात्रा का काम

सिर्फ़ प्रति टोकन कीमत नहीं, प्रति आइटम टोकन (§4 के सूत्र) × कीमत से तुलना करें। सस्ता मॉडल भी, अगर छवि छोटी नहीं करता, तो प्रति आइटम ज़्यादा ख़र्च कर सकता है। बैच छूट (Claude में 50%) और ख़ुद चलाए जाने वाले ओपन मॉडलों के लाइसेंस की व्यावसायिक शर्तें भी देखें।

8. जोखिम और सीमाएँ

Anthropic के दस्तावेज़ छवि समझ की सीमाएँ साफ़ बताते हैं (Vision दस्तावेज़ का Limitations भाग)। यह Claude के बारे में लिखा गया है, पर दूसरे मॉडल भी अक्सर इन्हीं जगहों पर लड़खड़ाते हैं।

कमज़ोरीदस्तावेज़ क्या कहता हैक्या करें
ख़राब गुणवत्ता की छविकम गुणवत्ता वाली, घूमी हुई या 200 पिक्सेल से छोटी छवियों में ग़लती कर सकता हैदिशा ठीक करें, ज़रूरी हिस्सा काटकर बड़ा भेजें
स्थितिलौटाए गए निर्देशांक और स्थान अनुमानित होते हैंक्लिक या क्रॉप में इस्तेमाल से पहले निर्देशांक जाँचें
गिनतीबहुत सारी छोटी चीज़ें हों तो गिनती ग़लत हो सकती हैहिस्सों में गिनवाएँ और जोड़ ख़ुद करें
AI से बनी छवि है या नहींयह तय नहीं कर सकता और पूछने पर ग़लत भी हो सकता हैनक़ली छवि पहचानने के लिए इस्तेमाल न करें
व्यक्ति की पहचानछवि में लोगों के नाम नहीं बतातापहचान दूसरे उचित तरीक़ों से पक्की करें
मेडिकल छवियाँCT या MRI जैसे जटिल डायग्नोस्टिक स्कैन पढ़ने के लिए नहीं बनाडॉक्टर की राय की जगह इसका इस्तेमाल न करें

फ़ोटो से लगाए "अनुमान" को "तथ्य" न मानें

अगर आप कहें "इस रसीद की रक़म पढ़ो", तब भी अँधेरी, टेढ़ी या छोटी छवि से मॉडल एक विश्वसनीय-सी लगने वाली पर गढ़ी हुई संख्या दे सकता है। MMMU-Pro पर 90% के क़रीब वाले मॉडल भी लगभग दस में से एक बार ग़लत होते हैं। रक़म, तारीख़ और व्यक्तिवाचक नाम हमेशा कोई व्यक्ति मूल छवि से मिलाए — ख़ासकर क़ानून, वित्त और चिकित्सा में।

वीडियो जितना लंबा, बीच का हिस्सा उतना छूटता है

वीडियो टेस्ट में आगे रहने वाले मॉडल भी एक घंटे के वीडियो के बीच से सटीक जानकारी निकालने में मुश्किल महसूस करते हैं (लंबे टेक्स्ट वाली Lost in the Middle जैसी ही समस्या)। अहम दृश्यों के लिए समय से सीमित करें — "सिर्फ़ 30:00–35:00 का हिस्सा ध्यान से देखो" — इससे सटीकता बढ़ती है।

ऑडियो लहजे, तकनीकी शब्दों और एक साथ बोलती आवाज़ों में कमज़ोर है

सामान्य बातचीत में सटीकता ऊँची है, पर भारी लहजे, तकनीकी शब्दावली, कई लोगों के एक साथ बोलने और शोर वाली जगहों में ग़लतियाँ बढ़ती हैं। मीटिंग के मिनट्स जैसी अहम रिकॉर्डिंग के लिए ट्रांसक्रिप्शन के लिए बने मॉडल (OpenAI का GPT-Transcribe, Google का Gemini 3.5 Transcribe आदि, नवंबर 2026 तक) इस्तेमाल करें और व्यक्तिवाचक नाम पहले से दे दें।

सारांश

  • मल्टीमॉडल AI वह AI है जो टेक्स्ट के अलावा इनपुट (छवि, PDF, ऑडियो, वीडियो) लेता है। क्या भेज सकते हैं, यह मॉडल पर निर्भर है।
  • 12 नवंबर 2026 तक के API में Claude और OpenAI के सामान्य मॉडल टेक्स्ट, छवि और PDF लेते हैं, जबकि Gemini 4 और Qwen के Omni मॉडल एक ही मॉडल में ऑडियो और वीडियो भी लेते हैं। OpenAI ऑडियो को अलग वॉइस मॉडलों को भेजता है।
  • छवि के टोकन ऐसे गिने जाते हैं: Claude = 28 पिक्सेल के खंड, OpenAI = 32 पिक्सेल के खंड × 1.2, Gemini = हर रिज़ॉल्यूशन सेटिंग की ऊपरी सीमा। GPT-6 Astra डिफ़ॉल्ट रूप से मूल आकार रखता है, इसलिए detail: "high" या छोटा करने से फ़ोन फ़ोटो लगभग पाँचवें हिस्से पर आ जाती हैं।
  • Gemini में वीडियो प्रति घंटा लगभग 3.6 लाख टोकन है। Claude और OpenAI में फ़्रेम छवियों के रूप में भेजे जाते हैं और ऑडियो अलग से ट्रांसक्राइब होता है।
  • MMMU-Pro पर शीर्ष मॉडल 90% के पास इकट्ठा हैं। वीडियो, दस्तावेज़ और ऑडियो को उनके अपने टेस्ट और अपनी सामग्री से जाँचें।
  • ख़राब छवियाँ, स्थिति, गिनती, लंबे वीडियो का बीच और लहजे वाला ऑडियो ग़लतियों के क्षेत्र हैं। रक़म और तारीख़ कोई व्यक्ति जाँचे।

शुरुआत के लिए अपना कोई स्क्रीनशॉट या PDF उस AI को दें जिसे आप इस्तेमाल करते हैं, कहें कि "तालिका की संख्याएँ ज्यों की त्यों लिखो", और मूल से मिलाएँ। वह कहाँ चूकता है, यह दिखते ही समझ आ जाएगा कि उस मॉडल पर कितना भरोसा किया जा सकता है।

FAQ

Q1. क्या मल्टीमॉडल AI मुफ़्त में आज़मा सकते हैं?

हाँ। ChatGPT, Claude और Gemini के मुफ़्त प्लान में छवि जोड़कर सवाल पूछ सकते हैं। API की बात करें तो Gemini API के कीमत पेज पर Gemini 3.8 Flash के लिए मुफ़्त स्तर है, पर Gemini 4 Carbon और Argon के लिए नहीं (12 नवंबर 2026 को जाँचा गया)। ध्यान दें: Google AI Studio और Gemini API के मुफ़्त स्तर में आपके इनपुट Google उत्पादों को बेहतर बनाने में इस्तेमाल होते हैं और लोग उन्हें पढ़ भी सकते हैं (Gemini API की शर्तें), इसलिए संवेदनशील छवियाँ और ऑडियो न डालें। मुफ़्त प्लान को मिलने वाले मॉडल हर पीढ़ी में बदलते हैं, इसलिए हर सेवा में यह देखना ज़्यादा भरोसेमंद है कि आप क्या भेज सकते हैं (छवि, ऑडियो या वीडियो) और रोज़ कितना इस्तेमाल कर सकते हैं। हमारी मुफ़्त AI टूल गाइड देखें।

Q2. क्या इमेज जनरेशन AI और मल्टीमॉडल AI अलग चीज़ें हैं?

ये अलग-अलग क्षमताओं की बात करते हैं। Midjourney या Stable Diffusion जैसे इमेज "जनरेशन" टूल एक ही दिशा में चलते हैं: टेक्स्ट → छवि। मल्टीमॉडल AI मुख्य रूप से "छवि समझने" की क्षमता को कहते हैं। ChatGPT और Gemini जैसी कुछ सेवाएँ दोनों करती हैं, पर पर्दे के पीछे अक्सर अलग मॉडल समझना और बनाना संभालते हैं, और एक में अच्छा होना दूसरे में अच्छा होने की गारंटी नहीं है। हमारी इमेज जनरेशन AI तुलना भी देखें।

Q3. API से वीडियो कैसे भेजें?

Gemini API वीडियो सीधे लेता है। बड़े या बार-बार इस्तेमाल होने वाले वीडियो के लिए सुझाया गया तरीक़ा है Files API से अपलोड करके उसका संदर्भ भेजना (सशुल्क स्तर पर 20 GB तक, मुफ़्त स्तर पर 2 GB तक); छोटे वीडियो अनुरोध में सीधे जोड़े जा सकते हैं। सार्वजनिक YouTube वीडियो का URL भी दे सकते हैं (प्रीव्यू सुविधा; Google के डेवलपर दस्तावेज़)। Google Cloud के Vertex AI से fileData में Cloud Storage का gs:// URI दें (Google Cloud दस्तावेज़)। 12 नवंबर 2026 तक OpenAI और Claude के API वीडियो सीधे नहीं लेते। दोनों में तरीक़ा है वीडियो से फ़्रेम निकालकर छवियों के रूप में भेजना; OpenAI की आधिकारिक Cookbook में उदाहरण है। API की बुनियादी बातें हमारी AI API शुरुआती गाइड में हैं।

Q4. क्या गोपनीयता ठीक है?

छवियाँ, ऑडियो और वीडियो अक्सर संवेदनशील डेटा रखते हैं। प्रशिक्षण में उपयोग व्यक्तिगत ऐप और API/व्यावसायिक योजनाओं में अलग-अलग है। व्यक्तिगत ऐप में ChatGPT आपकी बातचीत प्रशिक्षण में इस्तेमाल कर सकता है, और सेटिंग में "Improve the model for everyone" बंद करके इसे रोका जा सकता है (OpenAI सहायता केंद्र)। Claude (Free, Pro, Max) आपकी चैट तभी प्रशिक्षण में लेता है जब आप अनुमति दें (Anthropic प्राइवेसी सेंटर)। Gemini ऐप "Keep Activity" चालू रहने तक आपकी चैट को — मानवीय समीक्षा सहित — Google सेवाओं को बेहतर बनाने में इस्तेमाल करते हैं, और इसे बंद करने पर यह रुक जाता है (Gemini ऐप्स प्राइवेसी हब)। इसके उलट, OpenAI का API और ChatGPT Business/Enterprise, Anthropic का API और व्यावसायिक योजनाएँ, और Gemini API का सशुल्क स्तर डिफ़ॉल्ट रूप से प्रशिक्षण में इस्तेमाल नहीं होते (व्यवसायों के लिए Anthropic का विवरण, Gemini API की शर्तें)। अपवाद: Gemini API के मुफ़्त स्तर और Google AI Studio में आपके इनपुट Google उत्पादों को बेहतर बनाने में इस्तेमाल होते हैं। चेहरे, चिकित्सीय छवियाँ या आंतरिक दस्तावेज़ हों तो सशुल्क API या व्यावसायिक योजना चुनें। पूर्ण गोपनीयता के लिए, ओपन-वेट मॉडल को अपने ही हार्डवेयर पर चलाएँ (Qwen के सभी मोडैलिटी वाले मॉडलों में यह Qwen3-Omni है, जिसके वेट्स प्रकाशित हैं; यह Alibaba Cloud के API से मिलने वाले नए Omni मॉडलों से अलग है)।

Q5. क्या आवाज़ में बात करने वाला AI भी मल्टीमॉडल है?

ऑडियो को इनपुट के रूप में लेने के अर्थ में, हाँ — पर इसके दो डिज़ाइन हैं: जोड़-तोड़ वाला, जो बोली को टेक्स्ट में बदलकर भाषा मॉडल को देता है, और नेटिव, जो ऑडियो सीधे लेकर आवाज़ में जवाब देता है। OpenAI का GPT-Live-1 और Google का Gemini 3.8 Live वॉइस बातचीत के मॉडल के रूप में, टेक्स्ट वाले सामान्य मॉडलों से अलग दिए जाते हैं (12 नवंबर 2026 तक)। सुनते हुए बोलना कैसे काम करता है, यह GPT-Live पर हमारा लेख बताता है; रिकॉर्डिंग ट्रांसक्राइब करने के लिए ChatGPT में ऑडियो फ़ाइल अपलोड करना देखें।