マルチモーダルAIとは——画像・音声・動画の対応表とトークンの数え方、選び方の基準

マルチモーダルAIは、文章だけでなく画像・PDF・音声・動画も入力として受け取って答える AI のこと。ただし「マルチモーダル対応」と書かれていても、何を入れられるかはモデルごとに大きく違う。2026年11月12日に各社の公式文書で確かめると、Claude と OpenAI の汎用モデルの API は文字・画像・PDF までで、音声と動画をそのまま受け取るのは Google の Gemini 4 や Qwen の Omni 系だった。画像1枚が何トークンになるかの数え方も3社で違い、同じスマホの写真でも入力の量が10倍以上変わることがある。

この記事では、マルチモーダル AI の仕組み（接ぎ木型とネイティブ型）を押さえたうえで、主要モデルの入力の対応表、画像・動画・PDF のトークンの計算式と計算例、ベンチマークの読み方、用途別に何を確かめるか、公式文書が挙げる限界までをまとめる。

1. マルチモーダルAIとは——テキスト以外の入力も扱うAI

定義は「テキスト以外の入力（画像・音声・動画など）も扱える AI モデル」。どこまで扱えるかはモデルによって違い、テキスト＋画像までのものから、音声・動画まで1つのモデルで扱うものまである。

以前の AI は 1つのモダリティ専用だった。GPT-3 はテキストだけ、Whisper は音声→テキストの変換だけ、Stable Diffusion はテキスト→画像だけ。これらを組み合わせるには、あるモデルの出力を別のモデルの入力にする「パイプライン」を組む必要があり、途中で情報が落ちる。文章を生み出す仕組みそのものはLLM とはで説明している。

マルチモーダル AI では、1つのモデルが複数の入力を同時に見て答える。たとえば「このスクリーンショットのエラーメッセージ（画像）と、私の質問（テキスト）を同時に見て、原因を教えて」が、1回の API 呼び出しで済む。

2. 接ぎ木型とネイティブ型——作り方の違い

作り方は大きく2つの型に分かれる。以前は、音声を文字に起こすモデル・文章を考えるモデル・読み上げるモデルを別々に用意して繋ぐのが普通だった（OpenAI は GPT-4o 以前の ChatGPT の音声会話をこの3段構成だったと説明している）。いまは1つのモデルが複数の入力をそのまま受け取る設計が広がっている。

具体例で比べると、「料理の動画を見て、レシピをまとめて」というタスクは、接ぎ木型なら「音声を文字起こしモデルでテキストにする→文章のモデルで要約する」「映像からコマを抜き出して別に解析する」と多段になる。動画を直接受け付けるモデルなら、1回の API 呼び出しで動画全体を入力でき、音声の説明と映像の動作の対応もモデルの中で取れる。

ただしすべての会社がネイティブ型の1モデルに寄せたわけではない。OpenAI は汎用モデル（GPT-6 Astra など）に文字と画像を、音声の会話を GPT-Live-1 や GPT-Realtime などの音声用モデルに、文字起こしを GPT-Transcribe などに分けている（OpenAI のモデル一覧、2026年11月12日確認）。用途ごとに専用のモデルを選ぶ構成で、音声用のモデルそのものは音声を直接受け取って音声で返す。聞きながら話す全二重の音声会話はGPT-Live の解説で詳しく扱っている。

3. 主要モデルは何を入力できるか——公式文書の対応表

次の表は、各社の API の文書が「入力として受け付ける」と書いている種類を並べたもの（2026年11月12日確認）。アプリの音声会話のように、裏で別のモデルや書き起こしを通す機能は含めない。

出典：Anthropic のモデル一覧（「現行の全モデルがテキストと画像の入力・テキストの出力に対応」）とPDF 対応、OpenAI の GPT-6 Astra のページ（入力は text・image、出力は text）とファイル入力のガイド、Gemini 4 Carbon のモデルカードとGemini API のモデル一覧、Alibaba Cloud の Qwen-Omni の文書、DeepSeek の API 更新履歴（V4.1 Flash は「ネイティブのマルチモーダルの視覚理解」）。現行のモデルの一覧はモデルとカットオフの一覧。

この表から分かることは3つある。

• PDF は3社とも「ページの画像＋抜き出した文字」で読む。Claude は各ページを画像にし、ページの文字を抜き出して画像と一緒にモデルへ渡す。OpenAI も、画像を扱えるモデルでは文字とページの画像の両方を渡す。表やグラフが読めるのはこのためで、その分トークンも増える（§4）。
• 音声と動画は「別のモデルを選ぶ」か「1つのモデルに入れる」かで分かれる。Gemini 4 と Qwen の Omni 系は1つのモデルで受け取る。OpenAI は音声を音声用・文字起こし用のモデルに分け、Claude の API は音声も動画も受け付けない。Claude や OpenAI の汎用モデルで動画を扱うなら、コマを切り出して画像として送り、音声は別に文字起こしすることになる。
• 出力はほぼ文字。画像を作るのは画像生成用のモデル（画像生成 AI の比較）、声で返すのは音声用のモデルで、「理解」と「生成」は別のモデルが受け持つことが多い。

Qwen の Omni 系は、Alibaba Cloud の文書で Qwen3.8-Omni-Flash（入力は文字・画像・音声・動画、出力は文字、コンテキスト100万トークン）と Qwen3.5-Omni（出力は文字と音声。音声は3時間・動画は1時間まで）が並ぶ。Google も同じ一覧に、低遅延の音声対話用の Gemini 3.8 Live と文字起こし用の Gemini 3.5 Transcribe を別に置いている。

4. 画像・動画・PDF は何トークンになるか——計算式と計算例

マルチモーダルの入力は、文字と同じくトークンに換算して課金される。ただし換算の式は3社で違う。各社の文書に書かれた式は次のとおり（2026年11月12日確認）。

計算例：同じ画像は何トークンになるか

上の式で、よくある2つの画像を計算した。料金は入力だけで、モデルの考える分と出力は別にかかる。

単価の出典：Anthropic、OpenAI、Gemini API の料金（どれも2026年11月12日確認）。Claude のフル HD の値は Anthropic の文書の表と同じ。Gemini は「上限」なので、実際はこれ以下になる。

ここから言えるのは、トークンの数の差は「縮小するかどうか」でほぼ決まるということ。GPT-6 Astra は既定で元の解像度を保つので、細かい字は読みやすい代わりに、大きな写真ほどトークンが増える。スマホの写真を大量に送るなら detail を high にするか、送る前に縮小するだけで入力は5分の1近くになる。逆に、小さな文字の多い資料を Gemini で読むなら解像度を上げる設定がある。どの式でも、送る前に要らない部分を切り抜くのがいちばん効く。

動画と音声：1時間で何トークンか

• Gemini（動画をそのまま）：既定では1秒に1コマを取り出す。Google の動画の文書は「既定の解像度で1秒あたり約100トークン、高解像度で約300トークン」としている。1時間なら約36万トークンで、100万トークンのモデルなら既定で約3時間、高解像度で約1時間まで入る（動画の理解の文書）。Gemini 4 などでは、長い動画で必要な所だけを見に行く「エージェント型の動画理解」を選ぶこともでき、Google は長い動画で最大88%少ないトークンになるとしている。ただし5分未満の短い動画や、動画のほとんどを見る必要がある漠然とした質問では、かえってトークンと待ち時間が増えることがあるとも書いている。
• Gemini（音声だけ）：1秒 25 トークンなので、1時間の録音は9万トークン。
• Claude・OpenAI（コマを画像で送る）：1280×720 のコマは Claude で 46×26＝1,196 トークン、GPT-6 Astra で 40×23×1.2＝1,104 トークン。10秒に1コマで1時間（360コマ）なら約40万〜43万トークンになり、音声は含まれない。GPT-6 Astra は入力が27.2万トークンを超えると、そのリクエスト全体が入力2倍・出力1.5倍の単価になるので、長い動画は分けて送るほうが安い。Claude は1リクエストに画像を600枚まで送れるが、20枚を超えると1枚ごとの大きさの制限が厳しくなる（長辺 3,000 ピクセル以下なら全環境で収まる）。

PDF：ページの数で増える

Claude の文書は、PDF の1ページが文字の分だけで1,500〜3,000 トークンになり、さらにページの画像の分が上の式で加わるとしている（1リクエスト600ページまで、コンテキストが100万トークン未満のときは100ページまで）。OpenAI もページの画像を加えるので、PDF の detail の既定（GPT-5.6 以降は high）では画像の分が大きくなる（1リクエストのファイルは合計 50MB まで）。Gemini は、PDF に埋め込まれた文字のトークンには課金せず、ページを画像として数える（1,000ページ・50MB まで。文書処理の文書）。100ページを超える資料は、必要な章だけに分けて送るのが安くて確実だ。トークン全般の節約はトークンの費用を抑える方法にまとめている。

5. モダリティ別の強さは何で決まるか

「どのモデルが一番か」は世代ごとに入れ替わる。覚えておくと長く使えるのは、各モダリティの強さが技術的に何で決まるかだ。新しいモデルが出ても、この4つの軸で見れば自分で判断できる。

この軸で見ると、動画の差は「長さ」で開く。Video-MME は11秒〜1時間の動画を短・中・長の3区分で採点するが、公式ボードでは、多くのモデルが長尺の区分で点を下げている。短い動画しか扱わないなら、長尺での順位は気にしなくてよい。文書の解析では、Cursor のように画面を見て操作するエージェントほど、精度より位置を返せるかが効いてくる。

6. ベンチマークの読み方——MMMU-Pro は9割近くで差がつかない

画像を含む多分野の問題を解く MMMU が2023年末に公開されたとき、GPT-4V の正答率は56%だった。それを難しくした MMMU-Pro（2024年9月公開）でも、いまは上位が9割近くに並ぶ。第三者の Artificial Analysis の測定では（推論の設定はモデルごとに違う）、Gemini 4 Carbon（Medium）89%・Claude Opus 5.5（Max, Default Fallback）88%・GPT-6 Astra（Max）87%（MMMU-Pro の評価ページ、2026年11月12日確認）。上位の差は1〜2ポイントしかない。

各社の発表も、差のつく試験へ移っている。Google は Gemini 4 Carbon のモデルカード（2026年11月10日公開）の「マルチモーダルの理解」の欄に MMMU-Pro を載せず、Chartography と Blueprint-Bench 2 という別の試験を並べた（Chartography は Gemini 4 Carbon 72.5%・GPT-6 Astra 71.0%・Claude Opus 5.5 66.3%。Google の測定）。モデルを選ぶときは、次の4つを用途に合わせて見るとよい。

どの値も、ベンダー自身の測定か第三者の測定かを分けて読む。各社の発表は自社に有利な試験を選びやすく、第三者の表は条件がそろう代わりに、載る試験が限られる。最後は§7のように自分の実物で試すのがいちばん確かだ。

7. 用途別——何を確かめてから選ぶか

用途ごとに「何を確かめてから決めるか」を5つに分けた。モデルの名前ではなく確かめる手順にしたので、新しいモデルが出ても同じように使える。

8. 落とし穴と限界

Anthropic の文書は、画像の理解の限界をはっきり挙げている（Vision の文書の Limitations）。Claude について書かれたものだが、ほかのモデルでも同じ所でつまずきやすい。

写真からの「推測」を「事実」と読まない

「このレシートの金額を読み取って」と頼んでも、画像が暗い・歪んでいる・小さいと、もっともらしい数字を作ることがある。MMMU-Pro で9割近いモデルでも、1割前後は間違える。金額・日付・固有名詞は必ず人が元の画像と突き合わせる。法務・財務・医療では特に。

長い動画ほど途中の情報を取りこぼす

動画の試験で上位のモデルでも、1時間の動画の中盤の情報を正確に取り出すのは難しい（長い文章の真ん中を見落とすLost in the Middleと同じ問題）。大事な場面は「30:00〜35:00 の部分だけを詳しく見て」と時刻で絞って頼むほうが正確になる。

音声は方言・専門用語・重なった声に弱い

標準的な会話なら精度は高いが、方言、専門用語、複数人が同時に話す場面、騒がしい場所では聞き間違いが増える。会議の記録のように大事なものは、文字起こし専用のモデル（OpenAI の GPT-Transcribe、Google の Gemini 3.5 Transcribe など。2026年11月時点）を使い、固有名詞を先に渡しておくと減らせる。

まとめ

• マルチモーダル AI は文字以外（画像・PDF・音声・動画）も入力として受け取る AI。何を入れられるかはモデルごとに違う。
• 2026年11月12日時点の API では、Claude と OpenAI の汎用モデルは文字・画像・PDF まで、Gemini 4 と Qwen の Omni 系は音声・動画まで1つのモデルで受け取る。OpenAI は音声を音声用のモデルに分けている。
• 画像のトークンはClaude＝28ピクセル区画、OpenAI＝32ピクセル区画×1.2、Gemini＝解像度の設定ごとの上限で数える。GPT-6 Astra は既定で元の大きさのままなので、スマホの写真は detail: "high" か縮小で約5分の1になる。
• 動画は Gemini で1時間約36万トークン。Claude・OpenAI ではコマを画像で送り、音声は別に文字起こしする。
• MMMU-Pro は上位が9割近くで並び差がつかない。動画・文書・音声はそれぞれの試験と、自分の実物で確かめる。
• 画質の悪い画像・位置・数・長い動画の中盤・方言の音声は間違えやすい。金額や日付は人が突き合わせる。

まず試すなら、手元のスクリーンショットか PDF を1つ、使っている AI に渡して「表の数字をそのまま書き出して」と頼み、元と見比べてみるとよい。どこで間違えるかが分かれば、そのモデルに任せてよい範囲が見えてくる。

FAQ