什么是多模态AI？——图像、音频、视频输入对照表、token计算方法与选型基准

多模态AI是指不仅接收文字，也能接收图像、PDF、音频和视频作为输入并据此回答的AI。不过，“多模态”这个标签并不能说明你实际能发送什么——这因模型而异，差别很大。2026年11月12日查阅各公司的官方文档后发现：Claude和OpenAI通用模型的API只到文字、图像和PDF，而Google的Gemini 4和Qwen的Omni系列可以直接接收音频和视频。三大公司计算图像token的方法也各不相同，同一张手机照片在不同模型上产生的输入量可能相差十倍以上。

本文先说明多模态AI的工作方式（拼接式与原生式），再给出主要模型可接收输入的对照表、图像、视频和PDF的token计算公式及算例、基准测试的读法、各类用途需要确认什么，以及官方文档自己列出的局限。

1. 什么是多模态AI——能接收文字以外输入的AI

定义是“也能处理文字以外输入（图像、音频、视频等）的AI模型”。能处理到什么程度因模型而异，从只支持文字和图像，到在一个模型里处理音频和视频都有。

以前的AI专为单一模态而建。GPT-3只处理文字，Whisper只把语音转成文字，Stable Diffusion只把文字变成图像。要组合使用，就得搭建一条把一个模型的输出交给另一个模型作为输入的“流水线”，信息会在中途丢失。生成文字那部分的原理，见什么是LLM。

在多模态AI中，一个模型同时看多种输入并作答。例如“看看这张截图里的错误信息（图像），结合我的问题（文字），告诉我原因”，一次API调用就能完成。

2. 拼接式与原生式——两种构建方式

构建方式大致分为两种。过去常见的做法是把独立的模型串起来：一个把语音转成文字，一个思考文字内容，一个把回答朗读出来（OpenAI说明GPT-4o之前的ChatGPT语音对话就是这样的三模型串联）。现在，一个模型直接接收多种输入的设计正在普及。

举个具体例子：“看这段做菜视频，整理出菜谱”。拼接式需要多个阶段——“用语音模型把音频转成文字，再用文字模型做摘要”，外加“从视频中抽帧，另行分析”。能直接接收视频的模型则一次API调用就能输入整段视频，并在模型内部把口头讲解和画面中的动作对应起来。

不过，并非所有公司都转向了单一的原生模型。OpenAI把工作分开：通用模型（如GPT-6 Astra）接收文字和图像，语音对话交给GPT-Live-1、GPT-Realtime等语音模型，转写交给GPT-Transcribe等模型（OpenAI的模型列表，2026年11月12日确认）。也就是按任务选专用模型，而语音模型本身直接接收音频并用语音回答。边听边说的全双工语音对话，详见GPT-Live解读。

3. 主要模型能输入什么——依据官方文档的对照表

下表列出各公司API文档写明“可作为输入接收”的类型（2026年11月12日确认）。像应用里的语音对话那样、在后台经由其他模型或转写的功能，不计入其中。

出处：Anthropic的模型概览（“所有现行模型都支持文字和图像输入、文字输出”）和PDF支持；OpenAI的GPT-6 Astra页面（输入为text、image，输出为text）和文件输入指南；Gemini 4 Carbon模型卡和Gemini API模型列表；阿里云的Qwen-Omni文档；DeepSeek的API更新日志（V4.1 Flash具备“原生多模态视觉理解”）。现行模型一览见模型与知识截止日期一览。

从这张表可以看出三点。

• 三大公司都以“页面图像＋提取出的文字”来读PDF。Claude把每一页转成图像，并把从该页提取的文字一起交给模型。OpenAI在支持视觉的模型上也会同时发送文字和页面图像。所以表格和图表能被读懂——也因此PDF更耗token（§4）。
• 在音频和视频上，各公司分成“另选模型”和“放进一个模型”两派。Gemini 4和Qwen的Omni系列在一个模型里接收。OpenAI把音频交给语音和转写模型，Claude的API既不接收音频也不接收视频。用Claude或OpenAI通用模型处理视频时，需要抽帧后作为图像发送，音频另行转写。
• 输出几乎都是文字。图像由图像生成模型产生（图像生成AI对比），语音回答由语音模型完成——“理解”和“生成”往往由不同的模型负责。

Qwen方面，阿里云文档列出了Qwen3.8-Omni-Flash（输入为文字、图像、音频、视频，输出为文字，上下文100万token）和Qwen3.5-Omni（输出为文字和音频，音频最长3小时、视频最长1小时）。Google的模型列表里，也另设了低延迟语音对话用的Gemini 3.8 Live和转写用的Gemini 3.5 Transcribe。

4. 图像、视频、PDF算多少token——公式与算例

多模态输入和文字一样，换算成token计费。但三家公司的换算方式各不相同。各自文档中的公式如下（2026年11月12日确认）。

算例：同一张图像算多少token

我们用上面的公式计算了两种常见图像。费用只计输入，模型思考和输出另行计费。

单价出处：Anthropic、OpenAI、Gemini API价格（均于2026年11月12日确认，金额为美元）。Claude的全高清数值与Anthropic文档中的表格一致。Gemini的数值是上限，实际会等于或低于它。

由此可见，token数量的差距几乎完全取决于“是否缩小图像”。GPT-6 Astra默认保留原始分辨率，小字更容易读清，但照片越大token越多。如果要大量发送手机照片，把detail设为high或在发送前缩小，输入就能降到约五分之一。反过来，用Gemini读取小字多的资料时，也有调高分辨率的设置。无论哪种公式，发送前裁掉不需要的部分都最有效。

视频和音频：一小时算多少token

• Gemini（直接输入视频）：默认每秒抽取1帧。Google的视频文档写道：“默认分辨率下每秒视频约100个token，高分辨率下约300个”。1小时约36万token，100万token的模型默认可容纳约3小时，高分辨率约1小时（视频理解文档）。Gemini 4等模型还可选用只查看所需片段的“智能体式视频理解”，Google称在长视频上最多可少用88%的token，但也提醒，对5分钟以下的短视频或需要看完大部分视频的笼统问题，反而可能更耗token、更慢。
• Gemini（仅音频）：每秒25个token，1小时录音为9万token。
• Claude、OpenAI（把帧作为图像发送）：1280×720的一帧在Claude上为46×26＝1,196个token，在GPT-6 Astra上为40×23×1.2＝1,104个token。每10秒取1帧、共1小时（360帧）约为40万～43万token，且不含音频。GPT-6 Astra的输入超过27.2万token时，整个请求的输入按2倍、输出按1.5倍计价，所以长视频分段发送更便宜。Claude每个请求最多可发送600张图像，但超过20张时，每张图像的尺寸限制会更严格（长边不超过3,000像素即可在所有平台上满足）。

PDF：随页数增加

Anthropic的文档说明，PDF每页仅文字部分通常就占1,500～3,000个token，另外还要按上面的公式加上页面图像（每个请求最多600页，上下文窗口不足100万token时为100页）。OpenAI同样会加入页面图像，且GPT-5.6及之后PDF的detail默认为high，所以图像部分较大（每个请求的文件合计最多50MB）。Gemini不对PDF中内嵌的原生文字计费，而是把页面按图像计算（最多1,000页或50MB；文档处理文档）。超过100页的资料，只发送需要的章节既便宜又可靠。通用的省token方法见降低AI token费用的方法。

5. 各模态的强弱由什么决定

“哪个模型最好”每一代都会变。长期有用的是了解各模态的强弱在技术上由什么决定。掌握下面四个维度，新模型出来时也能自己判断。

从这些维度看，视频上的差距随时长拉开。Video-MME把11秒到1小时的视频分为短、中、长三档打分，其官方排行榜上的许多模型在长视频档会掉分。如果只处理短视频，长视频的排名与你无关。在文档解析上，像Cursor那样看着界面去操作的智能体，越来越看重能否返回位置，而不只是精度。

6. 怎么读基准测试——MMMU-Pro已拉不开头部差距

带图像的多学科测试MMMU在2023年底发布时，GPT-4V的正确率为56%。在难度更高的后继版本MMMU-Pro（2024年9月发布）上，如今头部模型已接近90%。独立第三方Artificial Analysis的测量结果（各模型的推理设置不同）：Gemini 4 Carbon（Medium）89%、Claude Opus 5.5（Max, Default Fallback）88%、GPT-6 Astra（Max）87%（MMMU-Pro评测页面，2026年11月12日确认）。头部之间只差1～2个百分点。

各公司的发布也在转向仍能拉开差距的测试。Google在Gemini 4 Carbon模型卡（2026年11月10日发布）的“多模态理解”一栏中没有列出MMMU-Pro，而是列了Chartography和Blueprint-Bench 2两项其他测试（Chartography：Gemini 4 Carbon 72.5%、GPT-6 Astra 71.0%、Claude Opus 5.5 66.3%，为Google的测量）。选模型时，按用途看下面四项。

无论什么数值，都要分清是厂商自测还是第三方测量。厂商发布往往挑选对自己有利的测试；第三方表格条件统一，但收录的测试有限。最终最可靠的，还是像§7那样用自己的实际材料测试。

7. 按用途——选择前要确认什么

下面把“决定前要确认什么”分成五种用途。写成确认步骤而非模型名称，新模型出来后也同样适用。

8. 陷阱与局限

Anthropic的文档明确列出了图像理解的局限（Vision文档的Limitations）。虽然写的是Claude，其他模型也容易在同样的地方出错。

不要把照片里的“推测”当成“事实”

即使你要求“读出这张收据上的金额”，图像偏暗、变形或太小时，模型也可能编出一个看似合理的数字。即便是MMMU-Pro接近90%的模型，也有约一成会答错。金额、日期、专有名词务必由人对照原图核对，法务、财务、医疗领域尤其如此。

视频越长，越容易漏掉中段的信息

即使是视频测试中领先的模型，也很难准确提取1小时视频中段的信息（与长文本中间部分被忽略的Lost in the Middle是同一个问题）。关键场景请按时间限定，例如“只详细分析30:00～35:00这一段”，这样更准确。

音频不擅长方言、专业术语和重叠的人声

标准对话的识别精度很高，但遇到方言、专业术语、多人同时说话、嘈杂环境时，误识别会增加。会议记录这类重要内容，建议使用专门的转写模型（OpenAI的GPT-Transcribe、Google的Gemini 3.5 Transcribe等，2026年11月时点），并事先提供专有名词。

总结

• 多模态AI是也能接收文字以外输入（图像、PDF、音频、视频）的AI。能输入什么因模型而异。
• 截至2026年11月12日的API中，Claude和OpenAI通用模型接收文字、图像和PDF，Gemini 4和Qwen的Omni系列在一个模型里还能接收音频和视频。OpenAI把音频交给专用语音模型。
• 图像token的计算方式是：Claude＝28像素区块，OpenAI＝32像素区块×1.2，Gemini＝各分辨率设置的上限。GPT-6 Astra默认保持原尺寸，手机照片设为detail: "high"或缩小后约为五分之一。
• Gemini中的视频1小时约36万token。Claude和OpenAI需要把帧作为图像发送，音频另行转写。
• MMMU-Pro头部接近90%，拉不开差距。视频、文档、音频要用各自的测试和自己的材料来确认。
• 画质差的图像、位置、计数、长视频的中段、方言语音容易出错。金额和日期要由人核对。

想先试试的话，把手头的一张截图或一份PDF交给你在用的AI，请它“把表格里的数字原样抄出来”，再和原件对照。看清它在哪里出错，就知道这个模型可以放心交给它多少工作。

常见问题