O que é IA multimodal? O que cada modelo aceita, quantos tokens custa e como escolher

A IA multimodal é a IA que recebe como entrada não só texto, mas também imagens, PDFs, áudio e vídeo, e responde sobre eles. Mas o rótulo "multimodal" diz pouco sobre o que você realmente pode enviar: isso muda muito de um modelo para outro. Conferindo a documentação oficial de cada empresa em 12 de novembro de 2026, as APIs do Claude e dos modelos gerais da OpenAI vão até texto, imagens e PDF, enquanto o Gemini 4, do Google, e os modelos Omni do Qwen aceitam áudio e vídeo diretamente. Além disso, as três grandes empresas contam os tokens de uma imagem de formas diferentes, e a mesma foto do celular pode gerar mais de dez vezes mais entrada em um modelo do que em outro.

Neste artigo, veremos como a IA multimodal funciona (montada vs. nativa), uma tabela do que os principais modelos aceitam, as fórmulas de tokens para imagens, vídeo e PDF com exemplos calculados, como ler os benchmarks, o que verificar em cada caso de uso e os limites que a própria documentação oficial aponta.

1. O que é IA multimodal: IA que recebe mais que texto

A definição: "um modelo de IA que também consegue lidar com entradas que não são texto (imagens, áudio, vídeo etc.)". Até onde isso vai depende do modelo: de só texto e imagens até áudio e vídeo em um único modelo.

A IA de antes era feita para uma só modalidade. O GPT-3 lidava só com texto, o Whisper só convertia fala em texto e o Stable Diffusion só convertia texto em imagem. Para combiná-los, era preciso montar um "pipeline" que passasse a saída de um modelo para a entrada de outro, e informação se perdia pelo caminho. Como funciona a parte que gera texto está em O que é um LLM.

Na IA multimodal, um único modelo olha várias entradas ao mesmo tempo e responde. Por exemplo, "veja a mensagem de erro desta captura de tela (imagem) junto com a minha pergunta (texto) e me diga a causa" se resolve com uma única chamada de API.

2. Montada vs. nativa: duas formas de construir

Há dois desenhos básicos. Antes, o normal era encadear modelos separados: um transcreve a fala, outro pensa sobre o texto e outro lê a resposta em voz alta (a OpenAI descreve assim o modo de voz do ChatGPT antes do GPT-4o, como uma cadeia de três modelos). Hoje se espalham os desenhos em que um único modelo recebe diretamente vários tipos de entrada.

Um exemplo concreto: a tarefa "assista a este vídeo de culinária e escreva a receita". Uma configuração montada precisa de várias etapas: "transcrever o áudio com um modelo de fala e resumir com um modelo de texto", mais "extrair quadros do vídeo e analisá-los à parte". Um modelo que aceita vídeo diretamente recebe o vídeo inteiro em uma só chamada de API e relaciona, dentro do próprio modelo, a explicação falada com o que aparece na tela.

Mas nem todas as empresas migraram para um único modelo nativo. A OpenAI divide o trabalho: seus modelos gerais (como o GPT-6 Astra) recebem texto e imagens, a conversa por voz fica com modelos de voz como o GPT-Live-1 e o GPT-Realtime, e a transcrição com modelos como o GPT-Transcribe (lista de modelos da OpenAI, conferida em 12 de novembro de 2026). Você escolhe um modelo dedicado para cada tarefa, e os modelos de voz recebem o áudio diretamente e respondem em áudio. A conversa por voz full duplex — ouvir enquanto fala — é tratada na nossa explicação do GPT-Live.

3. O que os principais modelos aceitam: tabela pela documentação oficial

A tabela reúne os tipos de entrada que a documentação da API de cada empresa diz aceitar (conferido em 12 de novembro de 2026). Funções que passam por outro modelo ou por uma transcrição nos bastidores, como o modo de voz de um app, não estão incluídas.

Fontes: visão geral dos modelos da Anthropic ("todos os modelos atuais aceitam entrada de texto e imagem e saída de texto") e suporte a PDF; página do GPT-6 Astra da OpenAI (entrada: text, image; saída: text) e guia de entrada de arquivos; ficha do modelo Gemini 4 Carbon e lista de modelos da API do Gemini; documentação do Qwen-Omni da Alibaba Cloud; histórico de mudanças da API da DeepSeek (o V4.1 Flash tem "compreensão visual multimodal nativa"). Para a linha atual de modelos, veja nossa lista de modelos e datas de corte.

Três pontos se destacam.

• As três grandes empresas leem PDFs como "imagens de página mais texto extraído". O Claude transforma cada página em imagem e passa ao modelo, junto com ela, o texto extraído da página. A OpenAI também envia texto e imagens de página nos modelos com visão. É por isso que tabelas e gráficos podem ser lidos — e por isso os PDFs usam mais tokens (§4).
• Áudio e vídeo dividem as empresas entre "escolher outro modelo" e "colocar tudo em um só". O Gemini 4 e os modelos Omni do Qwen recebem tudo em um único modelo. A OpenAI manda o áudio para modelos de voz e de transcrição, e a API do Claude não aceita nem áudio nem vídeo. Para trabalhar com vídeo no Claude ou nos modelos gerais da OpenAI, é preciso extrair quadros e enviá-los como imagens, e transcrever o áudio à parte.
• A saída é quase sempre texto. As imagens vêm de modelos de geração de imagens (nossa comparação de geradores de imagens) e as respostas faladas de modelos de voz — "entender" e "gerar" costumam ficar a cargo de modelos diferentes.

No caso do Qwen, a documentação da Alibaba Cloud lista o Qwen3.8-Omni-Flash (entrada: texto, imagens, áudio e vídeo; saída: texto; contexto de 1 milhão de tokens) e o Qwen3.5-Omni (saída: texto e áudio; até 3 horas de áudio e 1 hora de vídeo). A lista de modelos do Google também traz modelos separados para diálogo por voz de baixa latência (Gemini 3.8 Live) e para transcrição (Gemini 3.5 Transcribe).

4. Quantos tokens são uma imagem, um vídeo ou um PDF: fórmulas e exemplos

A entrada multimodal é convertida em tokens e cobrada como o texto — mas cada uma das três empresas faz a conversão de um jeito. Estas são as fórmulas da documentação de cada uma (conferidas em 12 de novembro de 2026).

Exemplo calculado: quantos tokens dá a mesma imagem

Aplicamos as fórmulas acima a duas imagens comuns. Os custos cobrem só a entrada; o raciocínio do modelo e a saída são cobrados à parte.

Fontes dos preços: Anthropic, OpenAI, preços da API do Gemini (todas conferidas em 12 de novembro de 2026). O número do Claude para Full HD é o mesmo da tabela da documentação da Anthropic. Os números do Gemini são tetos, então a contagem real fica igual ou abaixo.

A conclusão: a diferença de tokens vem quase toda de a imagem ser reduzida ou não. O GPT-6 Astra mantém a resolução original por padrão, o que ajuda com letras miúdas, mas encarece fotos grandes. Se você envia muitas fotos do celular, colocar detail em high ou reduzi-las antes do envio deixa a entrada em cerca de um quinto. Por outro lado, o Gemini tem ajustes para aumentar a resolução quando é preciso ler texto pequeno. Qualquer que seja a fórmula, recortar o que não interessa antes de enviar é o que mais ajuda.

Vídeo e áudio: quantos tokens dá uma hora

• Gemini (vídeo direto): por padrão, pega um quadro por segundo. A documentação de vídeo do Google fala em "cerca de 100 tokens por segundo de vídeo na resolução padrão e cerca de 300 em alta resolução". Uma hora dá cerca de 360 mil tokens, então um modelo de 1 milhão de tokens comporta cerca de 3 horas no padrão e 1 hora em alta resolução (documentação de compreensão de vídeo). O Gemini 4 e outros modelos também oferecem, de forma opcional, uma "compreensão de vídeo agêntica" que olha só as partes necessárias; o Google diz que ela usa até 88% menos tokens em vídeos longos, mas avisa que em clipes curtos (menos de 5 minutos) ou perguntas amplas que exigem ver quase todo o vídeo ela pode gastar mais tokens e demorar mais.
• Gemini (só áudio): a 25 tokens por segundo, uma hora de áudio dá 90 mil tokens.
• Claude e OpenAI (quadros como imagens): um quadro de 1280×720 dá 46×26 = 1.196 tokens no Claude e 40×23×1,2 = 1.104 tokens no GPT-6 Astra. Um quadro a cada 10 segundos durante uma hora (360 quadros) soma cerca de 400 mil a 430 mil tokens, sem o áudio. No GPT-6 Astra, uma requisição com mais de 272 mil tokens de entrada é cobrada com o dobro na entrada e 1,5 vez na saída para a requisição inteira, então vídeos longos saem mais baratos enviados em partes. O Claude aceita até 600 imagens por requisição, mas acima de 20 vale um limite mais rígido de tamanho por imagem (com o lado maior em até 3.000 pixels, cabe em todas as plataformas).

PDF: o custo cresce com o número de páginas

A documentação da Anthropic diz que cada página de PDF costuma usar de 1.500 a 3.000 tokens só de texto, mais a imagem da página, calculada pela fórmula acima (até 600 páginas por requisição, ou 100 quando a janela de contexto é menor que 1 milhão de tokens). A OpenAI também acrescenta imagens de página e, como o detail de PDFs é high por padrão no GPT-5.6 e posteriores, a parte de imagem pesa (os arquivos somam no máximo 50 MB por requisição). O Gemini não cobra pelo texto nativo embutido no PDF e conta as páginas como imagens (até 1.000 páginas ou 50 MB; documentação de processamento de documentos). Para documentos com mais de 100 páginas, enviar só as seções necessárias é mais barato e mais confiável. Dicas gerais de economia estão em como reduzir o custo de tokens da IA.

5. O que determina a força em cada modalidade

"Qual modelo é o melhor" muda a cada geração. O que continua útil é saber o que determina tecnicamente a força em cada modalidade. Com estes quatro eixos, você consegue avaliar sozinho os modelos novos.

Por essa lente, as diferenças em vídeo aumentam com a duração. O Video-MME pontua clipes de 11 segundos a 1 hora em três faixas (curta, média e longa), e muitos modelos do seu ranking oficial caem na faixa longa. Se você só lida com clipes curtos, os rankings de vídeo longo não importam para você. Na análise de documentos, quanto mais um agente trabalha olhando uma tela e agindo nela — como faz o Cursor —, mais importa devolver posições em vez da precisão bruta.

6. Como ler os benchmarks: o MMMU-Pro já não separa os melhores

Quando o MMMU, um teste multidisciplinar com imagens, foi lançado no fim de 2023, o GPT-4V fez 56%. No sucessor mais difícil, o MMMU-Pro (lançado em setembro de 2024), os melhores modelos já ficam perto de 90%. Pelas medições da empresa independente Artificial Analysis (o ajuste de raciocínio varia conforme o modelo): Gemini 4 Carbon (Medium) 89%, Claude Opus 5.5 (Max, Default Fallback) 88%, GPT-6 Astra (Max) 87% (página de avaliação do MMMU-Pro, conferida em 12 de novembro de 2026). Os primeiros colocados estão a só 1 ou 2 pontos de distância.

As empresas estão migrando para testes que ainda separam os modelos. Na seção de "compreensão multimodal" da ficha do Gemini 4 Carbon (publicada em 10 de novembro de 2026), o Google não traz o MMMU-Pro e mostra no lugar dois outros testes, o Chartography e o Blueprint-Bench 2 (Chartography: Gemini 4 Carbon 72,5%, GPT-6 Astra 71,0%, Claude Opus 5.5 66,3% — medições do Google). Para escolher um modelo, olhe estes quatro conforme o seu caso de uso.

Qualquer que seja o número, leia sabendo se foi medido pela própria empresa ou por terceiros. Anúncios das empresas tendem a escolher testes favoráveis; tabelas de terceiros usam condições uniformes, mas cobrem menos testes. No fim, testar com o seu próprio material, como na §7, é a verificação mais confiável.

7. Por caso de uso: o que verificar antes de escolher

Aqui estão cinco casos de uso e o que verificar antes de decidir. Eles estão escritos como passos de verificação, não como nomes de modelos, então continuam valendo quando saírem modelos novos.

8. Armadilhas e limites

A documentação da Anthropic lista com clareza os limites da compreensão de imagens (seção Limitations da documentação de Vision). Ela foi escrita sobre o Claude, mas outros modelos costumam tropeçar nos mesmos pontos.

Não tome como fato o que ele deduz de uma foto

Mesmo que você peça "leia o valor deste recibo", uma imagem escura, torta ou pequena pode levar o modelo a dar um número plausível, mas inventado. Mesmo modelos perto de 90% no MMMU-Pro erram mais ou menos uma em cada dez. Valores, datas e nomes próprios devem sempre ser conferidos por uma pessoa com a imagem original — principalmente em áreas jurídica, financeira e médica.

Quanto mais longo o vídeo, mais ele deixa escapar do meio

Mesmo os melhores modelos em testes de vídeo têm dificuldade para tirar detalhes exatos do meio de um vídeo de uma hora (o mesmo problema do Lost in the Middle em textos longos). Para as cenas-chave, restrinja pelo tempo — "analise com cuidado só de 30:00 a 35:00" — para ganhar precisão.

O áudio sofre com sotaques, jargão e vozes sobrepostas

Em conversas padrão a precisão é alta, mas os erros aumentam com sotaques fortes, jargão técnico, várias pessoas falando ao mesmo tempo e lugares barulhentos. Para gravações importantes, como atas de reunião, use um modelo dedicado à transcrição (GPT-Transcribe da OpenAI, Gemini 3.5 Transcribe do Google e similares, em novembro de 2026) e passe os nomes próprios antes.

Resumo

• A IA multimodal é a IA que recebe entradas que não são texto (imagens, PDFs, áudio, vídeo). O que dá para enviar muda conforme o modelo.
• Nas APIs em 12 de novembro de 2026, o Claude e os modelos gerais da OpenAI aceitam texto, imagens e PDF, enquanto o Gemini 4 e os modelos Omni do Qwen recebem também áudio e vídeo em um único modelo. A OpenAI manda o áudio para modelos de voz dedicados.
• Os tokens de imagem são contados assim: Claude = blocos de 28 pixels; OpenAI = blocos de 32 pixels × 1,2; Gemini = um teto por ajuste de resolução. O GPT-6 Astra mantém o tamanho original por padrão, então fotos do celular caem para cerca de um quinto com detail: "high" ou com redução.
• Vídeo no Gemini dá cerca de 360 mil tokens por hora. No Claude e na OpenAI, os quadros vão como imagens e o áudio é transcrito à parte.
• No MMMU-Pro, os melhores modelos se amontoam perto de 90%. Verifique vídeo, documentos e áudio com os testes próprios de cada um e com o seu material.
• Imagens ruins, posições, contagens, o meio de vídeos longos e áudio com sotaque são propensos a erro. Deixe uma pessoa conferir valores e datas.

Para começar, entregue à IA que você usa uma captura de tela ou um PDF seu, peça que ela "copie exatamente os números da tabela" e compare com o original. Ao ver onde ela erra, você descobre até onde pode confiar naquele modelo.

FAQ