¿Qué es la IA multimodal? Qué acepta cada modelo, cuántos tokens cuesta y cómo elegir

La IA multimodal es la IA que recibe como entrada no solo texto, sino también imágenes, PDF, audio y vídeo, y responde sobre ellos. Pero la etiqueta «multimodal» dice poco de lo que de verdad puedes enviar: cambia mucho según el modelo. Al revisar la documentación oficial de cada empresa el 12 de noviembre de 2026, las API de Claude y de los modelos generales de OpenAI llegan hasta texto, imágenes y PDF, mientras que Gemini 4 de Google y los modelos Omni de Qwen aceptan audio y vídeo directamente. Además, las tres grandes empresas cuentan los tokens de una imagen de forma distinta, así que la misma foto del móvil puede generar más de diez veces más entrada en un modelo que en otro.

En este artículo vemos cómo funciona la IA multimodal (ensamblada frente a nativa), una tabla de lo que aceptan los principales modelos, las fórmulas de tokens para imágenes, vídeo y PDF con ejemplos calculados, cómo leer los benchmarks, qué comprobar en cada caso de uso y los límites que la propia documentación oficial reconoce.

1. Qué es la IA multimodal: IA que recibe más que texto

La definición: «un modelo de IA que también puede manejar entradas que no son texto (imágenes, audio, vídeo, etc.)». Hasta dónde llega depende del modelo: desde solo texto e imágenes hasta audio y vídeo en un único modelo.

La IA anterior se construía para una sola modalidad. GPT-3 solo manejaba texto, Whisper solo convertía voz en texto y Stable Diffusion solo convertía texto en imágenes. Para combinarlos había que montar una «tubería» que pasara la salida de un modelo a la entrada de otro, y por el camino se perdía información. Cómo funciona la parte que genera texto se explica en Qué es un LLM.

En la IA multimodal, un solo modelo mira varias entradas a la vez y responde. Por ejemplo, «mira el mensaje de error de esta captura (imagen) junto con mi pregunta (texto) y dime la causa» se resuelve con una sola llamada a la API.

2. Ensamblada frente a nativa: dos formas de construirla

Hay dos diseños básicos. Antes lo normal era encadenar modelos separados: uno transcribe la voz, otro piensa sobre el texto y otro lee la respuesta en voz alta (OpenAI describe así el modo de voz de ChatGPT anterior a GPT-4o, como una cadena de tres modelos). Hoy se extienden los diseños en los que un solo modelo recibe directamente varios tipos de entrada.

Un ejemplo concreto: la tarea «mira este vídeo de cocina y escribe la receta». Una configuración ensamblada necesita varias etapas: «transcribir el audio con un modelo de voz y resumir con un modelo de texto», más «extraer fotogramas del vídeo y analizarlos aparte». Un modelo que acepta vídeo directamente puede recibir el vídeo entero en una sola llamada a la API y relacionar dentro del modelo la explicación hablada con lo que se ve en pantalla.

Pero no todas las empresas se han pasado a un único modelo nativo. OpenAI reparte el trabajo: sus modelos generales (como GPT-6 Astra) reciben texto e imágenes, la conversación por voz va a modelos de voz como GPT-Live-1 y GPT-Realtime, y la transcripción a modelos como GPT-Transcribe (lista de modelos de OpenAI, comprobada el 12 de noviembre de 2026). Eliges un modelo dedicado para cada tarea, y los modelos de voz reciben el audio directamente y responden en audio. La conversación por voz full dúplex —escuchar mientras habla— se trata en nuestra explicación de GPT-Live.

3. Qué aceptan los principales modelos: tabla según la documentación oficial

La tabla recoge los tipos de entrada que la documentación de la API de cada empresa dice aceptar (comprobado el 12 de noviembre de 2026). No se incluyen funciones que pasan por otro modelo o por una transcripción entre bastidores, como el modo de voz de una app.

Fuentes: resumen de modelos de Anthropic («todos los modelos actuales admiten entrada de texto e imagen y salida de texto») y soporte de PDF; página de GPT-6 Astra de OpenAI (entrada: text, image; salida: text) y guía de entrada de archivos; ficha del modelo Gemini 4 Carbon y lista de modelos de la API de Gemini; documentación de Qwen-Omni de Alibaba Cloud; historial de cambios de la API de DeepSeek (V4.1 Flash tiene «comprensión visual multimodal nativa»). Para la gama actual de modelos, consulta nuestra lista de modelos y fechas de corte.

Destacan tres cosas.

• Las tres grandes empresas leen los PDF como «imágenes de página más texto extraído». Claude convierte cada página en una imagen y le pasa al modelo, junto a ella, el texto extraído de esa página. OpenAI también envía texto e imágenes de página en los modelos con visión. Por eso puede leer tablas y gráficos, y por eso los PDF consumen más tokens (§4).
• El audio y el vídeo dividen a las empresas entre «elegir otro modelo» y «meterlo todo en uno». Gemini 4 y los modelos Omni de Qwen los reciben en un solo modelo. OpenAI envía el audio a modelos de voz y de transcripción, y la API de Claude no acepta ni audio ni vídeo. Para trabajar con vídeo en Claude o en los modelos generales de OpenAI, hay que extraer fotogramas y enviarlos como imágenes, y transcribir el audio aparte.
• La salida es casi siempre texto. Las imágenes salen de modelos de generación de imágenes (nuestra comparativa de generadores de imágenes) y las respuestas habladas de modelos de voz: «entender» y «generar» suelen correr a cargo de modelos distintos.

En el caso de Qwen, la documentación de Alibaba Cloud recoge Qwen3.8-Omni-Flash (entrada: texto, imágenes, audio y vídeo; salida: texto; contexto de 1 millón de tokens) y Qwen3.5-Omni (salida: texto y audio; hasta 3 horas de audio y 1 hora de vídeo). La lista de modelos de Google también incluye modelos aparte para el diálogo por voz de baja latencia (Gemini 3.8 Live) y para la transcripción (Gemini 3.5 Transcribe).

4. Cuántos tokens son una imagen, un vídeo o un PDF: fórmulas y ejemplos

La entrada multimodal se convierte en tokens y se cobra igual que el texto, pero cada una de las tres empresas hace la conversión a su manera. Estas son las fórmulas de la documentación de cada una (comprobadas el 12 de noviembre de 2026).

Ejemplo calculado: cuántos tokens es la misma imagen

Aplicamos las fórmulas anteriores a dos imágenes habituales. Los costes solo cubren la entrada; el razonamiento del modelo y la salida se cobran aparte.

Fuentes de precios: Anthropic, OpenAI, precios de la API de Gemini (todas comprobadas el 12 de noviembre de 2026; importes en dólares estadounidenses). La cifra de Claude para Full HD coincide con la tabla de la documentación de Anthropic. Las cifras de Gemini son topes, así que el recuento real es igual o menor.

La conclusión: la diferencia de tokens depende casi por completo de si la imagen se reduce o no. GPT-6 Astra conserva por defecto la resolución original, lo que ayuda con la letra pequeña pero encarece las fotos grandes. Si envías muchas fotos del móvil, poner detail en high o reducirlas antes de subirlas deja la entrada en torno a una quinta parte. A la inversa, Gemini tiene ajustes para subir la resolución cuando necesitas leer texto pequeño. Sea cual sea la fórmula, recortar lo que no necesitas antes de enviar es lo que más ayuda.

Vídeo y audio: cuántos tokens es una hora

• Gemini (vídeo tal cual): por defecto toma un fotograma por segundo. La documentación de vídeo de Google habla de «unos 100 tokens por segundo de vídeo con la resolución por defecto y unos 300 con resolución alta». Una hora son unos 360.000 tokens, así que en un modelo de 1 millón de tokens caben unas 3 horas por defecto y 1 hora en alta resolución (documentación de comprensión de vídeo). Gemini 4 y otros modelos ofrecen además, de forma opcional, una «comprensión de vídeo agéntica» que solo mira las partes necesarias; Google dice que en vídeos largos usa hasta un 88 % menos de tokens, aunque advierte que en clips cortos (de menos de 5 minutos) o con preguntas amplias que obligan a ver casi todo el vídeo puede gastar más tokens y tardar más.
• Gemini (solo audio): a 25 tokens por segundo, una hora de audio son 90.000 tokens.
• Claude y OpenAI (fotogramas como imágenes): un fotograma de 1280×720 son 46×26 = 1.196 tokens en Claude y 40×23×1,2 = 1.104 tokens en GPT-6 Astra. Un fotograma cada 10 segundos durante una hora (360 fotogramas) suma unos 400.000–430.000 tokens, sin el audio. En GPT-6 Astra, una solicitud con más de 272.000 tokens de entrada se cobra al doble en la entrada y a 1,5 veces en la salida para toda la solicitud, así que los vídeos largos salen más baratos enviados por partes. Claude acepta hasta 600 imágenes por solicitud, pero por encima de 20 se aplica un límite más estricto de tamaño por imagen (con el lado largo en 3.000 píxeles o menos se cumple en todas las plataformas).

PDF: el coste crece con el número de páginas

La documentación de Anthropic indica que cada página de un PDF suele usar entre 1.500 y 3.000 tokens solo por el texto, más la imagen de la página calculada con la fórmula anterior (hasta 600 páginas por solicitud, o 100 si la ventana de contexto es menor de 1 millón de tokens). OpenAI también añade imágenes de página, y como el detail de los PDF es high por defecto en GPT-5.6 y posteriores, la parte de imagen pesa mucho (los archivos suman como máximo 50 MB por solicitud). Gemini no cobra el texto nativo incrustado en el PDF y cuenta las páginas como imágenes (hasta 1.000 páginas o 50 MB; documentación de procesamiento de documentos). Con documentos de más de 100 páginas, enviar solo las secciones necesarias es más barato y más fiable. Los consejos generales de ahorro están en cómo reducir el coste de tokens de la IA.

5. Qué determina la fuerza en cada modalidad

«Qué modelo es el mejor» cambia con cada generación. Lo que sigue siendo útil es saber qué determina técnicamente la fuerza en cada modalidad. Con estos cuatro ejes puedes juzgar tú mismo los modelos nuevos.

Con esta mirada, las diferencias en vídeo se abren con la duración. Video-MME puntúa clips de 11 segundos a 1 hora en tres grupos (corto, medio y largo), y muchos modelos de su clasificación oficial bajan en el grupo largo. Si solo manejas clips cortos, las clasificaciones de vídeo largo no te afectan. En el análisis de documentos, cuanto más trabaja un agente mirando una pantalla y actuando sobre ella —como hace Cursor—, más importa devolver posiciones frente a la precisión bruta.

6. Cómo leer los benchmarks: MMMU-Pro ya no separa a los mejores

Cuando se publicó MMMU, una prueba multidisciplinar con imágenes, a finales de 2023, GPT-4V obtuvo un 56 %. En su sucesora más difícil, MMMU-Pro (publicada en septiembre de 2024), los mejores modelos rondan ya el 90 %. Según las mediciones de la firma independiente Artificial Analysis (el ajuste de razonamiento varía según el modelo): Gemini 4 Carbon (Medium) 89 %, Claude Opus 5.5 (Max, Default Fallback) 88 %, GPT-6 Astra (Max) 87 % (página de evaluación de MMMU-Pro, comprobada el 12 de noviembre de 2026). Los primeros puestos están a solo 1–2 puntos.

Las empresas se están pasando a pruebas que todavía separan modelos. En el apartado de «comprensión multimodal» de la ficha del modelo Gemini 4 Carbon (publicada el 10 de noviembre de 2026), Google no incluye MMMU-Pro y muestra en su lugar dos pruebas distintas, Chartography y Blueprint-Bench 2 (Chartography: Gemini 4 Carbon 72,5 %, GPT-6 Astra 71,0 %, Claude Opus 5.5 66,3 %; mediciones de Google). Para elegir modelo, mira estas cuatro según tu caso de uso.

Sea cual sea la cifra, léela sabiendo si la midió la propia empresa o un tercero. Los anuncios de las empresas tienden a escoger pruebas favorables; las tablas de terceros usan condiciones uniformes pero abarcan menos pruebas. Al final, probar con tu propio material, como en el §7, es la comprobación más fiable.

7. Por caso de uso: qué comprobar antes de elegir

Aquí van cinco casos de uso y qué comprobar antes de decidir. Están escritos como pasos de comprobación y no como nombres de modelos, así que siguen sirviendo cuando salgan modelos nuevos.

8. Trampas y límites

La documentación de Anthropic enumera con claridad los límites de la comprensión de imágenes (apartado Limitations de la documentación de Vision). Está escrita para Claude, pero otros modelos suelen tropezar en los mismos sitios.

No tomes por un hecho lo que deduce de una foto

Aunque pidas «lee el importe de este recibo», una imagen oscura, torcida o pequeña puede llevar al modelo a dar un número verosímil pero inventado. Incluso los modelos cercanos al 90 % en MMMU-Pro fallan aproximadamente una de cada diez. Importes, fechas y nombres propios los debe cotejar siempre una persona con la imagen original, sobre todo en lo legal, lo financiero y lo médico.

Cuanto más largo el vídeo, más se le escapa del medio

Incluso los mejores modelos en pruebas de vídeo tienen problemas para sacar detalles exactos de la mitad de un vídeo de una hora (el mismo problema que Lost in the Middle en textos largos). Para las escenas clave, acota por tiempo —«analiza con detalle solo de 30:00 a 35:00»— y ganarás precisión.

El audio flojea con acentos, tecnicismos y voces superpuestas

En una conversación estándar la precisión es alta, pero los errores aumentan con acentos marcados, jerga técnica, varias personas hablando a la vez y lugares ruidosos. Para grabaciones importantes, como las actas de una reunión, usa un modelo dedicado a transcribir (GPT-Transcribe de OpenAI, Gemini 3.5 Transcribe de Google y similares, a noviembre de 2026) y dale de antemano los nombres propios.

Resumen

• La IA multimodal es la IA que recibe entradas que no son texto (imágenes, PDF, audio, vídeo). Lo que puedes enviar cambia según el modelo.
• En las API a 12 de noviembre de 2026, Claude y los modelos generales de OpenAI aceptan texto, imágenes y PDF, mientras que Gemini 4 y los modelos Omni de Qwen reciben también audio y vídeo en un solo modelo. OpenAI envía el audio a modelos de voz dedicados.
• Los tokens de imagen se cuentan así: Claude = bloques de 28 píxeles; OpenAI = bloques de 32 píxeles × 1,2; Gemini = un tope por ajuste de resolución. GPT-6 Astra conserva el tamaño original por defecto, así que las fotos del móvil bajan a una quinta parte con detail: "high" o reduciéndolas.
• El vídeo en Gemini son unos 360.000 tokens por hora. Con Claude y OpenAI se envían fotogramas como imágenes y el audio se transcribe aparte.
• En MMMU-Pro los mejores modelos se agrupan cerca del 90 %. Comprueba vídeo, documentos y audio con sus propias pruebas y con tu propio material.
• Las imágenes malas, las posiciones, los recuentos, la mitad de los vídeos largos y el audio con acento son propensos a errores. Que una persona revise importes y fechas.

Para empezar, dale a la IA que uses una captura o un PDF tuyo, pídele que «copie exactamente los números de la tabla» y compáralo con el original. Cuando veas dónde falla, sabrás hasta dónde puedes fiarte de ese modelo.

Preguntas frecuentes