Qu'est-ce que l'IA multimodale ? Ce qu'accepte chaque modèle, le coût en tokens et comment choisir

L'IA multimodale est une IA qui reçoit en entrée non seulement du texte, mais aussi des images, des PDF, de l'audio et de la vidéo, et qui répond à leur sujet. Mais l'étiquette « multimodale » en dit peu sur ce que vous pouvez réellement envoyer : cela varie beaucoup d'un modèle à l'autre. En vérifiant la documentation officielle de chaque éditeur le 12 novembre 2026, les API de Claude et des modèles généralistes d'OpenAI s'arrêtent au texte, aux images et aux PDF, tandis que Gemini 4 de Google et les modèles Omni de Qwen acceptent directement l'audio et la vidéo. Les trois grands éditeurs comptent aussi les tokens d'une image différemment : la même photo prise au téléphone peut produire plus de dix fois plus d'entrée sur un modèle que sur un autre.

Cet article présente le fonctionnement de l'IA multimodale (assemblée ou native), un tableau de ce qu'acceptent les principaux modèles, les formules de calcul des tokens pour les images, la vidéo et les PDF avec des exemples chiffrés, la lecture des benchmarks, ce qu'il faut vérifier pour chaque usage et les limites que la documentation officielle reconnaît elle-même.

1. Qu'est-ce que l'IA multimodale : une IA qui reçoit plus que du texte

La définition : « un modèle d'IA capable de traiter aussi des entrées autres que du texte (images, audio, vidéo, etc.) ». Jusqu'où cela va dépend du modèle : de texte et images seulement à l'audio et la vidéo dans un seul modèle.

L'IA d'avant était conçue pour une seule modalité. GPT-3 ne traitait que du texte, Whisper ne faisait que transcrire la parole et Stable Diffusion ne faisait que transformer du texte en image. Pour les combiner, il fallait monter un « pipeline » qui transmettait la sortie d'un modèle à l'entrée d'un autre, et de l'information se perdait en route. Le fonctionnement de la partie qui génère le texte est expliqué dans Qu'est-ce qu'un LLM.

Dans l'IA multimodale, un seul modèle regarde plusieurs entrées à la fois et répond. Par exemple, « regarde le message d'erreur de cette capture d'écran (image) avec ma question (texte) et donne-moi la cause » se fait en un seul appel d'API.

2. Assemblée ou native : deux façons de la construire

Il existe deux architectures de base. Auparavant, l'usage était d'enchaîner des modèles distincts : l'un transcrit la parole, un autre réfléchit sur le texte, un troisième lit la réponse à voix haute (OpenAI décrit ainsi le mode vocal de ChatGPT avant GPT-4o, comme une chaîne de trois modèles). Aujourd'hui se répandent les architectures où un seul modèle reçoit directement plusieurs types d'entrée.

Un exemple concret : la tâche « regarde cette vidéo de cuisine et rédige la recette ». Une configuration assemblée passe par plusieurs étapes : « transcrire l'audio avec un modèle vocal, puis résumer avec un modèle de texte », plus « extraire des images de la vidéo et les analyser à part ». Un modèle qui accepte directement la vidéo reçoit toute la vidéo en un seul appel d'API et relie, dans le modèle lui-même, l'explication orale aux gestes visibles à l'écran.

Mais tous les éditeurs ne sont pas passés à un modèle natif unique. OpenAI répartit le travail : ses modèles généralistes (comme GPT-6 Astra) reçoivent texte et images, la conversation vocale va à des modèles vocaux comme GPT-Live-1 et GPT-Realtime, et la transcription à des modèles comme GPT-Transcribe (liste des modèles d'OpenAI, consultée le 12 novembre 2026). On choisit un modèle dédié par tâche, et les modèles vocaux reçoivent l'audio directement et répondent en audio. La conversation vocale en duplex intégral — écouter tout en parlant — est traitée dans notre article sur GPT-Live.

3. Ce qu'acceptent les principaux modèles : tableau d'après la documentation officielle

Le tableau reprend les types d'entrée que la documentation de l'API de chaque éditeur déclare accepter (vérifié le 12 novembre 2026). Les fonctions qui passent en coulisses par un autre modèle ou une transcription, comme le mode vocal d'une application, ne sont pas incluses.

Sources : vue d'ensemble des modèles d'Anthropic (« tous les modèles actuels prennent en charge l'entrée texte et image et la sortie texte ») et prise en charge des PDF ; page de GPT-6 Astra chez OpenAI (entrée : text, image ; sortie : text) et guide des fichiers en entrée ; fiche du modèle Gemini 4 Carbon et liste des modèles de l'API Gemini ; documentation Qwen-Omni d'Alibaba Cloud ; historique des mises à jour de l'API DeepSeek (V4.1 Flash dispose d'une « compréhension visuelle multimodale native »). Pour la gamme actuelle, voir notre liste des modèles et de leurs dates de coupure.

Trois points ressortent.

• Les trois grands éditeurs lisent les PDF comme « images de page plus texte extrait ». Claude convertit chaque page en image et transmet au modèle, avec elle, le texte extrait de la page. OpenAI envoie lui aussi le texte et les images de page sur les modèles dotés de vision. C'est pour cela que les tableaux et graphiques sont lisibles — et que les PDF consomment davantage de tokens (§4).
• L'audio et la vidéo séparent les éditeurs entre « choisir un autre modèle » et « tout mettre dans un seul ». Gemini 4 et les modèles Omni de Qwen les reçoivent dans un seul modèle. OpenAI oriente l'audio vers des modèles vocaux et de transcription, et l'API de Claude n'accepte ni audio ni vidéo. Pour traiter une vidéo avec Claude ou les modèles généralistes d'OpenAI, il faut extraire des images, les envoyer comme images et transcrire l'audio à part.
• La sortie est presque toujours du texte. Les images viennent de modèles de génération d'images (notre comparatif des générateurs d'images) et les réponses parlées de modèles vocaux : « comprendre » et « générer » sont souvent confiés à des modèles différents.

Pour Qwen, la documentation d'Alibaba Cloud mentionne Qwen3.8-Omni-Flash (entrée : texte, images, audio, vidéo ; sortie : texte ; contexte d'un million de tokens) et Qwen3.5-Omni (sortie : texte et audio ; jusqu'à 3 heures d'audio et 1 heure de vidéo). La liste des modèles de Google comporte elle aussi des modèles distincts pour le dialogue vocal à faible latence (Gemini 3.8 Live) et pour la transcription (Gemini 3.5 Transcribe).

4. Combien de tokens pour une image, une vidéo ou un PDF : formules et exemples

L'entrée multimodale est convertie en tokens et facturée comme le texte — mais chacun des trois éditeurs fait la conversion à sa manière. Voici les formules de leur documentation (vérifiées le 12 novembre 2026).

Exemple chiffré : combien de tokens pour la même image ?

Nous avons appliqué ces formules à deux images courantes. Les coûts ne concernent que l'entrée ; la réflexion du modèle et la sortie sont facturées en plus.

Sources des prix : Anthropic, OpenAI, tarifs de l'API Gemini (toutes vérifiées le 12 novembre 2026 ; montants en dollars américains). Le chiffre de Claude pour le Full HD est identique au tableau de la documentation d'Anthropic. Les chiffres de Gemini sont des plafonds : le nombre réel est égal ou inférieur.

À retenir : l'écart de tokens tient presque entièrement au fait que l'image soit réduite ou non. GPT-6 Astra conserve par défaut la résolution d'origine, ce qui aide pour les petits caractères mais rend les grandes photos coûteuses. Si vous envoyez beaucoup de photos de téléphone, régler detail sur high ou les réduire avant l'envoi ramène l'entrée à environ un cinquième. À l'inverse, Gemini propose des réglages pour monter la résolution quand il faut lire du petit texte. Quelle que soit la formule, recadrer ce qui est inutile avant l'envoi reste le plus efficace.

Vidéo et audio : combien de tokens pour une heure ?

• Gemini (vidéo telle quelle) : par défaut, il prélève une image par seconde. La documentation vidéo de Google indique « environ 100 tokens par seconde de vidéo à la résolution par défaut, environ 300 en haute résolution ». Une heure représente environ 360 000 tokens : un modèle d'un million de tokens contient donc environ 3 heures par défaut et environ 1 heure en haute résolution (documentation sur la compréhension vidéo). Gemini 4 et d'autres modèles proposent aussi, en option, une « compréhension vidéo agentique » qui ne regarde que les passages nécessaires ; Google indique jusqu'à 88 % de tokens en moins sur les longues vidéos, tout en prévenant que sur des extraits courts (moins de 5 minutes) ou des questions larges qui obligent à parcourir presque toute la vidéo, elle peut consommer davantage de tokens et de temps.
• Gemini (audio seul) : à 25 tokens par seconde, une heure d'audio représente 90 000 tokens.
• Claude et OpenAI (images extraites) : une image de 1280×720 compte 46×26 = 1 196 tokens sur Claude et 40×23×1,2 = 1 104 tokens sur GPT-6 Astra. Une image toutes les 10 secondes pendant une heure (360 images) donne environ 400 000 à 430 000 tokens, sans l'audio. Sur GPT-6 Astra, une requête de plus de 272 000 tokens en entrée est facturée en entier au double pour l'entrée et à 1,5 fois pour la sortie : mieux vaut envoyer une longue vidéo en plusieurs parties. Claude accepte jusqu'à 600 images par requête, mais au-delà de 20 une limite de taille plus stricte s'applique à chaque image (un grand côté de 3 000 pixels ou moins passe sur toutes les plateformes).

PDF : le coût augmente avec le nombre de pages

La documentation d'Anthropic indique qu'une page de PDF utilise en général 1 500 à 3 000 tokens rien que pour le texte, plus l'image de la page calculée avec la formule ci-dessus (jusqu'à 600 pages par requête, ou 100 si la fenêtre de contexte est inférieure à un million de tokens). OpenAI ajoute lui aussi les images de page, et comme le detail des PDF vaut high par défaut à partir de GPT-5.6, la part image pèse lourd (fichiers limités à 50 Mo au total par requête). Gemini ne facture pas le texte natif intégré au PDF et compte les pages comme des images (jusqu'à 1 000 pages ou 50 Mo ; documentation sur le traitement des documents). Au-delà de 100 pages, n'envoyer que les sections utiles est à la fois moins cher et plus fiable. Les astuces générales d'économie se trouvent dans comment réduire le coût des tokens.

5. Ce qui détermine la force dans chaque modalité

« Quel est le meilleur modèle » change à chaque génération. Ce qui reste utile, c'est de savoir ce qui détermine techniquement la force dans chaque modalité. Avec ces quatre axes, vous pouvez juger vous-même les nouveaux modèles.

Sous cet angle, les écarts en vidéo se creusent avec la durée. Video-MME note des extraits de 11 secondes à 1 heure en trois tranches (courte, moyenne et longue), et de nombreux modèles de son classement officiel baissent sur la tranche longue. Si vous ne traitez que des extraits courts, les classements sur vidéo longue ne vous concernent pas. En analyse de documents, plus un agent travaille en regardant un écran et en agissant dessus — comme le fait Cursor —, plus la capacité à renvoyer des positions compte face à la précision brute.

6. Lire les benchmarks : MMMU-Pro ne départage plus les meilleurs

À la sortie de MMMU, un test pluridisciplinaire avec images, fin 2023, GPT-4V obtenait 56 %. Sur son successeur plus difficile, MMMU-Pro (publié en septembre 2024), les meilleurs modèles approchent désormais 90 %. Mesures de la société indépendante Artificial Analysis (le réglage de raisonnement diffère selon le modèle) : Gemini 4 Carbon (Medium) 89 %, Claude Opus 5.5 (Max, Default Fallback) 88 %, GPT-6 Astra (Max) 87 % (page d'évaluation MMMU-Pro, consultée le 12 novembre 2026). Les premiers ne sont séparés que de 1 à 2 points.

Les éditeurs passent à des tests qui départagent encore les modèles. Dans la rubrique « compréhension multimodale » de la fiche du modèle Gemini 4 Carbon (publiée le 10 novembre 2026), Google n'inclut pas MMMU-Pro et présente à la place deux autres tests, Chartography et Blueprint-Bench 2 (Chartography : Gemini 4 Carbon 72,5 %, GPT-6 Astra 71,0 %, Claude Opus 5.5 66,3 % — mesures de Google). Pour choisir un modèle, regardez les quatre suivants selon votre usage.

Quel que soit le chiffre, lisez-le en sachant s'il a été mesuré par l'éditeur ou par un tiers. Les annonces des éditeurs choisissent volontiers des tests favorables ; les tableaux de tiers ont des conditions homogènes mais couvrent moins de tests. Au final, tester avec vos propres documents, comme au §7, reste la vérification la plus fiable.

7. Par usage : quoi vérifier avant de choisir

Voici cinq usages et ce qu'il faut vérifier avant de décider. Ils sont rédigés comme des étapes de vérification plutôt que comme des noms de modèles, donc ils restent valables à la sortie de nouveaux modèles.

8. Pièges et limites

La documentation d'Anthropic énumère clairement les limites de la compréhension d'images (section Limitations de la documentation Vision). Elle porte sur Claude, mais les autres modèles trébuchent souvent aux mêmes endroits.

Ne pas prendre une déduction tirée d'une photo pour un fait

Même si vous demandez « lis le montant de ce reçu », une image sombre, de travers ou petite peut amener le modèle à donner un chiffre plausible mais inventé. Même les modèles proches de 90 % sur MMMU-Pro se trompent environ une fois sur dix. Montants, dates et noms propres doivent toujours être comparés par une personne à l'image d'origine — surtout en droit, en finance et en médecine.

Plus la vidéo est longue, plus le milieu lui échappe

Même les meilleurs modèles aux tests vidéo peinent à extraire des détails exacts du milieu d'une vidéo d'une heure (le même problème que le Lost in the Middle des longs textes). Pour les scènes clés, restreignez par le temps — « analyse en détail uniquement de 30:00 à 35:00 » — pour gagner en précision.

L'audio peine avec les accents, le jargon et les voix qui se chevauchent

Pour une conversation standard, la précision est élevée, mais les erreurs augmentent avec des accents marqués, du jargon technique, plusieurs personnes parlant en même temps et des lieux bruyants. Pour des enregistrements importants comme un compte rendu de réunion, utilisez un modèle dédié à la transcription (GPT-Transcribe chez OpenAI, Gemini 3.5 Transcribe chez Google, etc., en novembre 2026) et fournissez-lui les noms propres à l'avance.

Résumé

• L'IA multimodale est une IA qui reçoit des entrées autres que du texte (images, PDF, audio, vidéo). Ce que l'on peut envoyer varie selon le modèle.
• Dans les API au 12 novembre 2026, Claude et les modèles généralistes d'OpenAI acceptent texte, images et PDF, tandis que Gemini 4 et les modèles Omni de Qwen prennent aussi l'audio et la vidéo dans un seul modèle. OpenAI oriente l'audio vers des modèles vocaux dédiés.
• Les tokens d'image se comptent ainsi : Claude = blocs de 28 pixels ; OpenAI = blocs de 32 pixels × 1,2 ; Gemini = un plafond par réglage de résolution. GPT-6 Astra garde par défaut la taille d'origine : les photos de téléphone tombent à environ un cinquième avec detail: "high" ou une réduction.
• La vidéo sur Gemini représente environ 360 000 tokens par heure. Avec Claude et OpenAI, on envoie des images extraites et on transcrit l'audio à part.
• Sur MMMU-Pro, les meilleurs modèles se tiennent près de 90 %. Vérifiez vidéo, documents et audio avec leurs propres tests et avec vos propres documents.
• Images médiocres, positions, décomptes, milieu des longues vidéos et audio avec accent sont sources d'erreurs. Faites vérifier montants et dates par une personne.

Pour commencer, donnez à l'IA que vous utilisez une capture d'écran ou un PDF à vous, demandez-lui de « recopier exactement les chiffres du tableau » et comparez avec l'original. En voyant où elle se trompe, vous saurez jusqu'où vous pouvez lui faire confiance.

FAQ