Was ist multimodale KI? Was die Modelle annehmen, was es in Tokens kostet und wie man wählt

Multimodale KI ist KI, die nicht nur Text, sondern auch Bilder, PDFs, Audio und Video als Eingabe annimmt und dazu antwortet. Das Etikett „multimodal“ sagt aber wenig darüber, was du tatsächlich schicken kannst: Das unterscheidet sich stark von Modell zu Modell. Ein Blick in die offizielle Dokumentation der Anbieter am 12. November 2026 zeigt: Die APIs von Claude und den Allzweckmodellen von OpenAI gehen bis Text, Bild und PDF, während Googles Gemini 4 und die Omni-Modelle von Qwen Audio und Video direkt annehmen. Zudem zählen die drei großen Anbieter die Tokens eines Bildes unterschiedlich – dasselbe Handyfoto kann bei einem Modell mehr als zehnmal so viel Eingabe erzeugen wie bei einem anderen.

Dieser Artikel erklärt, wie multimodale KI funktioniert (zusammengesetzt vs. nativ), zeigt eine Tabelle, was die wichtigsten Modelle annehmen, die Token-Formeln für Bilder, Video und PDFs mit Rechenbeispielen, wie man Benchmarks liest, was man je Einsatzzweck prüfen sollte und welche Grenzen die offizielle Dokumentation selbst nennt.

1. Was ist multimodale KI – KI, die mehr als Text annimmt

Die Definition: „ein KI-Modell, das auch Eingaben verarbeiten kann, die kein Text sind (Bilder, Audio, Video usw.)“. Wie weit das reicht, hängt vom Modell ab – von nur Text und Bild bis zu Audio und Video in einem einzigen Modell.

Frühere KI war für eine einzige Modalität gebaut. GPT-3 verarbeitete nur Text, Whisper wandelte nur Sprache in Text um und Stable Diffusion nur Text in Bilder. Um sie zu kombinieren, musste man eine „Pipeline“ bauen, die die Ausgabe eines Modells in die Eingabe des nächsten speist – und unterwegs ging Information verloren. Wie der textgenerierende Teil funktioniert, erklärt Was ist ein LLM.

Bei multimodaler KI betrachtet ein einziges Modell mehrere Eingaben zugleich und antwortet. Zum Beispiel lässt sich „schau dir die Fehlermeldung in diesem Screenshot (Bild) zusammen mit meiner Frage (Text) an und nenne mir die Ursache“ mit einem einzigen API-Aufruf erledigen.

2. Zusammengesetzt vs. nativ – zwei Bauweisen

Es gibt zwei Grundbauweisen. Früher war es üblich, getrennte Modelle hintereinanderzuschalten: eines transkribiert Sprache, eines denkt über den Text nach, eines liest die Antwort vor (OpenAI beschreibt den Sprachmodus von ChatGPT vor GPT-4o genau als diese Kette aus drei Modellen). Heute verbreiten sich Bauweisen, bei denen ein einziges Modell mehrere Eingabearten direkt annimmt.

Ein konkretes Beispiel: die Aufgabe „schau dir dieses Kochvideo an und schreib das Rezept auf“. Ein zusammengesetztes System braucht mehrere Stufen – „Audio mit einem Sprachmodell transkribieren, dann mit einem Textmodell zusammenfassen“ plus „Einzelbilder aus dem Video ziehen und separat analysieren“. Ein Modell, das Video direkt annimmt, bekommt das ganze Video in einem API-Aufruf und ordnet die gesprochene Erklärung den Handgriffen im Bild innerhalb des Modells zu.

Aber nicht alle Anbieter sind zu einem einzigen nativen Modell übergegangen. OpenAI teilt die Arbeit auf: Die Allzweckmodelle (etwa GPT-6 Astra) nehmen Text und Bilder an, Sprachgespräche übernehmen Sprachmodelle wie GPT-Live-1 und GPT-Realtime, die Transkription Modelle wie GPT-Transcribe (OpenAIs Modellliste, geprüft am 12. November 2026). Man wählt also je Aufgabe ein spezielles Modell, und die Sprachmodelle selbst nehmen Audio direkt an und antworten in Audio. Vollduplex-Sprachgespräche – zuhören, während man spricht – behandelt unser Artikel zu GPT-Live.

3. Was die wichtigsten Modelle annehmen – Tabelle nach offizieller Dokumentation

Die Tabelle listet die Eingabearten, die laut API-Dokumentation des jeweiligen Anbieters angenommen werden (geprüft am 12. November 2026). Funktionen, die im Hintergrund über ein anderes Modell oder eine Transkription laufen, etwa der Sprachmodus einer App, sind nicht enthalten.

Quellen: Modellübersicht von Anthropic („alle aktuellen Modelle unterstützen Text- und Bildeingabe sowie Textausgabe“) und PDF-Unterstützung; OpenAIs Seite zu GPT-6 Astra (Eingabe: text, image; Ausgabe: text) und Leitfaden zu Dateieingaben; Modellkarte von Gemini 4 Carbon und Modellliste der Gemini-API; Qwen-Omni-Dokumentation von Alibaba Cloud; API-Änderungsprotokoll von DeepSeek (V4.1 Flash hat „natives multimodales visuelles Verständnis“). Die aktuelle Modellpalette findest du in unserer Liste der Modelle und Wissensstichtage.

Drei Dinge fallen auf.

• Alle drei großen Anbieter lesen PDFs als „Seitenbilder plus extrahierter Text“. Claude wandelt jede Seite in ein Bild um und übergibt dem Modell zusätzlich den extrahierten Text der Seite. Auch OpenAI schickt bei Modellen mit Bildverständnis Text und Seitenbilder. Deshalb lassen sich Tabellen und Diagramme lesen – und deshalb verbrauchen PDFs mehr Tokens (§4).
• Bei Audio und Video trennen sich die Anbieter in „anderes Modell wählen“ und „alles in ein Modell“. Gemini 4 und die Omni-Modelle von Qwen nehmen beides in einem Modell an. OpenAI leitet Audio an Sprach- und Transkriptionsmodelle, und die Claude-API nimmt weder Audio noch Video an. Für Video mit Claude oder den Allzweckmodellen von OpenAI musst du Einzelbilder extrahieren, als Bilder schicken und den Ton separat transkribieren.
• Die Ausgabe ist fast immer Text. Bilder kommen von Bildgenerierungsmodellen (unser Vergleich der Bildgeneratoren), gesprochene Antworten von Sprachmodellen – „verstehen“ und „erzeugen“ übernehmen oft verschiedene Modelle.

Bei Qwen nennt die Dokumentation von Alibaba Cloud Qwen3.8-Omni-Flash (Eingabe: Text, Bild, Audio, Video; Ausgabe: Text; Kontext von 1 Million Tokens) und Qwen3.5-Omni (Ausgabe: Text und Audio; bis zu 3 Stunden Audio und 1 Stunde Video). Auch Googles Modellliste führt eigene Modelle für latenzarme Sprachdialoge (Gemini 3.8 Live) und für Transkription (Gemini 3.5 Transcribe).

4. Wie viele Tokens sind Bilder, Videos und PDFs – Formeln und Beispiele

Multimodale Eingaben werden wie Text in Tokens umgerechnet und abgerechnet – aber jeder der drei Anbieter rechnet anders. Das sind die Formeln aus der jeweiligen Dokumentation (geprüft am 12. November 2026).

Rechenbeispiel: Wie viele Tokens ergibt dasselbe Bild?

Wir haben die Formeln auf zwei typische Bilder angewendet. Die Kosten betreffen nur die Eingabe; das Nachdenken des Modells und die Ausgabe kommen hinzu.

Preisquellen: Anthropic, OpenAI, Preise der Gemini-API (alle geprüft am 12. November 2026; Beträge in US-Dollar). Claudes Wert für Full HD stimmt mit der Tabelle in Anthropics Dokumentation überein. Die Gemini-Werte sind Obergrenzen; die tatsächliche Zahl liegt darunter oder gleichauf.

Die Erkenntnis: Der Unterschied bei den Tokens hängt fast nur davon ab, ob das Bild verkleinert wird. GPT-6 Astra behält standardmäßig die Originalauflösung – gut für Kleingedrucktes, aber teuer bei großen Fotos. Wer viele Handyfotos schickt, setzt detail auf high oder verkleinert vor dem Hochladen und senkt die Eingabe so auf etwa ein Fünftel. Umgekehrt bietet Gemini Einstellungen, um die Auflösung zu erhöhen, wenn kleine Schrift gelesen werden muss. Egal welche Formel: vor dem Senden alles Unnötige wegschneiden bringt am meisten.

Video und Audio: Wie viele Tokens hat eine Stunde?

• Gemini (Video direkt): Standardmäßig wird ein Einzelbild pro Sekunde entnommen. Googles Video-Dokumentation nennt „etwa 100 Tokens pro Sekunde Video bei Standardauflösung, etwa 300 bei hoher Auflösung“. Eine Stunde sind etwa 360.000 Tokens; ein Modell mit 1 Million Tokens fasst also rund 3 Stunden im Standard und rund 1 Stunde in hoher Auflösung (Dokumentation zum Videoverständnis). Gemini 4 und weitere Modelle bieten zudem optional ein „agentisches Videoverständnis“, das nur die nötigen Stellen ansieht; laut Google verbraucht es bei langen Videos bis zu 88 % weniger Tokens, weist aber darauf hin, dass es bei kurzen Clips (unter 5 Minuten) oder allgemeinen Fragen, für die fast das ganze Video angesehen werden muss, mehr Tokens und Zeit brauchen kann.
• Gemini (nur Audio): Bei 25 Tokens pro Sekunde sind eine Stunde Audio 90.000 Tokens.
• Claude und OpenAI (Einzelbilder als Bilder): Ein Bild mit 1280×720 sind bei Claude 46×26 = 1.196 Tokens, bei GPT-6 Astra 40×23×1,2 = 1.104 Tokens. Ein Bild alle 10 Sekunden über eine Stunde (360 Bilder) ergibt etwa 400.000–430.000 Tokens, ohne Ton. Bei GPT-6 Astra wird eine Anfrage mit mehr als 272.000 Eingabe-Tokens komplett zum doppelten Eingabe- und 1,5-fachen Ausgabepreis abgerechnet – lange Videos schickt man daher günstiger in Teilen. Claude nimmt bis zu 600 Bilder pro Anfrage an, aber ab mehr als 20 gilt eine strengere Größengrenze pro Bild (mit höchstens 3.000 Pixeln an der langen Kante bleibst du auf allen Plattformen darunter).

PDFs: Die Kosten wachsen mit der Seitenzahl

Laut Anthropic verbraucht eine PDF-Seite meist 1.500–3.000 Tokens allein für den Text, dazu das Seitenbild nach obiger Formel (bis zu 600 Seiten pro Anfrage, bzw. 100, wenn das Kontextfenster kleiner als 1 Million Tokens ist). Auch OpenAI fügt Seitenbilder hinzu, und weil detail bei PDFs ab GPT-5.6 standardmäßig high ist, fällt der Bildanteil groß aus (Dateien insgesamt höchstens 50 MB pro Anfrage). Gemini berechnet den in das PDF eingebetteten Text nicht und zählt die Seiten als Bilder (bis 1.000 Seiten oder 50 MB; Dokumentation zur Dokumentverarbeitung). Bei Dokumenten über 100 Seiten ist es günstiger und zuverlässiger, nur die nötigen Abschnitte zu schicken. Allgemeine Spartipps stehen in KI-Tokenkosten senken.

5. Was die Stärke je Modalität bestimmt

„Welches Modell ist das beste“ ändert sich mit jeder Generation. Nützlich bleibt das Wissen, was die Stärke je Modalität technisch bestimmt. Mit diesen vier Achsen kannst du neue Modelle selbst beurteilen.

So betrachtet öffnen sich Unterschiede bei Video mit der Länge. Video-MME bewertet Clips von 11 Sekunden bis 1 Stunde in drei Gruppen (kurz, mittel, lang), und viele Modelle auf der offiziellen Bestenliste fallen in der langen Gruppe ab. Wenn du nur kurze Clips verarbeitest, sind Ranglisten für lange Videos für dich unerheblich. Bei der Dokumentanalyse gilt: Je mehr ein Agent arbeitet, indem er auf einen Bildschirm schaut und darauf handelt – wie Cursor –, desto mehr zählt die Rückgabe von Positionen statt reiner Genauigkeit.

6. Benchmarks lesen – MMMU-Pro trennt die Spitze nicht mehr

Als MMMU, ein fächerübergreifender Test mit Bildern, Ende 2023 erschien, erreichte GPT-4V 56 %. Beim schwierigeren Nachfolger MMMU-Pro (veröffentlicht im September 2024) liegen die besten Modelle inzwischen nahe 90 %. Gemessen vom unabhängigen Anbieter Artificial Analysis (die Reasoning-Einstellung unterscheidet sich je Modell): Gemini 4 Carbon (Medium) 89 %, Claude Opus 5.5 (Max, Default Fallback) 88 %, GPT-6 Astra (Max) 87 % (Bewertungsseite zu MMMU-Pro, geprüft am 12. November 2026). Die Spitze liegt nur 1–2 Punkte auseinander.

Die Anbieter wechseln zu Tests, die noch trennen. Im Abschnitt „multimodales Verständnis“ der Modellkarte von Gemini 4 Carbon (veröffentlicht am 10. November 2026) führt Google kein MMMU-Pro, sondern zwei andere Tests: Chartography und Blueprint-Bench 2 (Chartography: Gemini 4 Carbon 72,5 %, GPT-6 Astra 71,0 %, Claude Opus 5.5 66,3 % – Messungen von Google). Für die Modellwahl lohnt sich der Blick auf die folgenden vier, je nach Einsatzzweck.

Egal welche Zahl: Lies sie mit dem Wissen, ob der Anbieter selbst oder ein Dritter gemessen hat. Anbieter wählen gern günstige Tests; Tabellen von Dritten haben einheitliche Bedingungen, decken aber weniger Tests ab. Am Ende ist der Test mit deinem eigenen Material, wie in §7, die verlässlichste Prüfung.

7. Nach Einsatzzweck – was du vor der Wahl prüfen solltest

Hier sind fünf Einsatzzwecke und was vor der Entscheidung zu prüfen ist. Sie sind als Prüfschritte formuliert, nicht als Modellnamen, und gelten daher auch, wenn neue Modelle erscheinen.

8. Fallstricke und Grenzen

Anthropics Dokumentation nennt die Grenzen des Bildverständnisses klar (Abschnitt Limitations der Vision-Dokumentation). Sie bezieht sich auf Claude, doch andere Modelle stolpern oft an denselben Stellen.

Eine Vermutung aus einem Foto nicht für eine Tatsache halten

Auch wenn du bittest „lies den Betrag auf diesem Beleg ab“, kann ein dunkles, schiefes oder kleines Bild das Modell zu einer plausibel wirkenden, aber erfundenen Zahl verleiten. Selbst Modelle nahe 90 % bei MMMU-Pro liegen etwa bei jeder zehnten Aufgabe falsch. Beträge, Daten und Eigennamen sollte immer ein Mensch mit dem Originalbild abgleichen – besonders in Recht, Finanzen und Medizin.

Je länger das Video, desto mehr geht in der Mitte verloren

Selbst Spitzenmodelle bei Videotests tun sich schwer, genaue Details aus der Mitte eines einstündigen Videos zu holen (dasselbe Problem wie Lost in the Middle bei langen Texten). Für Schlüsselszenen hilft es, zeitlich einzugrenzen – „analysiere nur 30:00–35:00 genau“ –, um genauer zu werden.

Audio hat Mühe mit Dialekten, Fachjargon und überlappenden Stimmen

Bei normalen Gesprächen ist die Genauigkeit hoch, aber Fehler nehmen zu bei starkem Dialekt, Fachjargon, mehreren gleichzeitig Sprechenden und lauter Umgebung. Für wichtige Aufnahmen wie Besprechungsprotokolle nutzt du ein spezielles Transkriptionsmodell (GPT-Transcribe von OpenAI, Gemini 3.5 Transcribe von Google und Ähnliche, Stand November 2026) und gibst Eigennamen vorab mit.

Zusammenfassung

• Multimodale KI ist KI, die Eingaben außer Text annimmt (Bilder, PDFs, Audio, Video). Was du schicken kannst, hängt vom Modell ab.
• In den APIs mit Stand 12. November 2026 nehmen Claude und die Allzweckmodelle von OpenAI Text, Bilder und PDFs an, während Gemini 4 und die Omni-Modelle von Qwen auch Audio und Video in einem Modell annehmen. OpenAI leitet Audio an eigene Sprachmodelle.
• Bild-Tokens zählen so: Claude = 28-Pixel-Blöcke, OpenAI = 32-Pixel-Blöcke × 1,2, Gemini = Obergrenze je Auflösungseinstellung. GPT-6 Astra behält standardmäßig die Originalgröße; Handyfotos sinken mit detail: "high" oder Verkleinern auf etwa ein Fünftel.
• Video bei Gemini sind etwa 360.000 Tokens pro Stunde. Bei Claude und OpenAI schickst du Einzelbilder und transkribierst den Ton separat.
• Bei MMMU-Pro liegen die besten Modelle dicht bei 90 %. Prüfe Video, Dokumente und Audio mit ihren eigenen Tests und deinem eigenen Material.
• Schlechte Bilder, Positionen, Zählungen, die Mitte langer Videos und Audio mit Dialekt sind fehleranfällig. Lass Beträge und Daten von einem Menschen prüfen.

Für den Einstieg gibst du der KI, die du nutzt, einen eigenen Screenshot oder ein PDF, bittest sie, „die Zahlen der Tabelle genau abzuschreiben“, und vergleichst mit dem Original. Wenn du siehst, wo sie danebenliegt, weißt du, wie weit du dem Modell vertrauen kannst.

FAQ