Was ist multimodale KI? — Die vereinheitlichte Text/Bild/Audio/Video-Architektur und die Kriterien für die Auswahl

Beim multimodalen KI-Benchmark MMMU-Pro (multidisziplinäres Verständnis über Bilder, Diagramme und Abbildungen hinweg) liegen die besten Modelle inzwischen über 80 %. OpenAI meldete im April 2026 81,2 % für GPT-5.5 (ohne Tools), Google im Februar 80,5 % für Gemini 3.1 Pro. Als das ursprüngliche MMMU Ende 2023 erschien, erreichte GPT-4V rund 56 %. MMMU-Pro ist eine schwierigere Fassung von MMMU (veröffentlicht im September 2024), also nicht derselbe Maßstab — trotzdem knacken die Modelle nun auf der schwereren Fassung die 80 %. Die Ära der „reinen Text“-KI ist endgültig vorbei.

Nicht nur die Werte haben sich verändert. Auch die Bauweise verschiebt sich von „zusammengefügt“ zu „nativ“. Früher war es üblich, getrennte Modelle hintereinanderzuschalten: eines für die Transkription, eines für das Denken über den Text, eines für das Vorlesen der Antwort (OpenAI beschreibt den Sprachmodus von ChatGPT vor GPT-4o genau als diese Kette aus drei Modellen). Heute sind Entwürfe verbreitet, bei denen ein Modell mehrere Eingabearten direkt annimmt, und Gemini sowie die Omni-Reihe von Qwen verarbeiten alle vier — Text, Bild, Audio und Video — in einem Modell. Aber nicht alle Anbieter sind diesen Weg gegangen: Stand September 2026 nehmen das Flaggschiffmodell von OpenAI und die Claude-API nur Text und Bilder als Eingabe an; Audio übernimmt bei OpenAI ein eigenes Sprachmodell wie gpt-realtime (siehe Tabelle in §4).

Meine Position vorab: Multimodal ist vom „nice to have“ zum „ohne geht nichts“ geworden. Ein Foto eines Fehlerbildschirms machen und KI das Problem auf der Stelle lösen lassen, einen PDF-Screenshot anfertigen und die Kernpunkte herausziehen, ein YouTube-Video transkribieren und zusammenfassen — das ist 2026 die Basis der KI-Kompetenz. Dieser Artikel behandelt die Definition, den Unterschied zwischen zusammengefügter und nativer Multimodalität, wovon die Stärke in der jeweiligen Modalität technisch abhängt, woran du die Wahl je nach Anwendungsfall festmachst, die Benchmarks und die Fallstricke. Weil er um die Art zu urteilen herum gebaut ist und nicht um die Rangfolge irgendeines Modells, bleibt er über Modellgenerationen hinweg brauchbar.

1. 2026 hat KI aufgehört, „nur Text“ zu sein — MMMU-Pro knackt 80 %

„Multimodal“ wurde 2024 zum Trendwort, doch die Modelle kurz davor konnten Bilder nur als Beigabe lesen: Als MMMU (multidisziplinäres multimodales Verständnis) Ende 2023 erschien, kam selbst das beste Modell, GPT-4V, nur auf rund 56 %. Der mittlere menschliche Experte (82,6 %) lag bei Bildaufgaben, die Fachwissen erforderten, weit außer Reichweite.

2026 sieht völlig anders aus. Veröffentlichte MMMU-Pro-Werte (die schwierigere Fassung von MMMU):

• GPT-5.5: 81,2 % (ohne Tools), 83,2 % (mit Tools) — Ankündigung von OpenAI, April 2026
• Gemini 3.1 Pro: 80,5 % (ohne Tools) — Evaluationsdokument von Google DeepMind, Februar 2026
• Qwen3.5-Omni-Plus: 73,9 % — technischer Bericht des Qwen-Teams, April 2026
• Zum Vergleich: menschliche Experten (Median) 80,8 % — offizielle MMMU-Rangliste

„80 % zu knacken bedeutet, dass der Benchmark sättigt“ ist die Realität 2026. Die Differenzierung hat sich auf Videoverständnis (Video-MMMU), OCR-lastige Dokumente und gemeinsames audiovisuelles Schlussfolgern verlagert — schwierigeres Terrain. Das öffentliche Leaderboard bei MMMU benchmark erlaubt jedem den Vergleich.

2. Was ist multimodale KI? — KI, die mehr als Text versteht

Definition: „ein KI-Modell, das auch andere Eingaben als Text annimmt (Bilder, Audio, Video usw.)“. Wie weit das reicht, hängt vom Modell ab — von Text plus Bild bis zu Audio und Video in einem einzigen Modell (siehe Begriffskasten unten).

Traditionelle KI war monomodal: GPT-3 verarbeitete Text; Whisper nur Sprache zu Text; Stable Diffusion nur Text zu Bild. Eine Kombination erforderte eine Pipeline, in der die Ausgabe eines Modells in das nächste eingespeist wurde, und an jeder Übergabe ging Information verloren.

Bei multimodaler KI betrachtet ein Modell mehrere Eingaben gleichzeitig und antwortet. Etwa: „Sieh dir die Fehlermeldung in diesem Screenshot (Bild) zusammen mit meiner Frage (Text) an und nenne mir die Ursache“ — erledigt in einem einzigen API-Aufruf.

3. Zusammengefügt vs. nativ — Die architektonische Trennlinie

Wer den Unterschied im Mechanismus versteht, kann die Stärken der Modelle leichter einordnen. Grob gibt es zwei Bauweisen.

Ein konkretes Beispiel: „Sieh dir ein Kochvideo auf YouTube an und fasse das Rezept zusammen.“ Zusammengefügt: Audio → Whisper zu Text → GPT zum Zusammenfassen; Video → Frames herausziehen → separat analysieren. Viele Schritte. Ein natives Modell, das Video direkt annimmt (etwa Gemini), nimmt die ganze Videodatei und liefert das Rezept in einem einzigen API-Aufruf — und ordnet die gesprochene Erklärung der sichtbaren Handlung im Modell selbst zu.

4. Wovon die Stärke in der jeweiligen Modalität abhängt

„Welches Modell ist das beste?“ wird mit jeder Generation neu beantwortet. Die Spitze bei Video und das beste Sprach-Erlebnis haben in den letzten Jahren im Halbjahrestakt den Besitzer gewechselt. Merken solltest du dir deshalb nicht die Rangfolge, sondern wovon die Stärke in einer Modalität technisch abhängt. Wer das kennt, kann beim nächsten Modell selbst urteilen, statt auf ein Ranking zu warten.

Die folgende Tabelle ist unsere grobe Einschätzung mit Stand Mai 2026, gestützt auf das, was die Anbieter zu den unterstützten Eingaben veröffentlicht hatten — keine Benchmark-Messungen. Die Rangfolge ändert sich: Welche Modelle du heute wählen kannst, zeigt die Liste der aktuellen Modelle, den direkten Vergleich findest du im Vergleichsartikel GPT-5.6 Sol vs. Gemini oder in den Modellkarten der Anbieter. Lies die Tabelle hier am besten als Beispiel dafür, wie sich die vier Achsen oben tatsächlich als Unterschied niederschlagen.

× = die API nimmt diese Eingabe nicht an (App-Funktionen, die über ein anderes Modell oder eine Transkription laufen, etwa Sprachchat, zählen nicht). Die Unterstützung wurde in Primärquellen geprüft: OpenAIs Modellseite zu GPT-5.5, Googles Modellseite zu Gemini 3.1 Pro, Anthropics Modellseite zu Claude Opus 4.7, der technische Bericht zu Qwen3.5-Omni, das API-Änderungsprotokoll von DeepSeek (abgerufen im September 2026).

Was sich aus dieser Tabelle ablesen lässt, ist: die vier Achsen wirken jeweils für sich:

• Bei Video öffnet sich der Abstand über die Länge: Video-MME bewertet Videos von 11 Sekunden bis zu einer Stunde in drei Gruppen (kurz, mittel, lang), und alle Modelle auf seiner offiziellen Rangliste schneiden in der langen Gruppe schlechter ab. Bei langen Laufzeiten werden ① Frame-Dichte und ② Kontextlänge zum Flaschenhals. Wenn du ohnehin nur kurze Videos verarbeitest, geht dich die Rangfolge bei Langvideos nichts an
• Bei Audio entscheidet die Architektur: Schnelle Antworten und gleichzeitig erhaltene Emotion lassen sich weit leichter verbinden, wo Sprache nativ verarbeitet und nicht erst in Text heruntergebrochen wird (eine Transkription bringt eigene Wartezeit und verliert die Betonung). Auch wenn in der Support-Matrix überall „Audio ◎“ steht — geht es über eine Transkription, ist das Erlebnis ein anderes
• Bei Dokumenten trennt sich die Sache an den Koordinaten: Dass das Lesen von PDFs und UI-Screenshots in Agenten-Setups wie Cursor so geschätzt wird, liegt weniger an der Genauigkeit selbst als daran, ob die Position mitgeliefert wird
• Bei Open Weight hängt der Wert daran, ob es omnimodal ist: Ein Modell, das alle Modalitäten allein abdeckt, ist im Betrieb ungleich leichter zu handhaben als ein Aufbau, der pro Modalität ein eigenes Modell zusammenschaltet. Und Qualität nahe der kommerziellen Spitze kommt inzwischen zu drastisch niedrigeren Preisen

5. Benchmarks, die zählen — MMMU / Video-MMMU / OCR / Audio

Du wählst das falsche Modell, wenn du nicht weißt, was jeder Benchmark tatsächlich misst. Vier Benchmarks, die man 2026 kennen muss:

6. Nach Anwendungsfall — Woran du es festmachst

Fünf Muster, jeweils mit der Frage „was prüfst du, bevor du dich entscheidest?“. Konkrete Modellnamen nenne ich hier bewusst nicht — dieser Abschnitt wäre sonst in einem halben Jahr veraltet. Stattdessen ein Vorgehen, das bei jedem neuen Modell gleich funktioniert.

• ① Handy-Foto-Fragen / Diagnose (Foto vom Essen → Nährwerte, Fehlerbildschirm → Lösung, Produktfoto → Suche)
  → Fast alles reicht dafür. Probier zwei kostenlose Pläne aus und nimm das, dessen Antworten dir von der Körnung her besser liegen. Hier ist der Abstand zwischen den Modellen am kleinsten — viel Zeit in die Auswahl zu stecken lohnt sich nicht
• ② PDF-/Dokumenten-Parsing (Belege, Verträge, technische Spezifikationen, Fachartikel)
  → Teste es mit deinem eigenen Material. Drei Kriterien: Bleiben Tabellen heil? Wird der Spaltensatz in der richtigen Lesereihenfolge verfolgt? Hält das Modell auch bei mies gescannten Seiten durch? Aussagekräftiger als jede OCR-Angabe im Datenblatt ist die schmutzigste Seite, die du hast
• ③ Video-Transkription und -Zusammenfassung (Meetings, Vorlesungen, YouTube)
  → Hier verzweigt es sich nach der Länge deiner Videos. Bei rund zehn Minuten sind die Unterschiede klein. Wenn du eine ganze Stunde am Stück hineinwirfst, greifen ① Frame-Dichte und ② Kontextlänge aus §4 — dann schaust du dir Video-Benchmarks für Langformat und die Fenstergröße an
• ④ Sprachkonversation / Dolmetscher / Interview-Training
  → Kläre zuerst, ob nativ verarbeitet wird. „Audio unterstützt“ heißt wenig: Läuft es über eine Transkription, hast du Verzögerung und flache Betonung. Der Test ist einfach — versuch dazwischenzureden, während die KI noch spricht
• ⑤ Kosten zuerst / Massenverarbeitung
  → Schau nicht nur auf den Stückpreis, sondern auf Batch-Rabatte und darauf, ob Eigenbetrieb realistisch ist. Wenn es Open Weight werden soll, lies vor der Leistung die kommerziellen Bedingungen der Lizenz

7. Harte Grenzen — Nutzen, nicht blind vertrauen

Multimodale KI ist stark, doch drei Grenzen werden dir um die Ohren fliegen, wenn du sie ignorierst.

Grenze ①: Aus Fotos abgeleitete „Vermutungen“ nicht als Fakten lesen

„OCR den Betrag auf diesem Beleg“ zu fragen klingt einfach, aber wenn das Bild niedrig aufgelöst, dunkel oder schief ist, erfindet die KI plausibel klingende Zahlen. Selbst ein Modell mit über 80 % bei MMMU-Pro liegt noch bei fast jeder fünften Antwort daneben. Beträge, Daten, Eigennamen — immer von einem Menschen gegenprüfen lassen. Vor allem in Recht, Finanzen, Gesundheitswesen.

Grenze ②: Video-Genauigkeit fällt in der Mitte ab

Selbst für das Modell an der Spitze der Video-Benchmarks gilt: Informationen aus der Mitte eines einstündigen Videos abzurufen ist schwer — dasselbe „Lost in the Middle“-Problem wie beim Kontextfenster-Thema. Bei Schlüsselsegmenten Zeitstempel angeben: „Analysiere konkret das Segment 30:00–35:00“ liefert deutlich bessere Ergebnisse.

Grenze ③: Audio kämpft mit Dialekten und Fachjargon

Standardenglisch / -japanisch wird genau transkribiert, doch regionale Dialekte, Fachvokabular, Mehrsprecher-Durcheinanderreden und laute Umgebungen erhöhen die Fehler. Für Sitzungsprotokolle und andere kritische Nutzung mit spezialisierten Werkzeugen (Otter.ai, Notta etc.) kombinieren, oder Audio zuerst aufbereiten, bevor es an die KI geht.

Zusammenfassung

Rückblick:

• 2026: GPT-5.5 und Gemini 3.1 Pro liegen bei MMMU-Pro über 80 % (Angaben der Hersteller; Werte und Quellen in §1). Multimodale KI ist vom „nice to have“ zum „must have“ geworden
• Die Bauweise verschiebt sich von Ketten getrennter Modelle (zusammengefügt) zu nativen Modellen, die mehrere Eingaben direkt annehmen. Alle vier in einem Modell bieten aber nur Gemini, die Omni-Reihe von Qwen und wenige andere; das Flaggschiffmodell von OpenAI und die Claude-API enden beim Bild (Stand September 2026)
• Über die Stärke entscheiden vier Achsen: Video = Frame-Dichte und Kontextlänge / Audio = native Verarbeitung oder Umweg über die Transkription / Dokumente = kommen Koordinaten zurück / Open Weight = omnimodal oder nicht, plus Lizenz. Die Rangfolge wechselt, diese Achsen nicht
• Benchmarks: MMMU-Pro / Video-MMMU / DocVQA / AudioBench — alle vier Achsen vor der Wahl prüfen
• Bei der Wahl nach Anwendungsfall ist „teste es mit deinem eigenen Material“ der kürzeste Weg. Gerade bei PDFs bringt dich die schmutzigste Seite auf deiner Festplatte schneller weiter als jeder Datenblattwert. Als Kombination ist ein Hauptmodell plus eines, das dessen Schwäche abdeckt, am stabilsten
• Drei Grenzen: Vermutungen aus minderwertigen Bildern / Genauigkeitsabfall in der Video-Mitte / Dialekt- und Jargon-Audio. Kritische Ausgaben gegenprüfen

2026 schrumpft KI-Arbeit, die sich „nur mit Text“ erledigen lässt, rasant. Handyfotos, Besprechungsaufnahmen, YouTube-Videos, PDFs — sie der KI zu geben, ist inzwischen Alltag (ob ein einzelnes Modell alles annimmt, hängt vom Modell ab). Multimodal nutzen zu können ist keine „nützliche Funktion“ mehr, sondern die Grundlage der KI-Kompetenz 2026. Fang heute damit an, der KI ein Foto von deinem Handy zu geben — das reicht für den Anfang.

FAQ