Was ist multimodale KI? — Die vereinheitlichte Text/Bild/Audio/Video-Architektur und die Kriterien für die Auswahl
Im April 2026 erreichte der multimodale Benchmark MMMU-Pro über GPT-5.5, Claude Opus 4.7, Gemini 3.1 Pro und Qwen 3.5 Omni hinweg 81–83 % — das Bildverständnis ist faktisch gesättigt. Die Architektur ist von zusammengefügt (separate Encoder + Adapter) zu nativ omnimodal (alle Modalitäten als gemeinsamer Token-Stream) gewandert. Dieser Artikel behandelt, was multimodale KI ist (LMM/VLM/Omnimodal), die architektonische Trennlinie und warum sie zählt, wovon die Stärke in der jeweiligen Modalität technisch abhängt (Frame-Dichte und Kontextlänge, native Sprachverarbeitung, Koordinatenausgabe, Lizenz) nebst einer Momentaufnahme vom Mai 2026, vier Benchmarks im Blick (MMMU-Pro, Video-MMMU, DocVQA, AudioBench), fünf Anwendungsfall-Entscheidungen sowie die drei harten Grenzen (Vermutungen aus minderwertigen Bildern, Genauigkeit in der Video-Mitte, Dialekt-/Jargon-Audio) — gestützt auf aktuelle Forschung und Praxiserfahrung.