Что такое мультимодальный ИИ? Что принимают модели, сколько это стоит в токенах и как выбрать

Мультимодальный ИИ — это ИИ, который принимает на вход не только текст, но и изображения, PDF, аудио и видео и отвечает по ним. Но ярлык «мультимодальный» мало говорит о том, что на самом деле можно отправить: от модели к модели это сильно различается. Если проверить официальную документацию компаний на 12 ноября 2026 года, API Claude и универсальных моделей OpenAI принимают текст, изображения и PDF, а Gemini 4 от Google и модели Omni от Qwen принимают аудио и видео напрямую. Кроме того, три крупные компании по-разному считают токены изображения, так что одна и та же фотография с телефона может дать в одной модели более чем в десять раз больше входных токенов, чем в другой.

В статье разберём, как устроен мультимодальный ИИ (составной и нативный подходы), приведём таблицу того, что принимают основные модели, формулы подсчёта токенов для изображений, видео и PDF с расчётами, объясним, как читать бенчмарки, что проверять под каждую задачу и какие ограничения признаёт сама официальная документация.

1. Что такое мультимодальный ИИ — ИИ, принимающий не только текст

Определение: «модель ИИ, которая умеет работать и с нетекстовыми входными данными (изображениями, аудио, видео и т. д.)». Насколько далеко это заходит, зависит от модели — от только текста и изображений до аудио и видео в одной модели.

Раньше ИИ создавали под одну модальность. GPT-3 работал только с текстом, Whisper только превращал речь в текст, Stable Diffusion только превращал текст в изображения. Чтобы их совместить, приходилось строить «конвейер», передающий выход одной модели на вход другой, и по пути терялась информация. Как устроена часть, генерирующая текст, объясняется в статье Что такое LLM.

В мультимодальном ИИ одна модель смотрит сразу на несколько входов и отвечает. Например, запрос «посмотри на сообщение об ошибке на этом скриншоте (изображение) вместе с моим вопросом (текст) и назови причину» решается одним вызовом API.

2. Составной и нативный — два способа устройства

Есть две базовые архитектуры. Раньше обычно соединяли отдельные модели в цепочку: одна распознаёт речь, другая думает над текстом, третья зачитывает ответ (OpenAI описывает голосовой режим ChatGPT до GPT-4o именно как такую цепочку из трёх моделей). Сейчас распространяются архитектуры, где одна модель напрямую принимает несколько типов входа.

Конкретный пример: задача «посмотри это кулинарное видео и запиши рецепт». Составной системе нужно несколько этапов — «распознать звук речевой моделью, потом пересказать текстовой моделью» плюс «вытащить кадры из видео и разобрать их отдельно». Модель, принимающая видео напрямую, получает всё видео одним вызовом API и внутри себя сопоставляет устное объяснение с действиями на экране.

Но не все компании перешли на одну нативную модель. OpenAI разделяет работу: универсальные модели (например, GPT-6 Astra) принимают текст и изображения, голосовые разговоры обслуживают голосовые модели GPT-Live-1 и GPT-Realtime, а расшифровку — модели вроде GPT-Transcribe (список моделей OpenAI, проверено 12 ноября 2026 года). Под каждую задачу выбирается отдельная модель, а сами голосовые модели принимают звук напрямую и отвечают голосом. Полнодуплексный голосовой разговор — слушать, пока говоришь, — разобран в нашей статье о GPT-Live.

3. Что принимают основные модели — таблица по официальной документации

В таблице — типы входных данных, которые, по документации API каждой компании, принимаются (проверено 12 ноября 2026 года). Функции, которые за кулисами проходят через другую модель или расшифровку, например голосовой режим приложения, сюда не входят.

Источники: обзор моделей Anthropic («все актуальные модели поддерживают ввод текста и изображений и вывод текста») и поддержка PDF; страница GPT-6 Astra у OpenAI (вход: text, image; выход: text) и руководство по входным файлам; карточка модели Gemini 4 Carbon и список моделей Gemini API; документация Qwen-Omni от Alibaba Cloud; журнал изменений API DeepSeek (у V4.1 Flash «нативное мультимодальное визуальное понимание»). Актуальный состав моделей — в нашем списке моделей и дат отсечения знаний.

Бросаются в глаза три вещи.

• Все три крупные компании читают PDF как «изображения страниц плюс извлечённый текст». Claude превращает каждую страницу в изображение и передаёт модели вместе с ним извлечённый текст страницы. OpenAI на моделях со зрением тоже отправляет и текст, и изображения страниц. Поэтому таблицы и графики читаются — и поэтому PDF расходуют больше токенов (§4).
• Аудио и видео делят компании на «выбрать другую модель» и «всё в одну модель». Gemini 4 и модели Omni от Qwen принимают их в одной модели. OpenAI отправляет звук в голосовые модели и модели расшифровки, а API Claude не принимает ни аудио, ни видео. Чтобы работать с видео в Claude или в универсальных моделях OpenAI, нужно вырезать кадры, отправить их как изображения и отдельно расшифровать звук.
• Выход почти всегда текстовый. Изображения создают модели генерации изображений (наше сравнение генераторов изображений), а голосом отвечают голосовые модели: «понимать» и «создавать» часто поручено разным моделям.

По Qwen документация Alibaba Cloud называет Qwen3.8-Omni-Flash (вход: текст, изображения, аудио, видео; выход: текст; контекст 1 млн токенов) и Qwen3.5-Omni (выход: текст и аудио; до 3 часов аудио и 1 часа видео). В списке моделей Google тоже есть отдельные модели для голосового диалога с малой задержкой (Gemini 3.8 Live) и для расшифровки (Gemini 3.5 Transcribe).

4. Сколько токенов в изображении, видео и PDF — формулы и примеры

Мультимодальный вход, как и текст, пересчитывается в токены и оплачивается — но у каждой из трёх компаний свой способ пересчёта. Вот формулы из их документации (проверено 12 ноября 2026 года).

Расчёт: сколько токенов даёт одно и то же изображение

Мы применили формулы к двум типичным изображениям. Стоимость указана только за вход; рассуждения модели и вывод оплачиваются отдельно.

Источники цен: Anthropic, OpenAI, цены Gemini API (всё проверено 12 ноября 2026 года; суммы в долларах США). Значение Claude для Full HD совпадает с таблицей в документации Anthropic. Значения Gemini — это потолки, реальное число такое же или меньше.

Вывод: разница в токенах почти целиком зависит от того, уменьшается ли изображение. GPT-6 Astra по умолчанию сохраняет исходное разрешение — это помогает с мелким шрифтом, но делает большие фото дорогими. Если вы отправляете много фото с телефона, поставьте detail в high или уменьшайте их перед загрузкой — вход сократится примерно до пятой части. И наоборот, у Gemini есть настройки, чтобы поднять разрешение, когда нужно прочитать мелкий текст. Какой бы ни была формула, обрезать лишнее перед отправкой — самое действенное.

Видео и аудио: сколько токенов в часе

• Gemini (видео как есть): по умолчанию берётся один кадр в секунду. Документация Google по видео указывает «около 100 токенов на секунду видео при стандартном разрешении и около 300 при высоком». Час — это около 360 000 токенов, так что в модель на 1 млн токенов помещается около 3 часов по умолчанию и около 1 часа в высоком разрешении (документация о понимании видео). У Gemini 4 и других моделей есть и необязательное «агентное понимание видео», которое смотрит только нужные фрагменты; по словам Google, на длинных видео оно расходует до 88% меньше токенов, но на коротких роликах (меньше 5 минут) и при общих вопросах, требующих просмотра почти всего видео, оно может потратить больше токенов и времени.
• Gemini (только аудио): при 25 токенах в секунду час аудио — это 90 000 токенов.
• Claude и OpenAI (кадры как изображения): кадр 1280×720 — это 46×26 = 1196 токенов в Claude и 40×23×1,2 = 1104 токена в GPT-6 Astra. Один кадр каждые 10 секунд в течение часа (360 кадров) — примерно 400 000–430 000 токенов, без звука. У GPT-6 Astra запрос, где больше 272 000 входных токенов, целиком тарифицируется по двойной цене входа и 1,5-кратной цене вывода, поэтому длинное видео дешевле отправлять частями. Claude принимает до 600 изображений за запрос, но при числе больше 20 действует более строгий лимит размера на каждое изображение (если длинная сторона не больше 3000 пикселей, он соблюдается на всех платформах).

PDF: стоимость растёт с числом страниц

По документации Anthropic, одна страница PDF обычно занимает 1500–3000 токенов только на текст плюс изображение страницы по формуле выше (до 600 страниц за запрос или 100, если контекстное окно меньше 1 млн токенов). OpenAI тоже добавляет изображения страниц, и поскольку у PDF detail по умолчанию high начиная с GPT-5.6, доля изображений велика (суммарно файлы до 50 МБ на запрос). Gemini не берёт плату за встроенный в PDF текст и считает страницы как изображения (до 1000 страниц или 50 МБ; документация по обработке документов). Для документов больше 100 страниц дешевле и надёжнее отправлять только нужные разделы. Общие советы по экономии — в статье как снизить расходы на токены.

5. Что определяет силу в каждой модальности

«Какая модель лучшая» меняется с каждым поколением. Полезным остаётся понимание того, что технически определяет силу в каждой модальности. По этим четырём осям вы сможете сами оценивать новые модели.

С этой точки зрения разрыв в видео растёт с длительностью. Video-MME оценивает ролики от 11 секунд до 1 часа в трёх группах (короткие, средние и длинные), и многие модели в его официальном рейтинге проседают на длинных. Если вы работаете только с короткими роликами, рейтинги по длинным видео вас не касаются. В анализе документов: чем больше агент работает, глядя на экран и действуя на нём, — как Cursor, — тем важнее умение возвращать позиции, а не просто точность.

6. Как читать бенчмарки — MMMU-Pro больше не разделяет лидеров

Когда в конце 2023 года вышел MMMU — междисциплинарный тест с изображениями, — GPT-4V набрал 56%. На более сложном преемнике MMMU-Pro (выпущен в сентябре 2024 года) лучшие модели уже близки к 90%. По замерам независимой компании Artificial Analysis (настройка рассуждений у моделей разная): Gemini 4 Carbon (Medium) — 89%, Claude Opus 5.5 (Max, Default Fallback) — 88%, GPT-6 Astra (Max) — 87% (страница оценки MMMU-Pro, проверено 12 ноября 2026 года). Лидеров разделяют всего 1–2 пункта.

Компании переходят на тесты, которые ещё различают модели. В разделе «мультимодальное понимание» карточки модели Gemini 4 Carbon (опубликована 10 ноября 2026 года) Google не приводит MMMU-Pro, а показывает два других теста — Chartography и Blueprint-Bench 2 (Chartography: Gemini 4 Carbon — 72,5%, GPT-6 Astra — 71,0%, Claude Opus 5.5 — 66,3%; замеры Google). При выборе модели смотрите на следующие четыре в зависимости от задачи.

Какой бы ни была цифра, читайте её, зная, мерила ли её сама компания или третья сторона. В анонсах компании охотно выбирают выгодные тесты; таблицы третьих сторон дают единые условия, но охватывают меньше тестов. В итоге самая надёжная проверка — тест на вашем собственном материале, как в §7.

7. По задачам — что проверить перед выбором

Ниже пять задач и что проверить перед решением. Они описаны как шаги проверки, а не как названия моделей, поэтому остаются полезными и после выхода новых моделей.

8. Подводные камни и ограничения

Документация Anthropic прямо перечисляет ограничения понимания изображений (раздел Limitations в документации Vision). Она написана про Claude, но другие модели часто спотыкаются в тех же местах.

Не принимайте догадку по фото за факт

Даже если попросить «прочитай сумму на этом чеке», тёмное, перекошенное или мелкое изображение может привести к правдоподобному, но выдуманному числу. Даже модели около 90% в MMMU-Pro ошибаются примерно в одном случае из десяти. Суммы, даты и имена собственные всегда должен сверять с исходным изображением человек — особенно в юриспруденции, финансах и медицине.

Чем длиннее видео, тем больше теряется в середине

Даже лидеры видеотестов с трудом достают точные детали из середины часового видео (та же проблема, что и Lost in the Middle в длинных текстах). Для ключевых сцен сужайте запрос по времени — «подробно разбери только 30:00–35:00», — так точность выше.

Аудио плохо справляется с акцентами, жаргоном и наложением голосов

В обычном разговоре точность высокая, но ошибок становится больше при сильном акценте, профессиональном жаргоне, одновременной речи нескольких людей и шуме. Для важных записей вроде протоколов встреч используйте специализированную модель расшифровки (GPT-Transcribe от OpenAI, Gemini 3.5 Transcribe от Google и подобные, на ноябрь 2026 года) и заранее передайте ей имена собственные.

Итог

• Мультимодальный ИИ — это ИИ, принимающий нетекстовые входы (изображения, PDF, аудио, видео). Что можно отправить, зависит от модели.
• В API на 12 ноября 2026 года Claude и универсальные модели OpenAI принимают текст, изображения и PDF, а Gemini 4 и модели Omni от Qwen принимают также аудио и видео в одной модели. OpenAI направляет звук в отдельные голосовые модели.
• Токены изображений считаются так: Claude — блоки по 28 пикселей, OpenAI — блоки по 32 пикселя × 1,2, Gemini — потолок для каждой настройки разрешения. GPT-6 Astra по умолчанию сохраняет исходный размер, поэтому фото с телефона с detail: "high" или после уменьшения обходятся примерно в пять раз дешевле.
• Видео в Gemini — около 360 000 токенов в час. В Claude и OpenAI кадры отправляются как изображения, а звук расшифровывается отдельно.
• В MMMU-Pro лучшие модели сгрудились около 90%. Видео, документы и аудио проверяйте их собственными тестами и на своём материале.
• Плохие изображения, позиции, подсчёт, середина длинных видео и речь с акцентом — зоны ошибок. Суммы и даты пусть проверяет человек.

Для начала дайте используемому ИИ свой скриншот или PDF, попросите «точно переписать числа из таблицы» и сравните с оригиналом. Увидев, где он ошибается, вы поймёте, насколько можно доверять этой модели.

FAQ