Сколько VRAM нужно для локальной LLM: гайд по железу [2026]

Когда хочется начать с локальной LLM, первое, что обычно беспокоит: «А она вообще запустится на моём ПК?» Короткий ответ: 90% требуемых характеристик сводятся к VRAM (памяти вашего GPU). Разберитесь с этим — и сразу поймёте, что запустится, а что нет.

В этой статье собраны быстрая таблица VRAM по размеру модели, простая формула, ловушка с памятью, которая растёт вместе с длиной контекста, реалистичные скорости для каждого GPU/Mac и, наконец, рекомендуемые сборки по бюджету. Терминов по минимуму, чтобы даже новичок понял, «что же мне купить».

1. Главный вывод: почти всё решает VRAM

В выборе ПК участвует множество комплектующих — CPU, GPU, память, — но для локальных LLM самое важное — это VRAM (видеопамять, память на GPU). Причина проста: если вся модель помещается в VRAM, она работает быстро и плавно; если нет — она становится мучительно медленной или вообще не запускается.

Чипы Apple серии M (Mac) — особый случай: благодаря «унифицированной памяти» установленный RAM можно напрямую использовать как VRAM. Поэтому Mac с большим объёмом памяти может запускать крупные модели даже без выделенного GPU — об этом дальше.

2. Сначала разберитесь с квантизацией — она меняет всё

Прежде чем говорить о требуемом VRAM, не обойтись без квантизации. Это приём, который сжимает модель, делая её легче, и от степени сжатия потребность в памяти меняется в несколько раз.

3. Сколько VRAM нужно по размеру модели (быстрая таблица)

Исходя из самой практичной квантизации Q4, вот примерные ориентиры по VRAM в зависимости от размера (с запасом под контекст). Сравните с «VRAM вашего GPU» — и сразу увидите свой предел.

Если подниматься выше, к 100B+ (очень крупные модели), нужно 128 GB и больше — это уже за пределами частного диапазона. И наоборот, крошечная модель 1–3B работает примерно в 4 GB, так что даже скромный ПК может начать.

4. Ловушка длины контекста и KV-кэша

Легко упустить: память растёт вместе с длиной контекста. LLM держит историю диалога и ввода в VRAM в виде KV-кэша. Чем длиннее текст, с которым вы работаете, тем больше памяти он занимает сверх самой модели.

5. GPU и Mac на практике (ориентир по скорости)

Даже для одной и той же модели железо сильно меняет скорость (число генерируемых токенов в секунду = tok/s). Вот основные варианты с примерным ощущением (цифры — ориентиры, они зависят от конфигурации и модели).

6. Что нужно помимо VRAM

VRAM — главный герой, но и поддерживающий состав важен. Минимум три вещи, которые стоит обеспечить.

7. Рекомендуемые сборки по бюджету (3 уровня)

Три варианта, отвечающие на вопрос «так что же мне на самом деле купить?» Выбирайте по сценарию использования и бюджету.

8. Как понять, какую модель вы потянете

Не знаете, какую модель выбрать? Смотрите сравнение лучших локальных LLM — выбор по задаче, размеру и происхождению.

Проверьте в три шага до покупки или загрузки — и не ошибётесь.

1. Узнайте свой VRAM (или унифицированную память вашего Mac). Это ваш потолок.
2. Прикиньте примерную потребность по формуле размер модели (B) × ~0,6 (Q4). Добавьте +10–20% на контекст.
3. Убедитесь, что итог укладывается в ваш VRAM. Если нет — возьмите «на размер меньше» или «более сильную квантизацию (Q4 → ещё ниже по битам)».

Итоги

Характеристики, нужные для локальной LLM, сводятся к трём пунктам.

• VRAM — главный герой: помещается ли модель в память — это всё. Mac может целиться в большой объём через унифицированную память.
• Квантизация и контекст сдвигают число: на Q4 ориентир — «размер (B) × ~0,6» плюс контекст (+10–20%). 7B ≈ 6–8 GB, 32B ≈ 24 GB, 70B ≈ 40 GB+.
• Три уровня по бюджету: начальный (8–12 GB) / стандартный (24 GB) / серьёзный (40–64 GB+). Если сомневаетесь, начните с малого и поднимайтесь постепенно.

Как только характеристики ясны, локальная LLM становится куда доступнее. Дальше, взвесив отличия от облака, запустите её на своей машине. Шаги по установке разобраны в материале как запустить локальную LLM.

FAQ