Как запустить локальную LLM: ИИ на собственном ПК — характеристики, инструменты и лучшие модели для новичков

Вы наверняка считаете, что большая языковая модель (LLM) обязательно работает в облаке. На самом деле запуск ИИ целиком внутри собственного ПК — «локальная LLM» — сегодня вполне реальный вариант. Ваши данные не покидают компьютер, нет платы за API, и всё работает без интернета. Небольшие модели весят всего несколько гигабайт, так что их потянет даже обычный ноутбук.

В этой статье для новичков разобрано, что такое локальная LLM, её плюсы и минусы, нужные характеристики ПК, как начать (от установки Ollama по официальной инструкции до проверки работы), как выбрать модель и когда она лучше облака.

1. Что такое локальная LLM?

Локальная LLM — это запуск ИИ-модели вроде ChatGPT или Claude прямо на собственном ПК (или телефоне), а не в облаке. Привычный вам ИИ отправляет ваш ввод на удалённый сервер, обрабатывает его там и возвращает ответ — а локальная LLM делает всю эту обработку на машине прямо перед вами.

Представьте это как «стриминг музыки против скачивания». Облачный ИИ — это как воспроизведение по сети каждый раз, когда вы хотите послушать; локальная LLM — это как скачать трек на устройство, чтобы проигрывать его офлайн в любой момент. Один раз поместив модель — файл в несколько гигабайт — на свой ПК, вы можете запускать её без интернета и без оплаты.

2. Зачем локально? Плюсы и минусы

У локальных LLM есть три главных преимущества: приватность, стоимость и работа офлайн. Поскольку ввод никогда не покидает машину, с конфиденциальными данными проще, и нет платы за API. Раз нет оплаты за каждый запрос, разница тем больше, чем чаще вы повторяете одну и ту же задачу — тысячи раз.

Есть и минусы. Будем честны насчёт них.

Коротко: «на шаг позади передового края по уму, но явный победитель в приватности, стоимости и работе офлайн». Для задач, где такой компромисс приемлем, локальная LLM — мощный вариант.

3. Какие нужны характеристики ПК и квантование

«Запустится ли это на моём ПК?» — наверняка главный вопрос. Ключевые факторы — память (RAM или видеопамять GPU) и квантование.

Квантование — это метод сжатия, который снижает точность чисел в модели в обмен на гораздо меньший размер. Стандартный формат для локального запуска — GGUF, а Q4_K_M считается эталонным компромиссом. Насколько он уменьшает модель, видно в списке тегов Ollama: Llama 3.1 8B занимает 16 GB в 16 битах (fp16) и 4,9 GB в Q4_K_M — примерно 30 % от исходного размера. Именно эту версию Q4_K_M скачивает ollama run llama3.1:8b (теги llama3.1, по состоянию на 30 сентября 2026 года). На Hugging Face опубликовано 207 667 моделей в формате GGUF (фильтр GGUF на Hugging Face, на ту же дату).

Сколько же они занимают на практике? Вот размеры загрузки из библиотеки моделей Ollama — от меньшего к большему.

*Источник: страницы тегов в библиотеке моделей Ollama (на 30 сентября 2026 года). Диапазоны размеров приведены так, как их показывает библиотека. Аудио: таблица на странице gemma4 указывает его только для E2B и E4B (в самом списке тегов — «Текст, Изображение»). Строка muse-glimmer — из списка тегов muse-glimmer (на 5 октября 2026 года).

Два совета, как читать таблицу:

• Памяти нужно больше, чем весит файл: в таблице — размеры файлов. При работе к ним добавляется память под историю диалога (контекст). По умолчанию контекст в Ollama — 4096 токенов, и чем длиннее вы его задаёте, тем больше памяти он занимает (FAQ Ollama).
• Поместилась ли модель в GPU, покажет ollama ps: если в столбце PROCESSOR написано «100% GPU», вся модель в видеопамяти; «100% CPU» — она работает в оперативной памяти. Разбивка вроде «48%/52% CPU/GPU» значит, что часть не поместилась (там же, в FAQ). Часть на CPU обычно работает медленнее — это сигнал спуститься на один тег меньше.

На Mac с Apple Silicon процессор и GPU используют общую память (унифицированную), поэтому Mac с большим объёмом памяти легче запускает крупные теги на GPU. Требования к системе и железу по официальным страницам инструментов — такие.

Источники: документация Ollama для macOS и Windows, а также системные требования LM Studio (всё на 30 сентября 2026 года).

NPU (специализированный блок для ИИ), который есть в последних ноутбуках, Ollama пока не использует. Что делает NPU, см. в статье «Что такое NPU и нужен ли он ПК».

Для первой пробы вполне хватит тегов из верхней части таблицы (около 2–5 GB).

Наоборот, в инструментах вроде Claude Code и Codex, которые запускают модель на сервере, производительность ПК влияет только на время выполнения локальных команд и запас памяти. Время, которое ИИ тратит на раздумья, не меняется (Claude Code и Codex: какие характеристики ПК нужны).

4. Как начать — выбор инструмента и первый запуск

Если хотите глубже разобраться в Ollama, загляните в наше полное руководство по Ollama (команды, API, настройка).

Выберите один из двух проверенных инструментов в зависимости от того, как вам удобнее работать.

Оба бесплатны и работают в Windows, Mac и Linux. Есть и другие — Jan, Open WebUI, llama.cpp. Если вам привычнее кликать, чем печатать, установите LM Studio и скачайте одну небольшую модель — это самый быстрый путь. Если терминал вас не пугает, по шагам для Ollama ниже всё заработает за несколько минут.

Первый запуск модели в Ollama

Здесь мы идём по шагам из официального README и документации Ollama — от установки до проверки работы (на 30 сентября 2026 года). Полный список команд и подробности — в разделе о командах нашего руководства по Ollama; здесь ограничимся четырьмя вещами, которые нужны в первый раз.

1. Установка. В macOS и Linux выполните в терминале эту строку:

curl -fsSL https://ollama.com/install.sh | sh

В Windows выполните эту строку в PowerShell:

irm https://ollama.com/install.ps1 | iex

Если не хочется запускать скрипт из интернета напрямую, подойдут и официальные ручные загрузки (Ollama.dmg для Mac, OllamaSetup.exe для Windows и инструкция по ручной установке для Linux). Для Docker есть официальный образ ollama/ollama (README Ollama).

2. Запуск модели. Как в первом примере README, запустим Gemma 4. Если модели ещё нет на компьютере, сначала она скачается, а потом начнётся диалог.

ollama run gemma4

Тег gemma4 по умолчанию занимает 6,6–9,5 GB. Если памяти мало, укажите тег поменьше, например ollama run gemma4:e2b или ollama run llama3.2 (2,0 GB).

3. Проверка работы. В другом терминале выполните команду ниже — она покажет загруженную модель и столбец PROCESSOR (GPU или CPU). Как сказано в разделе 3, идеал — «100% GPU».

ollama ps

4. Уборка. ollama stop gemma4 выгружает модель из памяти, а ollama rm gemma4 удаляет её, когда она больше не нужна. Модели хранятся в ~/.ollama/models в macOS, /usr/share/ollama/.ollama/models в Linux и C:\Users\%username%\.ollama\models в Windows; изменить путь можно переменной окружения OLLAMA_MODELS (FAQ Ollama).

5. Как выбрать модель (примеры на сентябрь 2026 года)

Модели меняются быстро, поэтому полезнее запомнить не названия, а критерии: (1) помещается ли модель в вашу память (таблица в разделе 3), (2) нужен ли ввод изображений или аудио, (3) сильна ли она в вашей задаче — например, в вашем языке или коде, (4) обновляется ли она. Названия, размеры и даты обновлений можно проверить в библиотеке моделей Ollama. Характерные примеры на 30 сентября 2026 года:

Секрет в поэтапности: попробуйте небольшой тег, убедитесь через ollama ps, что он в GPU, и переходите на размер больше, только если его не хватает. Как и в нашем сравнении облачных ИИ, подходит ли модель под вашу задачу, можно узнать только на практике.

6. Локально или в облаке: что когда выбирать

Чтобы глубже разобраться в различиях, разрыве в качестве и выборе между локальной и облачной LLM, см. нашу статью локальная LLM против облачной LLM.

Локально и облако — это не «или-или»: умный ход — это разделить их по ролям.

• Локально подходит для: работы с конфиденциальными данными, массовых или повторяющихся задач, офлайн-сред и рутинной работы, где хочется снизить затраты.
• Облако подходит для: сложных задач, требующих максимальной точности, исследований, которым нужна актуальная информация, и тяжёлого программирования — где блистают топовые модели вроде ChatGPT, Claude и Gemini.

Например, схема «черновики, классификацию и саммари делать локально и бесплатно, а в облако отправлять только финальную доводку или сложные части» работает хорошо. Но «бесплатно» относится только к плате за API: электричество и железо всё равно стоят денег. При небольшом объёме облако может оказаться дешевле — что выгоднее, зависит от того, сколько вы используете.

Итоги

Три вывода о локальных LLM.

• Что это: запуск ИИ-модели на собственном ПК. Данные никогда не уходят, нет платы за API и нет ограничений по офлайну.
• Как начать: LM Studio для новичков, Ollama для разработчиков (установка официальным скриптом, запуск через ollama run, проверка через ollama ps, что модель в GPU). Начните с небольшого тега около 2–5 GB. Квантование (Q4_K_M) уменьшает модель примерно до 30 % от размера в fp16.
• Когда использовать: облако умнее. Используйте локально для конфиденциальной, массовой и офлайн-работы, а облако — для сложных задач; сочетание обоих оптимально.

Начните с установки LM Studio и запуска одной небольшой модели. Опыт того, как «ИИ говорит целиком внутри вашего ПК», освежает сильнее, чем можно ожидать. Если хотите разобраться в механике, посмотрите также, как работают LLM.

FAQ