Программирование на локальной LLM: до чего реально доходят Ollama плюс Cline и Continue

Заставить модель, работающую на вашем собственном ПК, писать код. Само по себе это было возможно и несколько лет назад, но возможным было именно автодополнение — дописать продолжение начатой строки. Агентный сценарий, когда модель читает репозиторий, правит несколько файлов и запускает тесты, для локального железа был слишком тяжёлым.

С конца 2025 года и на протяжении 2026-го это сдвинулось. Эта статья разбирает, до чего реально можно дойти сегодня и где вы застрянете, опираясь только на первоисточники. Вывод сразу: это работает, но есть один барьер, и если не поменять одну настройку, всё ломается молча.

1. Что изменилось: открытые модели дошли до агентного уровня

Яснее всего перемену показывает то, что сами разработчики моделей теперь продвигают их как инструмент для агентного программирования.

В официальной карточке модели Qwen написано, что модель поддерживает большинство платформ, таких как Qwen Code и CLINE, и располагает специально спроектированным форматом вызова функций, то есть расширения для редактора названы прямым текстом (карточка модели Qwen3-Coder-30B-A3B-Instruct). Иначе говоря, модель создавалась с прицелом на конкретного кодового агента.

Mistral AI движется в ту же сторону. Devstral 2, представленная 9 декабря 2025 года, — это специализированная модель, прямо ориентированная на агентное программирование, и младшая Devstral Small 2 (24B) выпущена под лицензией Apache 2.0 (Introducing: Devstral 2 and Mistral Vibe CLI).

2. Инструментов два вида: Continue и Cline устроены по-разному

Если начать, путая эти два инструмента, ожидания разойдутся с результатом. Оба являются расширениями VS Code, оба подключаются к Ollama, но их идеология совершенно разная.

Схема Continue с отдельной моделью под каждую роль хорошо ложится на локальное железо, потому что автодополнению можно отдать маленькую быструю модель, а чату — крупную. Официальное руководство по Ollama прямо называет лёгкие модели для автодополнения, например qwen2.5-coder:1.5b и starcoder2:3b (Continue — Ollama guide).

3. Первая ловушка: длину контекста определяет ваш VRAM

Это самый важный раздел статьи. Пропустите его — и окажетесь в положении, когда настройка прошла успешно, а агент на середине работы начинает вести себя бессвязно. И никакой ошибки при этом не возникает.

Причина в длине контекста, которую Ollama берёт по умолчанию. Это не фиксированное значение: оно выбирается автоматически по объёму вашего VRAM (Ollama — Context length).

Обычный игровой ПК (8-16 ГБ VRAM) попадает в верхнюю строку. То есть 4k. Агент легко перешагивает этот порог, как только добавляются системный промпт, содержимое файлов и обмен вызовами инструментов, и тогда начало диалога тихо срезается. Он забывает указания, повторяет одно и то же действие, теряет цель: причина не в том, что модель глупая, а в том, что контекст выбрасывается прямо на входе.

Именно для такого сценария документация Ollama прямо указывает, что нужно задавать контекст не менее 64000 токенов для тяжёлых задач вроде веб-поиска и инструментов программирования. Настраивается это переменной окружения при запуске сервера.

OLLAMA_CONTEXT_LENGTH=64000 ollama serve

Если вы пользуетесь версией-приложением, то же самое меняется ползунком на экране настроек.

У Cline есть собственный ответ на ту же проблему. Официальная документация рекомендует включить Use Compact Prompt и сужать задачи, поскольку меньший контекст отвечает быстрее (Cline — Running models locally). Собственный системный промпт агента длинный, поэтому для его сжатия предусмотрена отдельная настройка.

4. Выбор модели: что реально работает, по объёму VRAM

На рекомендации из обзорных подборок лучше не полагаться. В том, что я проверил, встречались подборки, где модели середины 2025 года подавались как «выбор 2026 года», и одна, где оценка модели на 480B стояла в колонке модели на 30B. Ниже приведено только то, что опубликовали сами разработчики.

Источники: карточка модели Qwen3.6-35B-A3B (Terminal-Bench 2.0 равен 51.5, QwenClawBench равен 52.6) и официальное объявление Mistral AI (9 декабря 2025 года). Эти оценки каждый разработчик измерял сам на своих моделях, а не третья сторона в едином прогоне.

Внимания заслуживает пометка «активных 3B» у Qwen3.6-35B-A3B. Из 35B на каждом проходе реально задействуется только 3B, и именно здесь себя окупает MoE (Mixture of Experts). Это конструкция, которая целится сразу и в сообразительность крупной модели, и в скорость небольшой, что делает её удачной для локального запуска.

Размер загрузки и требуемые характеристики

В библиотеке Ollama у qwen3.6 рядом стоят 27b (18GB) и 35b (23GB). Есть и теги с суффиксом -mlx для Mac.

Официальные ориентиры Cline по памяти таковы: 16-32GB для небольших моделей, 32-64GB для средних моделей под программирование и 64GB и более для крупных моделей с большим контекстом.

Mistral пишет, что Devstral Small 2 работает на потребительских GPU и даже на конфигурациях только с CPU. Стоит, впрочем, держать в голове, что «работает» и «работает достаточно быстро, чтобы быть практичным агентом» — это разные вещи.

5. Настройка: самый короткий путь

1. Установить Ollama и задать контекст

Порядок важен. Длину контекста определяем до того, как тянуть модель.

OLLAMA_CONTEXT_LENGTH=64000 ollama serve

Сами шаги установки разобраны в материале полное руководство по Ollama, так что за ними обратитесь туда.

2. Загрузить модель

ollama pull qwen3.6:27b

Если с VRAM туго, выбирайте Devstral Small 2. От универсальной чат-модели обе они отличаются тем, что создавались с расчётом на агентное применение.

3. Убедиться, что модель на GPU

ollama ps

Не пропускайте эту проверку. Если часть модели вытеснена на CPU, ощущения будут совершенно другими. Большинство приговоров вида «локальные LLM слишком медленные, чтобы ими пользоваться» упираются именно в это.

4. Подключить расширение

И в Cline, и в Continue выбирают Ollama в качестве провайдера и указывают http://localhost:11434. Официальное предостережение Cline самое простое, убедитесь, что Ollama запущена, прежде чем отправлять промпт, и никакой особой конфигурации не требуется.

Если вы работаете с Cline, заодно включите Use Compact Prompt.

6. Разрыв с облаком стало трудно измерить

Здесь я хочу быть откровенным. Аккуратное сравнение вида «локальные модели дошли до X% от облака» сейчас построить невозможно. Причина в том, что бенчмарки перестали совпадать.

Сторона открытых моделей публикует SWE-bench Verified: 73.4 у Qwen3.6-35B-A3B, 68.0% у Devstral Small 2. Фронтирная сторона тем временем отходит от этой метрики.

И действительно, в объявлении Anthropic о Claude Opus 5 значения SWE-bench Verified нет вовсе. Перечислены Frontier-Bench v0.1, CursorBench 3.2, AA Coding Agent Index и FrontierCode 1.1, причём многое сформулировано в относительных, а не абсолютных выражениях (более чем двукратный рост производительности по сравнению с Opus 4.8, в пределах 0.5% от пиковой оценки Fable 5 и так далее).

Что о разрыве всё же можно сказать

Даже без сопоставимых цифр места, где разница проявляется структурно, вполне очевидны.

У того, что разрыв сильнее всего заметен в «рассуждении, охватывающем несколько файлов», есть причина. Такая работа расходует много контекста и нанизывает десятки решений одно на другое. Разница в точности одного решения умножается на каждом круге обмена. Отставание, которого не замечаешь при правке одного файла, становится ощутимым на масштабе репозитория.

7. Правда ли, что локальный запуск бесплатен

Счёт за API действительно не приходит, но бесплатным это не является. Просто изменилась форма затрат.

Поэтому ответ на вопрос, что дешевле, переворачивается в зависимости от условий сравнения. Если у вас уже есть GPU класса 24GB, локальный запуск обходится почти без дополнительных затрат. Если такого GPU нет, его цена покрывает подписку на годы вперёд. Точнее считать, что ответ зависит от двух вещей: гоняете ли вы много каждый день и есть ли у вас уже железо.

8. Что и когда выбирать

Самый реалистичный вариант — сочетать оба. Отдайте автодополнение Continue небольшой локальной модели и держите его запущенным постоянно, а крупные куски работы передавайте облачному агенту. Автодополнение частое и лёгкое на один вызов, что подходит локальному запуску; агент редкий и тяжёлый на один вызов, что подходит облаку. Профили нагрузки ровно обратные.

Итоги

FAQ

Q1. Можно ли запустить агентную связку на GPU с 8GB VRAM?

Это трудно, потому что даже если сама модель поместится, запаса на увеличение контекста не останется. При VRAM менее 24GiB значение по умолчанию у Ollama падает до 4k, а поднятие его до 64000 увеличивает требуемую память, и на 8GB совместить это тяжело. Реалистичные варианты — ограничиться автодополнением в Continue или запускать локально только автодополнение, а агента вынести в облако.

Q2. Cline или Continue, с чего начать?

Если локальные LLM для вас в новинку, начните с Continue, потому что требования к железу у него ниже, а неполадки проще локализовать. Убедитесь, что автодополнение работает комфортно, и только затем переходите к агентному пути: тогда вы сможете отделить проблему модели от проблемы конфигурации.

Q3. Работает ли это на Mac?

Да. Единая память заодно служит и как VRAM, поэтому крупные модели загружать даже проще. В библиотеке Ollama для qwen3.6 есть и теги с -mlx для Apple Silicon. Учтите, впрочем, что то же правило вывода длины контекста по умолчанию из объёма памяти действует и здесь, так что проверять всё равно нужно.

Q4. Какая модель «самая умная»?

Если судить только по опубликованным оценкам, самая высокая среди перечисленных здесь — Qwen3.6-35B-A3B с 73.4 по SWE-bench Verified. Но это собственные измерения каждого разработчика, а не сравнение третьей стороной в едином прогоне. На практике сильнее влияют лицензия (у Devstral Small 2 и Qwen3.6 обеих Apache 2.0) и то, поместится ли модель в имеющийся у вас VRAM.

Q5. Почему оно «ломается, не выдавая ошибки»?

Потому что всё, что выходит за длину контекста, обрабатывается как усечение, а не как ошибка. Модель совершенно нормально отвечает на тот фрагмент, который ей передали. В итоге это проявляется как забытые указания, повторяющиеся действия и потерянная цель, и выглядит так, будто модели просто не хватает способностей. Знание того, что при таком симптоме надо подозревать настройку, радикально меняет скорость поиска причины.

Q6. Какое квантование выбрать?

Если сомневаетесь, безопасно начать примерно с Q4_K_M. Различия между форматами (GGUF / GPTQ / AWQ) и способ выбора собраны в материале полное руководство по форматам квантования. Для задач программирования вариант «модель чуть поменьше с более мягким квантованием» обычно стабильнее, чем «модель побольше с более жёстким», потому что формат вызова инструментов нужно соблюдать точно.

Q7. Безопасно ли использовать это на корпоративном коде?

Пока всё остаётся локальным, код не покидает машину, и это главное преимущество локальной LLM. Но проверьте настройки самого расширения: даже когда провайдер указывает на Ollama, телеметрия или какая-то другая функция всё же может обращаться наружу. А вопрос о том, разрешает ли это ваш регламент, отделён от технической стороны, поэтому сначала сверьтесь с внутренними правилами.

Связанные статьи

• Полное руководство по Ollama — установка и базовые команды
• Подробное сравнение лучших локальных LLM — как выбирать по сценарию и размеру
• Какие характеристики ПК нужны для локальной LLM — справка по VRAM и GPU
• Полное руководство по форматам квантования — как выбрать между GGUF, GPTQ и AWQ
• Локальные LLM против облачных — разница в производительности и как выбрать