Содержание

«Переобучать гигантскую модель ИИ с нуля слишком дорого — но мне хочется немного настроить её под себя». Желание, которое исполняет эта задача, — LoRA (Low-Rank Adaptation). Замораживая исходную модель и обучая лишь крошечную «навесную деталь (адаптер)», она сокращает число обучаемых параметров до менее чем 1% от исходной модели (в эксперименте с GPT-3 из оригинальной статьи — примерно в 10 000 раз).

LoRA делает файнтюнинг заметно дешевле и быстрее, а также чрезвычайно популярна в генерации изображений вроде Stable Diffusion как «маленький файл, добавляющий персонажа или стиль». Эта статья объясняет механизм с помощью аналогии «заплатки», а также рассказывает о преимуществах, сменных адаптерах, QLoRA и об отличиях от полного файнтюнинга — для начинающих.

LoRA · УМНАЯ НАСТРОЙКА МАЛЕНЬКИМ АДАПТЕРОМ

Заморозь базу, обучай только маленькую часть

— обучаемых параметров меньше 1% от исходных

🔒 Frozen
Огромная базовая модель
без изменений · не обучается
+
🧩 LoRA
адаптер
маленький · обучаем только это
Обучаемых параметров меньше 1% Маленькие файлы, легко менять Без роста задержки при инференсе

* Цифры получены в условиях экспериментов из оригинальной статьи о LoRA (Hu и др., 2021), статьи о QLoRA (Dettmers и др., 2023) и работы Biderman и др. (2024) (сверено с первоисточниками 10 октября 2026 года). Степень сокращения и эффект зависят от модели и настроек — воспринимайте их как ориентир.

1. Что такое LoRA? Замораживаем базу, обучаем только адаптер

LoRA — флагман «параметрически эффективного файнтюнинга (PEFT)». Суть механизма проста — огромные исходные веса остаются полностью неизменными (замороженными), в каждый слой вставляется «небольшая навесная матрица», и обучается только она.

Представьте это как «заплатку на одежде»: перешить дорогую вещь (огромную модель) сложно, но пришить небольшую заплатку — дёшево и быстро. С LoRA то же самое — оставляем базу как есть и добавляем маленький адаптер, чтобы «подправить» её поведение. В виде формулы — W = W0 + BA (W0 = замороженные исходные веса, BA = небольшая добавленная часть). В основе лежит гипотеза, что для адаптации ИИ «на самом деле не требуется больших изменений» (достаточно низкого ранга), и эксперименты оригинальной статьи её подтвердили. Однако для обучения, которое сильно меняет модель, — например, программированию или математике — есть сообщения, что низкого ранга не хватает и LoRA уступает полному обучению (Biderman и др., 2024).

Иными словами, вместо того чтобы «перекрашивать целиком», вы «слегка надписываете поверх». Уже одно это резко снижает стоимость и риски обучения. Если читать это вместе с основами файнтюнинга, место LoRA становится понятным.

2. Почему это так эффективно?

Эффективность LoRA впечатляет. Сузив обучение до «маленького адаптера», вы получаете такие преимущества.

📉 Намного меньше обучаемых параметров

Обучаемые веса составляют менее 1% от исходной модели. В оригинальной статье это примерно в 10 000 раз меньше, чем при полном обучении GPT-3 175B (около 175,3 млрд → от 4,7 до 37,7 млн).

💾 Меньше памяти, быстрее, дешевле

Память GPU при обучении сокращается. В оригинальной статье для GPT-3 175B — с 1,2 ТБ до 350 ГБ (примерно втрое), а обучение шло примерно на 25% быстрее (по сравнению с полным обучением с Adam). Соотношение зависит от размера модели и настроек.

⚡ Не медленнее при инференсе

После обучения слейте (merge) адаптер с базой — и никакой дополнительной задержки нет (иначе обстоит дело, если без слияния смешивать несколько адаптеров в одном проходе).

🛡️ Меньше забывает исходное

Меньше степеней свободы — и, по сообщениям, модель меньше теряет исходные способности (Biderman и др., 2024). Но это не гарантия от переобучения.

Коротко говоря, LoRA «приближается к эффекту полного файнтюнинга при крошечных затратах». Именно поэтому отдельные люди и небольшие команды могут сделать большие модели «своими».

3. Главное преимущество: сменные адаптеры

Ещё одна привлекательная черта LoRA в том, что «можно сохранять, делиться и менять только адаптер». Базовая модель остаётся общей, а вы подставляете под каждый случай небольшой файл LoRA (на порядки меньше базы) — и это меняет всю эксплуатацию.

К одной гигантской базовой модели готовят множество LoRA — «для поддержки клиентов», «для тона вашей компании», «для конкретного персонажа» — и мгновенно переключают их под сцену. Не нужно держать несколько полных баз; хранение и распространение остаются лёгкими. База лежит на одном GPU, а вы просто меняете адаптеры под множество задач.

4. LoRA в генерации изображений (самый знакомый пример)

Многие впервые встречают LoRA именно в генерации изображений. В Stable Diffusion распространяется бесчисленное множество небольших файлов LoRA, обучённых конкретному персонажу, стилю или объекту.

🎨 Добавить стиль

Прикрепите к базовой модели конкретный стиль — аниме, акварель — уже постфактум.

👤 Обучить персонажу

По нескольким или нескольким десяткам изображений создайте LoRA, воспроизводящую конкретного персонажа или человека.

📦 Лёгкие и удобные для обмена

Файлы на порядки меньше базовой модели, поэтому ими легко делиться и менять их (для Stable Diffusion 1.5 — несколько МБ, для SDXL нередко больше 100 МБ).

Схема «общая гигантская база, вкус добавляется через LoRA» абсолютно одинакова для текста и изображений. Для тех, кто пользуется инструментами генерации изображений, LoRA — знакомый «вход в кастомизацию».

5. QLoRA: сочетание с квантизацией

QLoRA делает LoRA ещё легче. В сочетании с квантизацией она обучает адаптеры LoRA поверх базовой модели, сжатой до 4-bit.

В статье о QLoRA модель на 65 млрд параметров (65B), которой при полном обучении в 16 битах нужно более 780 ГБ памяти GPU, удалось дообучить на одном GPU с 48 ГБ. Модель 33B обучается на потребительском GPU с 24 ГБ, и для этого, по словам авторов, необходим механизм, выносящий не поместившееся в память CPU (оптимизаторы с подкачкой страниц). По качеству для моделей от 125 млн до 3 млрд параметров показан паритет с полным обучением в 16 битах. Но сравнима ли 33B и 65B с полным обучением, статья, по её собственным словам, «не проверяла». «Квантизировать базу, чтобы облегчить её, и обучать малым через LoRA» — комбинация приёмов эффективности.

QLoRA — ключевой элемент эффективности моделей наряду с квантизацией (облегчает ту же модель) и дистилляцией (переносит в модель поменьше). Поняв все три, вы увидите целостную картину «как пользоваться большим ИИ за реалистичную цену».

6. Сравнение с полным файнтюнингом

Разберёмся в разнице между полным файнтюнингом («переобучить все веса») и LoRA.

Аспект Полный файнтюнинг LoRA
Обучаемые веса Все параметры Только маленький адаптер (менее 1% от исходной)
Стоимость / память Очень высокая Намного ниже
Результат Целая гигантская модель Маленький адаптер (сменный)
Лучше всего для Крупномасштабной, фундаментальной перестройки Задачно-специфичных, недорогих, многоцелевых смен

Для большинства реальных задач LoRA обычно достаточно. Полный файнтюнинг стоит рассматривать только тогда, когда нужно фундаментально изменить характер модели.

Итоги

LoRA — ведущая техника эпохи эффективности, которая дёшево и быстро кастомизирует гигантский ИИ с помощью «маленького адаптера». Подведём итог.

Ключевые выводы

  • 🧩 Заморозить базу, обучать только маленький адаптер (W = W0 + BA). Как заплатка.
  • 📉 Обучаемых параметров меньше 1% от исходных. Меньше памяти, быстрее, дешевле, меньше забывает исходное.
  • 🔄 Адаптеры свободно сменяемы. Меняйте маленькую LoRA под каждый случай.
  • 🎨 Чрезвычайно популярна в генерации изображений (Stable Diffusion). Маленькие файлы, добавляющие стиль/персонажа.
  • ⚙️ QLoRA = квантизация × LoRA. В условиях статьи — дообучение моделей вплоть до 33B на потребительском GPU с 24 ГБ.

«Базу оставь как есть, приправляй понемногу». LoRA — самый простой вход в то, чтобы сделать большой ИИ своим. Об основах см. файнтюнинг; о приёмах сжатия — квантизация и дистилляция.

FAQ

Q. LoRA и файнтюнинг — это разные вещи?

A. LoRA — это разновидность файнтюнинга (эффективный метод). В отличие от «полного FT», который обучает все параметры, LoRA обучает только маленький адаптер. Для многих задач LoRA достаточно.

Q. LoRA в генерации изображений и LoRA в LLM — одно и то же?

A. Базовый принцип одинаков: заморозить базу и обучать только маленький адаптер. Отличается лишь объект — текстовая модель или модель изображений (диффузионная). LoRA для Stable Diffusion — её самое знакомое применение.

Q. LoRA или QLoRA — что выбрать?

A. Если VRAM в запасе — обычная LoRA; если памяти мало или хочется максимально дёшево — QLoRA (база на 4-bit + LoRA). В сравнении из статьи QLoRA показала результаты на уровне 16-битных методов и позволила дообучать модели вплоть до 33B на потребительском GPU с 24 ГБ (при определённых условиях).

Q. Снижает ли LoRA точность?

A. В экспериментах оригинальной статьи (RoBERTa, DeBERTa, GPT-2, GPT-3) качество было не хуже, чем у полного FT. С другой стороны, есть сообщения, что при масштабном обучении программированию или математике она уступает полному FT (Biderman и др., 2024). Когда нужно фундаментально перестроить способности модели, полный FT может подойти лучше. В итоге проверяйте с помощью оценки.