Что такое fine-tuning? Fine-tuning против RAG, LoRA/QLoRA и когда его применять — руководство для новичков
Когда нужно настроить ИИ под свою компанию, fine-tuning (дообучение) — один из вариантов, но без подготовки выйдет дорого и легко ошибиться. Это руководство для новичков объясняет fine-tuning: взять уже обученную базовую модель, доучить её на данных под вашу задачу и превратить в специализированную модель, которая вшивает «поведение» (фирменный стиль, формат вывода, терминологию области) в саму модель, переписывая её веса. Fine-tuning силён в изменении поведения, но слаб в запоминании актуальных знаний, поэтому правило такое: «факты и знания → RAG, характер и шаблон → fine-tuning, сначала промпты». Как отмечают эксперты, около 80% случаев «нам нужен fine-tuning» решаются лучшим поиском (RAG) или промптингом, так что порядок важен. В статье разбираются: что такое fine-tuning (аналогия с обучением новичка), в чём он силён и слаб, сравнительная таблица fine-tuning против RAG и промптинга, основные методы (full fine-tuning, LoRA и QLoRA — 4-битное квантование, достаточно лёгкое для новичков), что понадобится (ориентир 500+ качественных примеров, при этом подготовка данных — настоящая работа; затраты от $5,000 до более чем $50,000, fine-tuning у OpenAI примерно по $25–$100 за миллион обучающих токенов; инструменты вроде OpenAI, Unsloth, Axolotl и Hugging Face) и в каком порядке начинать. Fine-tuning — это крайнее средство.