Was ist Fine-Tuning? Fine-Tuning vs. RAG, LoRA/QLoRA und wann man es einsetzt — ein Einsteigerleitfaden
Wenn du die KI für dein eigenes Unternehmen anpassen willst, ist Fine-Tuning eine der Optionen — doch steigst du unbedacht ein, ist es teuer und leicht falsch zu machen. Dieser Einsteigerleitfaden erklärt Fine-Tuning: ein bereits trainiertes Basismodell zu nehmen, es mit auf den eigenen Zweck zugeschnittenen Daten weiter zu trainieren und in ein spezialisiertes Modell umzuformen, das „Verhalten“ (Hausstil, Ausgabeformat, Fachsprache) in das Modell selbst einbrennt, indem es dessen Gewichte umschreibt. Fine-Tuning ist gut darin, Verhalten zu ändern, aber schlecht darin, aktuelles Wissen zu merken — daher die Regel: „Fakten und Wissen → RAG, Persönlichkeit und Schablone → Fine-Tuning, Prompts zuerst.“ Wie Fachleute anmerken, lassen sich rund 80 % der Fälle von „wir brauchen Fine-Tuning“ durch besseres Retrieval (RAG) oder Prompting lösen, also zählt die Reihenfolge. Der Artikel behandelt, was Fine-Tuning ist (mit einer Analogie zur Einarbeitung neuer Mitarbeiter), wofür es taugt und wofür nicht, eine Vergleichstabelle Fine-Tuning vs. RAG vs. Prompting, die wichtigsten Methoden (Full Fine-Tuning, LoRA und QLoRA — 4-Bit-Quantisierung, leicht genug für Einsteiger), was du brauchst (500+ hochwertige Beispiele als Richtwert, wobei der Aufbau der Daten die eigentliche Arbeit ist; Kosten von $5.000 bis über $50.000, OpenAI-Fine-Tuning bei rund $25–$100 pro Million Trainings-Tokens; Werkzeuge wie OpenAI, Unsloth, Axolotl und Hugging Face) und in welcher Reihenfolge man beginnt. Fine-Tuning ist das letzte Mittel.