Inhalt

„Ein riesiges KI-Modell von Grund auf neu zu trainieren ist viel zu teuer – aber ich möchte es nur für mich anpassen.“ Die Technik, die diesen Wunsch erfüllt, ist LoRA (Low-Rank Adaptation). Indem man das ursprüngliche Modell einfriert und nur ein winziges „Zusatzteil (Adapter)“ trainiert, senkt sie die Zahl der trainierbaren Parameter auf weniger als 1 % des ursprünglichen Modells (im GPT-3-Experiment des Original-Papers auf etwa ein Zehntausendstel).

LoRA macht Fine-Tuning dramatisch günstiger und schneller und ist auch in der Bildgenerierung wie Stable Diffusion als „kleine Datei, die eine Figur oder einen Stil hinzufügt“ enorm beliebt. Dieser Artikel erklärt den Mechanismus mit einer „Flicken“-Analogie sowie die Vorteile, austauschbare Adapter, QLoRA und den Unterschied zum vollständigen Fine-Tuning – für Einsteiger.

LoRA · SMART TUNEN MIT EINEM KLEINEN ADAPTER

Basis einfrieren, nur einen kleinen Teil trainieren

— trainierbare Parameter: weniger als 1 % des Originals

🔒 Frozen
Riesiges Basismodell
unverändert · nicht trainiert
+
🧩 LoRA
Adapter
klein · nur dies trainieren
Trainierbare Params unter 1 % des Originals Kleine Dateien, austauschbar Keine zusätzliche Inferenz-Latenz

* Die Zahlen gelten unter den Versuchsbedingungen des LoRA-Original-Papers (Hu et al., 2021), des QLoRA-Papers (Dettmers et al., 2023) und von Biderman et al. (2024) (am 10. Oktober 2026 im Original geprüft). Reduktionsraten und Effekte variieren je nach Modell und Setup – als Richtwert zu verstehen.

1. Was ist LoRA? Basis einfrieren, nur einen Adapter trainieren

LoRA ist das Aushängeschild des „parametereffizienten Fine-Tunings (PEFT)“. Der Kernmechanismus ist einfach – man lässt die riesigen ursprünglichen Gewichte vollständig unverändert (frozen), fügt in jede Schicht eine „kleine Zusatzmatrix“ ein und trainiert nur diese.

Stellen Sie es sich wie einen „Flicken auf Kleidung“ vor: ein teures Kleidungsstück (riesiges Modell) umzuschneidern ist schwierig, aber einen kleinen Flicken aufzunähen ist günstig und schnell. LoRA funktioniert genauso – die Basis bleibt, wie sie ist, und man fügt einen kleinen Adapter hinzu, um ihr Verhalten zu „justieren“. In Formelschreibweise: W = W₀ + BA (W₀ = eingefrorene ursprüngliche Gewichte, BA = der kleine hinzugefügte Teil). Es baut auf der Hypothese auf, dass die Anpassung einer KI „eigentlich keine großen Änderungen erfordert“ (ein niedriger Rang genügt), und die Experimente des Original-Papers haben sie gestützt. Bei Trainings, die das Modell stark verändern – etwa Programmierung oder Mathematik –, gibt es jedoch Berichte, dass ein niedriger Rang nicht ausreicht und LoRA dem vollständigen Training unterlegen ist (Biderman et al., 2024).

Mit anderen Worten: Statt „alles neu zu streichen“, „überschreibt man nur ein wenig“. Schon das senkt Kosten und Risiko des Trainings drastisch. Im Zusammenhang mit den Grundlagen des Fine-Tunings gelesen, wird seine Einordnung klar.

2. Warum ist es so effizient?

Die Effizienz von LoRA ist dramatisch. Indem man das Training auf einen „kleinen Adapter“ begrenzt, ergeben sich diese Vorteile.

📉 Weit weniger trainierbare Params

Die zu trainierenden Gewichte machen weniger als 1 % des ursprünglichen Modells aus. Im Original-Paper sind es gegenüber dem vollständigen Training von GPT-3 175B etwa ein Zehntausendstel (rund 175,3 Mrd. → 4,7 bis 37,7 Mio.).

💾 Weniger Speicher, schneller, günstiger

Der GPU-Speicher beim Training sinkt. Bei GPT-3 175B im Original-Paper von 1,2 TB auf 350 GB (etwa ein Drittel), und das Training war rund 25 % schneller (verglichen mit dem vollständigen Training mit Adam). Das Verhältnis hängt von Modellgröße und Setup ab.

⚡ Nicht langsamer bei der Inferenz

Nach dem Training verschmilzt (merge) man den Adapter mit der Basis, und es entsteht keine zusätzliche Latenz (anders ist es, wenn man mehrere nicht verschmolzene Adapter in einem Durchlauf mischt).

🛡️ Vergisst weniger vom Original

Mit weniger Freiheitsgraden verliert das Modell seine ursprünglichen Fähigkeiten weniger leicht, so ein Bericht (Biderman et al., 2024). Eine Garantie gegen Overfitting ist das aber nicht.

Kurz gesagt „erreicht LoRA nahezu den Effekt eines vollständigen Fine-Tunings zu minimalen Kosten.“ Genau deshalb können Einzelpersonen und kleine Teams große Modelle zu „ihren eigenen“ machen.

3. Die größte Stärke: austauschbare Adapter

Ein weiterer Reiz von LoRA ist, dass „man nur den Adapter speichern, teilen und austauschen kann.“ Das Basismodell bleibt gemeinsam, während man je nach Anwendungsfall eine kleine LoRA-Datei (um Größenordnungen kleiner als die Basis) austauscht – und das verändert den Betrieb grundlegend.

Für ein einziges riesiges Basismodell bereitet man viele LoRAs vor – „für den Kundensupport“, „für den Tonfall des eigenen Unternehmens“, „für eine bestimmte Figur“ – und wechselt je nach Situation sofort. Man muss nicht mehrere vollständige Basismodelle vorhalten; Speicherung und Verteilung bleiben leichtgewichtig. Die Basis bleibt auf einer GPU, und man tauscht für viele Zwecke nur die Adapter aus.

4. LoRA in der Bildgenerierung (das vertrauteste Beispiel)

Viele Menschen begegnen LoRA zuerst in der Bildgenerierung. Mit Stable Diffusion werden unzählige kleine LoRA-Dateien, die eine bestimmte Figur, einen Stil oder ein Motiv gelernt haben, geteilt.

🎨 Einen Stil hinzufügen

Einen bestimmten Stil – Anime, Aquarell – nachträglich auf das Basismodell aufsetzen.

👤 Eine Figur beibringen

Mit einigen wenigen bis einigen Dutzend Bildern eine LoRA erstellen, die eine bestimmte Figur oder Person reproduziert.

📦 Leicht und teilbar

Die Dateien sind um Größenordnungen kleiner als das Basismodell, sodass das Verteilen und Austauschen einfach ist (für Stable Diffusion 1.5 wenige MB, für SDXL oft über 100 MB).

Das Prinzip „gemeinsame riesige Basis, Geschmack durch LoRA hinzugefügt“ ist bei Text und Bild genau dasselbe. Für Menschen, die Bildgenerierungs-Tools nutzen, ist LoRA ein vertrautes „Tor zur Anpassung“.

5. QLoRA: Kombination mit Quantisierung

QLoRA macht LoRA noch leichter. Kombiniert mit Quantisierung trainiert es LoRA-Adapter auf einem auf 4-bit komprimierten Basismodell.

Im QLoRA-Paper wurde ein Modell mit 65 Milliarden Parametern (65B), das beim vollständigen Training in 16 Bit über 780 GB GPU-Speicher bräuchte, auf einer einzigen 48-GB-GPU feinabgestimmt. Ein 33B-Modell lässt sich auf einer 24-GB-Consumer-GPU trainieren; dafür ist laut Paper ein Mechanismus unverzichtbar, der nicht mehr Passendes in den CPU-Speicher auslagert (Paged Optimizers). Bei der Qualität zeigte sich für Modelle mit 125 Mio. bis 3 Mrd. Parametern Gleichstand mit dem vollständigen Training in 16 Bit. Ob 33B und 65B mit dem vollständigen Training mithalten, hat das Paper nach eigener Aussage „nicht überprüft“. „Die Basis durch Quantisierung leicht machen, mit LoRA klein trainieren“ – eine Kombination von Effizienztechniken.

QLoRA ist neben Quantisierung (dasselbe Modell leichter machen) und Destillation (auf ein kleineres Modell übertragen) ein zentraler Baustein der Modelleffizienz. Versteht man alle drei, sieht man das Gesamtbild von „große KI zu realistischen Kosten nutzen“.

6. vs. vollständiges Fine-Tuning

Klären wir den Unterschied zwischen vollständigem Fine-Tuning („alle Gewichte neu trainieren“) und LoRA.

Aspekt Vollständiges Fine-Tuning LoRA
Trainierte Gewichte Alle Parameter Nur ein kleiner Adapter (weniger als 1 % des Originals)
Kosten / Speicher Sehr hoch Viel niedriger
Ergebnis Ein ganzes riesiges Modell Ein kleiner Adapter (austauschbar)
Am besten geeignet für Großflächige, grundlegende Umbauten Aufgabenspezifisch, kostengünstig, Mehrzweck-Wechsel

Für die meisten realen Aufgaben genügt LoRA in der Regel. Vollständiges Fine-Tuning sollte man nur erwägen, wenn man den Charakter des Modells grundlegend ändern muss.

Zusammenfassung

LoRA ist eine führende Technik der Effizienz-Ära, die eine riesige KI mit einem „kleinen Adapter“ günstig und schnell anpasst. Fassen wir zusammen.

Kernpunkte

  • 🧩 Basis einfrieren, nur einen kleinen Adapter trainieren (W = W₀ + BA). Wie ein Flicken.
  • 📉 Trainierbare Params unter 1 % des Originals. Weniger Speicher, schneller, günstiger, vergisst weniger vom Original.
  • 🔄 Adapter sind frei austauschbar. Pro Anwendungsfall eine kleine LoRA tauschen.
  • 🎨 Enorm beliebt in der Bildgenerierung (Stable Diffusion). Kleine Dateien, die einen Stil/eine Figur hinzufügen.
  • ⚙️ QLoRA = Quantisierung × LoRA. Unter den Bedingungen des Papers Fine-Tuning bis zur 33B-Klasse auf einer 24-GB-Consumer-GPU.

„Die Basis behalten, klein würzen.“ LoRA ist das einfachste Tor, um große KI zu seiner eigenen zu machen. Zu den Grundlagen siehe Fine-Tuning; zu den Pendants der Komprimierung Quantisierung und Destillation.

FAQ

F. Sind LoRA und Fine-Tuning verschiedene Dinge?

A. LoRA ist eine Art von Fine-Tuning (eine effiziente Methode). Im Gegensatz zum „vollständigen FT“, das alle Parameter trainiert, trainiert LoRA nur einen kleinen Adapter. Für viele Zwecke genügt LoRA.

F. Ist LoRA für die Bildgenerierung dasselbe wie LoRA für ein LLM?

A. Das Grundprinzip ist dasselbe: die Basis einfrieren und nur einen kleinen Adapter trainieren. Nur das Ziel unterscheidet sich – ein Textmodell oder ein Bild-(Diffusions-)Modell. Stable-Diffusion-LoRA ist ihre vertrauteste Anwendung.

F. LoRA oder QLoRA – was sollte ich verwenden?

A. Bei ausreichend VRAM normales LoRA; ist der Speicher knapp oder soll es so günstig wie möglich sein, QLoRA (4-bit-Basis + LoRA). QLoRA erzielte im Vergleich des Papers gleichwertige Ergebnisse wie die 16-Bit-Verfahren und erlaubte Fine-Tuning bis zur 33B-Klasse auf einer 24-GB-Consumer-GPU (unter Bedingungen).

F. Beeinträchtigt LoRA die Genauigkeit?

A. In den Experimenten des Original-Papers (RoBERTa, DeBERTa, GPT-2, GPT-3) war die Qualität gleich gut wie oder besser als beim vollständigen FT. Andererseits gibt es Berichte, dass es bei umfangreichem Training für Programmierung oder Mathematik dem vollständigen FT unterlegen ist (Biderman et al., 2024). Muss man die Fähigkeit des Modells grundlegend umbauen, kann ein vollständiges FT besser passen. Letztlich mit einer Evaluation bestätigen.