Was ist LoRA? KI mit ein bisschen Extra-Training anpassen
Ein riesiges KI-Modell von Grund auf neu zu trainieren ist viel zu teuer, aber man möchte es nur für sich anpassen; LoRA (Low-Rank Adaptation) erfüllt diesen Wunsch, indem es das ursprüngliche Modell einfriert und nur ein winziges Zusatzteil (einen Adapter) trainiert, was die trainierbaren Parameter um rund 90% senkt. LoRA macht Fine-Tuning dramatisch günstiger und schneller und ist in der Bildgenerierung wie Stable Diffusion als kleine Datei, die eine Figur oder einen Stil hinzufügt, enorm beliebt. Dieser Artikel erklärt es mit einer Flicken-Analogie. LoRA ist das Aushängeschild des parametereffizienten Fine-Tunings (PEFT): die riesigen ursprünglichen Gewichte bleiben eingefroren, in jede Schicht wird eine kleine Zusatzmatrix eingefügt und nur diese trainiert (W = W0 + BA, wobei W0 eingefroren ist und BA der kleine hinzugefügte Teil). Es baut auf der Erkenntnis auf, dass die Anpassung einer KI keine großen Änderungen erfordert (ein niedriger Rang genügt). Vorteile: rund 90% weniger trainierbare Params (Berichten zufolge 10.000x weniger in GPT-3-Größenordnung), weniger GPU-Speicher (etwa 3x weniger), schnelleres und günstigeres Training, keine Inferenz-Latenz nach dem Verschmelzen des Adapters und geringeres Overfitting-Risiko. Die größte Stärke sind austauschbare Adapter: eine gemeinsame Basis behalten und je nach Anwendungsfall kleine (wenige-MB) LoRA-Dateien sofort tauschen (Support, Unternehmens-Tonfall, eine bestimmte Figur). Viele begegnen LoRA zuerst in der Bildgenerierung, wo Stable-Diffusion-LoRAs, die eine Figur, einen Stil oder ein Motiv gelernt haben, breit geteilt werden (Stil hinzufügen, Figur beibringen, leicht und teilbar). QLoRA kombiniert Quantisierung und trainiert LoRA auf einer 4-bit-Basis für ~4x weniger Speicher als Standard-LoRA, was das Fine-Tuning riesiger Modelle auf einer Consumer-GPU (manchmal CPU) mit minimalem Genauigkeitsverlust ermöglicht. Gegenüber dem vollständigen Fine-Tuning (alle Gewichte trainieren) unterscheidet sich LoRA bei den trainierten Gewichten, den Kosten, dem Ergebnis und dem besten Einsatz; für die meisten Arbeiten genügt LoRA. Die Basis behalten, klein würzen. Die Zahlen sind aus öffentlichen Materialien zitiert, als Richtwert.