विषय-सूची

"किसी विशाल AI मॉडल को शुरू से दोबारा ट्रेन करना बहुत महँगा है — पर मैं इसे बस अपने लिए थोड़ा सा बदलना चाहता हूँ।" इस इच्छा को पूरा करने वाली तकनीक है LoRA (Low-Rank Adaptation)। मूल मॉडल को फ्रीज़ करके और सिर्फ़ एक छोटे "जोड़े गए हिस्से (adapter)" को ट्रेन करके, यह ट्रेन होने वाले parameters को मूल मॉडल के 1% से भी कम कर देती है (मूल paper के GPT-3 प्रयोग में लगभग 10,000 में 1)।

LoRA fine-tuning को नाटकीय रूप से सस्ता और तेज़ बना देती है, और Stable Diffusion जैसी इमेज जनरेशन में भी "एक किरदार या स्टाइल जोड़ने वाली छोटी फ़ाइल" के रूप में बेहद लोकप्रिय है। यह लेख इस तंत्र को एक "पैच" की उपमा से समझाता है, साथ ही फ़ायदे, बदले जा सकने वाले adapters, QLoRA, और यह full fine-tuning से कैसे अलग है — सब कुछ शुरुआती लोगों के लिए।

LoRA · एक छोटे adapter से स्मार्ट ट्यूनिंग

बेस को फ्रीज़ करें, सिर्फ़ एक छोटा हिस्सा ट्रेन करें

— ट्रेन होने वाले parameters मूल के 1% से भी कम

🔒 Frozen
विशाल बेस मॉडल
अपरिवर्तित · ट्रेन नहीं होता
+
🧩 LoRA
adapter
छोटा · सिर्फ़ यही ट्रेन करें
ट्रेन होने वाले params मूल के 1% से कम छोटी फ़ाइलें, बदलने योग्य inference में कोई latency नहीं जुड़ती

* आँकड़े LoRA के मूल paper (Hu आदि, 2021), QLoRA के paper (Dettmers आदि, 2023) और Biderman आदि (2024) की प्रयोग-शर्तों के हैं (10 अक्टूबर 2026 को मूल स्रोत से जाँचे गए)। कमी की दरें और प्रभाव मॉडल तथा सेटअप के अनुसार बदलते हैं — इन्हें दिशासूचक मानकर पढ़ें।

1. LoRA क्या है? बेस को फ्रीज़ करें, सिर्फ़ adapter ट्रेन करें

LoRA "parameter-efficient fine-tuning (PEFT)" की अग्रणी तकनीक है। इसका मूल तंत्र सरल है — विशाल मूल weights को पूरी तरह अपरिवर्तित (frozen) रखें, हर लेयर में एक "छोटा जोड़ा गया matrix" डालें, और सिर्फ़ उसी को ट्रेन करें।

इसे "कपड़े पर पैच" की तरह समझें: एक महँगे परिधान (विशाल मॉडल) को दोबारा सिलवाना कठिन है, पर उस पर एक छोटा पैच सिल देना सस्ता और तेज़ है। LoRA भी वैसी ही है — बेस को जैसा है वैसा रखें और उसके व्यवहार को "समायोजित" करने के लिए एक छोटा adapter जोड़ें। सूत्र की भाषा में, W = W₀ + BA (W₀ = frozen मूल weights, BA = छोटा जोड़ा गया हिस्सा)। इसका आधार यह परिकल्पना है कि किसी AI को अनुकूलित करने के लिए "वास्तव में बड़े बदलावों की ज़रूरत नहीं होती" — एक low rank ही काफ़ी है, और मूल paper के प्रयोगों ने इसकी पुष्टि की। हालाँकि, प्रोग्रामिंग या गणित जैसी ट्रेनिंग में, जहाँ मॉडल को बहुत बदलना पड़ता है, low rank काफ़ी नहीं रहती और यह पूरी ट्रेनिंग से पीछे रह जाती है — ऐसी रिपोर्ट भी है (Biderman आदि, 2024)।

दूसरे शब्दों में, "पूरी तरह दोबारा रंगने" के बजाय आप "थोड़ा सा ऊपर लिख देते हैं।" सिर्फ़ इतने भर से ट्रेनिंग की लागत और जोखिम भारी मात्रा में घट जाते हैं। इसे fine-tuning की मूल बातों के साथ पढ़ने पर इसका स्थान स्पष्ट हो जाता है।

2. यह इतना कुशल क्यों है?

LoRA की कुशलता नाटकीय है। ट्रेनिंग को एक "छोटे adapter" तक सीमित करके आपको ये फ़ायदे मिलते हैं।

📉 कहीं कम ट्रेन होने वाले params

ट्रेन होने वाले weights मूल के 1% से भी कम। मूल paper में, GPT-3 175B को पूरा ट्रेन करने की तुलना में लगभग 10,000 में 1 (लगभग 175.3 अरब → 47 लाख से 3.77 करोड़)।

💾 कम मेमोरी, तेज़, सस्ता

ट्रेनिंग के दौरान GPU मेमोरी घटती है। मूल paper के GPT-3 175B में 1.2TB → 350GB (लगभग एक-तिहाई), और ट्रेनिंग भी लगभग 25% तेज़ हुई (Adam से सभी parameters ट्रेन करने की तुलना में)। अनुपात मॉडल के आकार और सेटअप के अनुसार बदलता है।

⚡ inference में धीमा नहीं

ट्रेनिंग के बाद, adapter को बेस में merge कर दें तो कोई अतिरिक्त latency नहीं जुड़ती (merge किए बिना कई adapters को एक ही processing में मिलाकर चलाना अलग मामला है)।

🛡️ मूल क्षमताएँ कम भूलती है

ट्रेनिंग की स्वतंत्रता कम होने के कारण, रिपोर्ट है कि यह मूल मॉडल की क्षमताएँ कम खोती है (Biderman आदि, 2024)। पर यह इस बात की गारंटी नहीं कि overfitting नहीं होगा।

संक्षेप में, LoRA "बहुत कम लागत में full fine-tuning के असर के क़रीब पहुँच जाती है।" यही वजह है कि व्यक्ति और छोटी टीमें भी बड़े मॉडलों को "अपना" बना सकती हैं।

3. सबसे बड़ी ताक़त: बदले जा सकने वाले adapters

LoRA का एक और आकर्षण यह है कि "आप सिर्फ़ adapter को सेव, शेयर और बदल सकते हैं।" बेस मॉडल साझा रहता है जबकि आप हर उपयोग के लिए एक छोटी LoRA फ़ाइल (बेस मॉडल से कई परिमाण-क्रम छोटी) बदल देते हैं — और इससे संचालन का तरीक़ा बदल जाता है।

एक विशाल बेस मॉडल के लिए, कई LoRAs तैयार करें — "कस्टमर सपोर्ट के लिए," "अपनी कंपनी के लहजे के लिए," "किसी ख़ास किरदार के लिए" — और हर दृश्य के हिसाब से तुरंत स्विच करें। कई full बेस रखने की ज़रूरत नहीं; स्टोरेज और वितरण हल्के रहते हैं। बेस को एक ही GPU पर रखें और कई उपयोगों के लिए बस adapters बदलते रहें।

4. इमेज जनरेशन में LoRA (सबसे परिचित उदाहरण)

बहुत से लोग LoRA से पहली बार इमेज जनरेशन में मिलते हैं। Stable Diffusion के साथ, किसी ख़ास किरदार, स्टाइल या विषय को सीख चुकी अनगिनत छोटी LoRA फ़ाइलें साझा की जाती हैं।

🎨 एक स्टाइल जोड़ें

किसी ख़ास स्टाइल — एनिमे, वॉटरकलर — को बेस मॉडल पर बाद में जोड़ दें।

👤 एक किरदार सिखाएँ

कुछ से लेकर कुछ दर्जन तस्वीरों के साथ, एक LoRA बनाएँ जो किसी ख़ास किरदार या व्यक्ति को दोबारा रचे।

📦 हल्की और साझा करने योग्य

फ़ाइलें बेस मॉडल से कई परिमाण-क्रम छोटी होती हैं, इसलिए उन्हें वितरित करना और बदलना आसान है (Stable Diffusion 1.5 के लिए कुछ MB, जबकि SDXL के लिए कई फ़ाइलें 100MB से भी बड़ी होती हैं)।

"साझा विशाल बेस, स्वाद LoRA से जोड़ा गया" का यह ढाँचा टेक्स्ट और इमेज दोनों के लिए बिल्कुल एक जैसा है। जो लोग इमेज जनरेशन टूल का उपयोग करते हैं, उनके लिए LoRA एक परिचित "कस्टमाइज़ेशन का प्रवेश-द्वार" है।

5. QLoRA: quantization के साथ संयोजन

QLoRA LoRA को और भी हल्का बना देती है। quantization के साथ मिलकर, यह 4-bit में संपीड़ित किए गए बेस मॉडल के ऊपर LoRA adapters को ट्रेन करती है।

QLoRA के paper में, 65 अरब parameters (65B) वाला मॉडल — जिसे 16-bit में पूरा ट्रेन करने के लिए 780GB से ज़्यादा GPU मेमोरी चाहिए — 48GB के एक GPU पर fine-tune हो गया। 33B मॉडल 24GB के उपभोक्ता GPU पर ट्रेन हो सकता है, और paper कहता है कि इसके लिए जो हिस्सा न समाए उसे CPU की मेमोरी में भेजने वाली व्यवस्था (paged optimizers) ज़रूरी है। गुणवत्ता के मामले में, 12.5 करोड़ से 3 अरब parameters वाले मॉडलों पर यह 16-bit पूरी ट्रेनिंग के बराबर दिखी। पर 33B और 65B पर यह पूरी ट्रेनिंग की बराबरी करती है या नहीं, इसे paper ख़ुद "जाँचा नहीं गया" बताता है। "बेस को quantize करके हल्का बनाएँ, LoRA से छोटे पैमाने पर ट्रेन करें" — कुशलता तकनीकों का एक संयोजन।

QLoRA, quantization (उसी मॉडल को हल्का करना) और distillation (किसी छोटे मॉडल में स्थानांतरित करना) के साथ-साथ मॉडल कुशलता का एक अहम हिस्सा है। तीनों को समझ लें तो "बड़े AI को यथार्थवादी लागत पर इस्तेमाल करने" की पूरी तस्वीर दिख जाती है।

6. बनाम full fine-tuning

आइए full fine-tuning ("सभी weights को दोबारा ट्रेन करें") और LoRA के बीच के अंतर को व्यवस्थित करें।

पहलू Full fine-tuning LoRA
ट्रेन होने वाले weights सभी parameters सिर्फ़ एक छोटा adapter (मूल के 1% से कम)
लागत / मेमोरी बहुत अधिक कहीं कम
आउटपुट एक पूरा विशाल मॉडल एक छोटा adapter (बदलने योग्य)
किसके लिए सर्वोत्तम बड़े पैमाने पर, मूलभूत पुनर्निर्माण task-विशिष्ट, कम-लागत, बहु-उपयोगी अदला-बदली

अधिकांश वास्तविक कार्यों के लिए, आमतौर पर LoRA ही काफ़ी होती है। full fine-tuning पर तभी विचार करें जब आपको मॉडल के चरित्र को मूल रूप से बदलना हो।

सारांश

LoRA कुशलता-युग की एक अग्रणी तकनीक है जो एक विशाल AI को एक "छोटे adapter" से सस्ते और तेज़ तरीक़े से कस्टमाइज़ करती है। आइए दोहरा लें।

मुख्य बातें

  • 🧩 बेस को फ्रीज़ करें, सिर्फ़ एक छोटा adapter ट्रेन करें (W = W₀ + BA)। एक पैच की तरह।
  • 📉 ट्रेन होने वाले params मूल के 1% से कम। कम मेमोरी, तेज़, सस्ता, मूल क्षमताएँ कम भूलती है।
  • 🔄 Adapters को आज़ादी से बदला जा सकता है। हर उपयोग के लिए एक छोटी LoRA बदलें।
  • 🎨 इमेज जनरेशन (Stable Diffusion) में बेहद लोकप्रिय। स्टाइल/किरदार जोड़ने वाली छोटी फ़ाइलें।
  • ⚙️ QLoRA = quantization × LoRA। paper की शर्तों में, 24GB के उपभोक्ता GPU पर 33B स्तर तक fine-tuning।

"बेस को बनाए रखें, उसे छोटे पैमाने पर स्वाद दें।" बड़े AI को अपना बनाने का सबसे आसान प्रवेश-द्वार LoRA है। मूल बातों के लिए, fine-tuning देखें; संपीड़न के समकक्षों के लिए, quantization और distillation।

FAQ

Q. क्या LoRA और fine-tuning अलग-अलग चीज़ें हैं?

A. LoRA fine-tuning का एक प्रकार (एक कुशल तरीक़ा) है। "full FT" जो सभी parameters को ट्रेन करता है, उसकी तुलना में LoRA सिर्फ़ एक छोटा adapter ट्रेन करती है। कई उपयोगों के लिए LoRA ही काफ़ी है।

Q. क्या इमेज-जनरेशन वाली LoRA, LLM वाली LoRA जैसी ही है?

A. मूल सिद्धांत एक जैसा है: बेस को फ्रीज़ करें और सिर्फ़ एक छोटा adapter ट्रेन करें। बस लक्ष्य अलग होता है — एक टेक्स्ट मॉडल या एक इमेज (diffusion) मॉडल। Stable Diffusion LoRA इसका सबसे परिचित अनुप्रयोग है।

Q. LoRA या QLoRA — मुझे किसका उपयोग करना चाहिए?

A. यदि VRAM पर्याप्त हो, तो सामान्य LoRA; यदि मेमोरी कम है या आप इसे यथासंभव सस्ता रखना चाहते हैं, तो QLoRA (4-bit बेस + LoRA)। paper की तुलना में QLoRA ने 16-bit तरीक़ों के बराबर नतीजे दिखाए, और 24GB के उपभोक्ता GPU पर 33B स्तर तक के मॉडल fine-tune किए (शर्तों के साथ)।

Q. क्या LoRA सटीकता को नुक़सान पहुँचाती है?

A. मूल paper के प्रयोगों (RoBERTa, DeBERTa, GPT-2, GPT-3) में गुणवत्ता full FT के बराबर या बेहतर रही। दूसरी ओर, प्रोग्रामिंग और गणित की बड़े पैमाने की ट्रेनिंग में यह full FT से पीछे रहती है — ऐसी रिपोर्ट भी है (Biderman आदि, 2024)। जब आपको मॉडल की क्षमता को मूल रूप से दोबारा रचना हो, तो full FT बेहतर बैठ सकता है। अंततः, मूल्यांकन से पुष्टि करें।