المحتويات

«إعادة تدريب نموذج ذكاء اصطناعي ضخم من الصفر مكلفة للغاية — لكنني أريد تعديله ليناسبني فقط.» التقنية التي تحقق هذه الأمنية هي LoRA (Low-Rank Adaptation). فمن خلال تجميد النموذج الأصلي وتدريب «جزء إضافي صغير (محوّل)» فقط، فإنها تقلّص عدد المعاملات القابلة للتدريب إلى أقل من 1% من النموذج الأصلي (نحو جزء من عشرة آلاف في تجربة GPT-3 بالورقة الأصلية).

يجعل LoRA عملية fine-tuning أرخص وأسرع بشكل كبير، وهو أيضًا شائع جدًا في توليد الصور مثل Stable Diffusion بوصفه «ملفًا صغيرًا يضيف شخصية أو أسلوبًا». يشرح هذا المقال الآلية عبر تشبيه «الرقعة»، إضافة إلى الفوائد والمحوّلات القابلة للتبديل وQLoRA وكيف يختلف عن fine-tuning الكامل — للمبتدئين.

LoRA · ضبط ذكي بمحوّل صغير

جمّد الأساس ودرّب جزءًا صغيرًا فقط

— المعاملات القابلة للتدريب أقل من 1% من الأصل

🔒 Frozen
نموذج أساسي ضخم
دون تغيير · غير مُدرَّب
+
🧩 LoRA
محوّل
صغير · درّب هذا فقط
المعاملات القابلة للتدريب أقل من 1% من الأصل ملفات صغيرة، قابلة للتبديل دون زيادة في زمن الاستجابة عند الاستدلال

* الأرقام مأخوذة من ظروف التجارب في الورقة الأصلية لـ LoRA (Hu وآخرون، 2021) وورقة QLoRA (Dettmers وآخرون، 2023) وBiderman وآخرين (2024) (تم التحقق من النصوص الأصلية في 10 أكتوبر 2026). تتفاوت نسب التقليص والآثار حسب النموذج والإعداد — اقرأها كاتجاه عام.

1. ما هو LoRA؟ جمّد الأساس ودرّب المحوّل فقط

LoRA هو رائد «fine-tuning كفؤ المعاملات (PEFT)». الآلية الأساسية بسيطة — اترك الأوزان الأصلية الضخمة دون أي تغيير (مجمّدة)، وأدرج «مصفوفة إضافية صغيرة» في كل طبقة، ودرّب تلك فقط.

فكّر فيه كأنه «رقعة على الملابس»: إعادة خياطة ثوب باهظ (نموذج ضخم) أمر صعب، لكن خياطة رقعة صغيرة رخيصة وسريعة. وLoRA كذلك — اترك الأساس كما هو وأضف محوّلًا صغيرًا لـ«ضبط» سلوكه. وبصيغة معادلة، W = W0 + BA (W0 = الأوزان الأصلية المجمّدة، BA = الجزء الصغير المُضاف). يقوم هذا على فرضية أن تكييف الذكاء الاصطناعي «لا يتطلب فعليًا تغييرات كبيرة» — فرتبة منخفضة تكفي، وقد دعمتها تجارب الورقة الأصلية. لكن ثمة تقارير تفيد بأنه في التدريب الذي يغيّر النموذج كثيرًا، كالبرمجة والرياضيات، لا تكفي الرتبة المنخفضة ويتأخر الأداء عن التدريب الكامل (Biderman وآخرون، 2024).

بعبارة أخرى، بدل «إعادة الطلاء بالكامل»، أنت «تُعيد الكتابة قليلًا». هذا وحده يقلّص تكلفة التدريب ومخاطره. وقراءته جنبًا إلى جنب مع أساسيات fine-tuning توضّح موقعه.

2. لماذا هو فعّال إلى هذا الحد؟

كفاءة LoRA مذهلة. فبحصر التدريب في «محوّل صغير»، تحصل على هذه الفوائد.

📉 معاملات قابلة للتدريب أقل بكثير

الأوزان المدرَّبة أقل من 1% من الأصل. ففي الورقة الأصلية، ومقارنةً بتدريب GPT-3 175B بالكامل، صارت نحو جزء من عشرة آلاف (من نحو 175.3 مليار إلى ما بين 4.7 و37.7 مليون).

💾 ذاكرة أقل، أسرع، أرخص

تنخفض ذاكرة GPU أثناء التدريب. ففي GPT-3 175B بالورقة الأصلية انخفضت من 1.2TB إلى 350GB (نحو الثلث)، وصار التدريب أسرع بنحو 25% (مقارنةً بتدريب كل المعاملات باستخدام Adam). وتتغير النسبة حسب حجم النموذج والإعداد.

⚡ لا تباطؤ عند الاستدلال

بعد التدريب، ادمج المحوّل في الأساس، فلا يُضاف أي زمن استجابة (ويختلف الأمر عند مزج عدة محوّلات في معالجة واحدة دون دمجها).

🛡️ نسيان أقل للقدرات الأصلية

بدرجات حرية أقل في التدريب، ورد أنه يفقد قدرات النموذج الأصلي بدرجة أقل (Biderman وآخرون، 2024). لكن هذا لا يضمن عدم حدوث فرط التطابق.

باختصار، يُحقّق LoRA «تأثيرًا قريبًا من fine-tuning الكامل بتكلفة ضئيلة». ولهذا بالضبط يستطيع الأفراد والفرق الصغيرة جعل النماذج الكبيرة «خاصة بهم».

3. أكبر نقطة قوة: محوّلات قابلة للتبديل

من جاذبية LoRA الأخرى أنه «يمكنك حفظ المحوّل ومشاركته وتبديله فقط». فيبقى النموذج الأساسي مشتركًا بينما تبدّل ملف LoRA صغيرًا (أصغر من النموذج الأساس بمراتب) لكل حالة استخدام — وهذا يُحدث تحولًا في التشغيل.

لنموذج أساسي ضخم واحد، جهّز عدة LoRA — «لدعم العملاء» و«لنبرة شركتك» و«لشخصية محددة» — وبدّل فوريًا حسب المشهد. لا حاجة للاحتفاظ بعدة نماذج أساسية كاملة؛ يبقى التخزين والتوزيع خفيفين. أبقِ الأساس على GPU واحدة وبدّل المحوّلات فقط لاستخدامات عديدة.

4. LoRA في توليد الصور (أكثر مثال مألوف)

يلتقي كثير من الناس بـ LoRA لأول مرة في توليد الصور. فمع Stable Diffusion، تُشارَك ملفات LoRA صغيرة لا تُحصى تعلّمت شخصية أو أسلوبًا أو موضوعًا محددًا.

🎨 إضافة أسلوب

ركّب أسلوبًا محددًا — أنمي، ألوان مائية — على النموذج الأساسي لاحقًا.

👤 تعليم شخصية

ببضع صور إلى بضع عشرات منها، اصنع LoRA يُعيد إنتاج شخصية أو شخص محدد.

📦 خفيف وقابل للمشاركة

الملفات أصغر من النموذج الأساس بمراتب، لذا فتوزيعها وتبديلها سهل (ملفات Stable Diffusion 1.5 بضعة MB، أما ملفات SDXL فكثير منها يتجاوز 100MB).

تركيبة «أساس ضخم مشترك، ونكهة يضيفها LoRA» هي نفسها تمامًا للنص والصور. وبالنسبة لمن يستخدمون أدوات توليد الصور، يُعد LoRA «بوابة مألوفة للتخصيص».

5. QLoRA: الدمج مع quantization

يجعل QLoRA الـ LoRA أخفّ بعد. فبدمجه مع quantization، فإنه يدرّب محوّلات LoRA فوق نموذج أساسي مضغوط إلى 4-bit.

في ورقة QLoRA، أمكن إجراء fine-tuning لنموذج بـ 65 مليار معامل (65B) — يتطلب تدريبه بالكامل بدقة 16-bit أكثر من 780GB من ذاكرة GPU — على GPU واحدة بسعة 48GB. ويمكن تدريب نموذج 33B على GPU استهلاكية بسعة 24GB، وتذكر الورقة أن ذلك يعتمد على آلية تنقل ما لا يتسع إلى ذاكرة جهة الـ CPU (paged optimizers). أما الجودة، فقد أظهرت الورقة أن النماذج من 125 مليونًا إلى 3 مليارات معامل تضاهي التدريب الكامل بدقة 16-bit. لكن الورقة نفسها تذكر أنها «لم تتحقق» مما إذا كان 33B و65B يضاهيان التدريب الكامل. «استخدم quantization لتخفيف الأساس، ودرّب صغيرًا بـ LoRA» — مزيج من تقنيات الكفاءة.

يُعد QLoRA قطعة محورية في كفاءة النماذج إلى جانب quantization (تخفيف النموذج نفسه) وdistillation (الانتقال إلى نموذج أصغر). افهم الثلاثة معًا وستدرك الصورة الكاملة لـ«استخدام ذكاء اصطناعي كبير بتكلفة واقعية».

6. مقابل fine-tuning الكامل

لنوضّح الفرق بين fine-tuning الكامل («إعادة تدريب كل الأوزان») وLoRA.

الجانب fine-tuning الكامل LoRA
الأوزان المُدرَّبة كل المعاملات محوّل صغير فقط (أقل من 1% من الأصل)
التكلفة / الذاكرة عالية جدًا أقل بكثير
الناتج نموذج ضخم كامل محوّل صغير (قابل للتبديل)
الأنسب لـ إعادة بناء واسعة وجذرية مخصّص للمهام، منخفض التكلفة، تبديل متعدد الاستخدامات

في معظم العمل الواقعي، يكفي LoRA عادةً. ولا تفكّر في fine-tuning الكامل إلا حين تحتاج إلى تغيير طبيعة النموذج جذريًا.

الخلاصة

LoRA تقنية رائدة من عصر الكفاءة تُخصّص ذكاءً اصطناعيًا ضخمًا بثمن زهيد وسرعة عبر «محوّل صغير». لنستعرض النقاط.

أهم النقاط

  • 🧩 جمّد الأساس ودرّب محوّلًا صغيرًا فقط (W = W0 + BA). مثل الرقعة.
  • 📉 المعاملات القابلة للتدريب أقل من 1% من الأصل. ذاكرة أقل، أسرع، أرخص، ونسيان أقل للقدرات الأصلية.
  • 🔄 المحوّلات قابلة للتبديل بحرية. بدّل LoRA صغيرًا لكل حالة استخدام.
  • 🎨 شائع جدًا في توليد الصور (Stable Diffusion). ملفات صغيرة تضيف أسلوبًا/شخصية.
  • ⚙️ QLoRA = quantization × LoRA. وفق شروط الورقة، أمكن fine-tuning نماذج حتى فئة 33B على GPU استهلاكية بسعة 24GB.

«أبقِ الأساس، وتبّله قليلًا.» LoRA هو أسهل بوابة لجعل ذكاء اصطناعي كبير ملكًا لك. للأساسيات، راجع fine-tuning؛ ولنظيري الضغط، quantization وdistillation.

الأسئلة الشائعة

س. هل LoRA وfine-tuning شيئان مختلفان؟

ج. LoRA نوع من fine-tuning (طريقة كفؤة). ومقابل «fine-tuning الكامل» الذي يدرّب كل المعاملات، يدرّب LoRA محوّلًا صغيرًا فقط. ولكثير من الاستخدامات، يكفي LoRA.

س. هل LoRA الخاص بتوليد الصور هو نفسه LoRA الخاص بـ LLM؟

ج. المبدأ الأساسي نفسه: جمّد الأساس ودرّب محوّلًا صغيرًا فقط. ما يختلف فقط هو الهدف — نموذج نصي أو نموذج صور (diffusion). وLoRA الخاص بـ Stable Diffusion هو أكثر تطبيقاته مألوفية.

س. LoRA أم QLoRA — أيهما أستخدم؟

ج. مع وجود VRAM فائضة، استخدم LoRA العادي؛ وإن كانت الذاكرة شحيحة أو أردته أرخص ما يمكن، فاستخدم QLoRA (أساس 4-bit + LoRA). وفي مقارنات الورقة حقق QLoRA نتائج مماثلة للطرق بدقة 16-bit، وأمكنه إجراء fine-tuning لنماذج حتى فئة 33B على GPU استهلاكية بسعة 24GB (بشروط).

س. هل يضر LoRA بالدقة؟

ج. في تجارب الورقة الأصلية (RoBERTa وDeBERTa وGPT-2 وGPT-3) جاءت الجودة مماثلة لـ fine-tuning الكامل أو أفضل. في المقابل، ثمة تقارير تفيد بأنه يتأخر عن fine-tuning الكامل في التدريب واسع النطاق على البرمجة والرياضيات (Biderman وآخرون، 2024). وحين تحتاج إلى إعادة بناء قدرة النموذج جذريًا، قد يكون fine-tuning الكامل أنسب. وفي النهاية، تأكّد عبر التقييم.