ما هو LoRA؟ تخصيص الذكاء الاصطناعي بقليل جدًا من التدريب الإضافي
إعادة تدريب ذكاء اصطناعي ضخم من الصفر مكلفة للغاية، لكنك تريد تعديله ليناسبك فقط؛ يحقق LoRA (Low-Rank Adaptation) هذه الأمنية بتجميد النموذج الأصلي وتدريب جزء إضافي صغير (محوّل) فقط، مقلّصًا المعاملات القابلة للتدريب بنحو 90%. يجعل LoRA عملية fine-tuning أرخص وأسرع بكثير، وهو شائع جدًا في توليد الصور مثل Stable Diffusion بوصفه ملفًا صغيرًا يضيف شخصية أو أسلوبًا. يشرح هذا المقال الفكرة عبر تشبيه الرقعة. LoRA رائد fine-tuning كفؤ المعاملات (PEFT): اترك الأوزان الأصلية الضخمة مجمّدة، وأدرج مصفوفة إضافية صغيرة في كل طبقة، ودرّب تلك فقط (W = W0 + BA). من فوائده: معاملات أقل بنحو 90% (وعلى نطاق GPT-3 أقل بمقدار 10,000x)، وذاكرة GPU أقل (نحو 3x)، وتدريب أسرع وأرخص، ودون زمن استجابة إضافي بعد دمج المحوّل، وخطر فرط تطابق أدنى. أكبر قوته هي المحوّلات القابلة للتبديل: أبقِ أساسًا مشتركًا واحدًا وبدّل ملفات LoRA الصغيرة لكل حالة استخدام فوريًا. يلتقي كثيرون بـ LoRA أولًا في توليد الصور حيث تُشارَك LoRA الخاصة بـ Stable Diffusion التي تعلّمت شخصية أو أسلوبًا. يدمج QLoRA الـ quantization، فيدرّب LoRA فوق أساس 4-bit لذاكرة أقل بنحو 4x، مما يتيح fine-tuning نماذج ضخمة على GPU استهلاكية بفقدان دقة طفيف. ومقابل fine-tuning الكامل، يكفي LoRA لمعظم العمل.