LoRA یا Low-Rank Adaptation روشی برای سازگار کردن مدل‌های بزرگ است که به‌جای به‌روزرسانی تمام وزن‌ها، ماتریس‌های کم‌رتبه کوچکی را به بخش‌هایی از شبکه اضافه و آموزش می‌دهد.
این روش تعداد پارامترهای قابل‌آموزش و حافظه موردنیاز را کاهش می‌دهد. کیفیت آداپتر باید روی وظیفه واقعی و همراه مدل پایه ارزیابی شود.
یک سناریوی کاربردی
LoRA بخش کوچکی از پارامترهای قابل‌آموزش را اضافه می‌کند و می‌تواند هزینه سازگار کردن LLM را کاهش دهد. آداپتر آموزش‌دیده به نسخه سازگار مدل پایه وابسته است.
پیش از اعتماد به نتیجه، داده آزمون مستقل و معیار متناسب با مسئله تعریف کنید. خروجی ظاهراً قانع‌کننده همیشه به معنی عملکرد قابل‌اعتماد نیست.