LoRA (Low-Rank Adaptation) (Düşük Dereceli Adaptasyon)

LoRA (Low-Rank Adaptation), milyarlarca parametreli büyük dil modellerini (LLM) veya görsel difüzyon modellerini son derece verimli biçimde ince ayarlayan (fine-tune) bir parametre etkin tekniğidir. Orijinal model ağırlıklarını dondurup yalnızca küçük ek matrisleri eğiterek tam fine-tuning'in bellek ve hesaplama maliyetini dramatik ölçüde düşürür. Teknik özünde düşük rankli matris ayrışımı yatar. Ağırlık güncelleme matrisi ΔW = A × B biçiminde iki küçük matrisin çarpımı olarak temsil edilir; burada A boyutu d×r, B boyutu r×d'dir ve r (rank), d'den çok küçük seçilir (tipik olarak 4-64). Böylece orijinal d×d büyüklüğündeki güncelleme matrisi yerine yalnızca 2×d×r parametre eğitilir; %90-99 parametre tasarrufu sağlanır. Pratik sonuçlar çarpıcıdır: 70 milyar parametreli bir Llama modelini tam fine-tuning yerine LoRA ile özelleştirmek için tek bir tüketici GPU'su (RTX 4090) yeterli olabilir, eğitim süresi saatler yerine dakikalara iner. Adapt edilmiş ağırlıklar yalnızca birkaç MB büyüklüğündeki ayrı dosyalara kaydedilir; farklı görevler için birden fazla adaptör geliştirilip aynı taban modele takılıp çıkarılabilir. QLoRA varyantı bu verimliliği daha da ileri taşır: taban modeli 4-bit NormalFloat ile nicemlenerek belleğe yükler, ardından LoRA adaptörlerini tam hassasiyetle eğitir. 65B parametreli modeli tek 48GB GPU'da fine-tune etmek bu sayede mümkün hale geldi. Görsel üretim alanında LoRA, Stable Diffusion modellerini belirli yüzler, sanat stilleri veya karakter tasarımları için özelleştirmenin standart yöntemi olarak yerleşti. Civitai gibi platformlarda binlerce topluluk LoRA'sı paylaşılmakta; kullanıcılar saniyeler içinde farklı stillerle çıktı üretebilmektedir. Hugging Face PEFT kütüphanesi, LoRA uygulamasını birkaç satır Python koduyla kullanıma sunar. Eğitim tamamlandıktan sonra adaptör ağırlıkları taban modele gömülerek (merge_and_unload) tek bir model dosyası elde edilebilir.