LoRA (Low-Rank Adaptation) (Düşük Dereceli Adaptasyon)

#FineTuning #PEFT #LLM #ModelEgitimi #StableDiffusion

LoRA (Low-Rank Adaptation), devasa büyük dil modellerini (LLM) veya görsel difüzyon modellerini ince ayar (Fine-Tuning) yapmak için kullanılan, parametre açısından son derece verimli bir (PEFT) tekniktir.

LoRA (Low-Rank Adaptation), devasa büyük dil modellerini (LLM) veya görsel difüzyon modellerini ince ayar (Fine-Tuning) yapmak için kullanılan, parametre açısından son derece verimli bir (PEFT) tekniktir. Milyarlarca parametresi olan bir modeli baştan eğitmek yerine, modelin içine küçük matematiksel matrisler enjekte ederek eğitimin inanılmaz derecede ucuz, hızlı ve düşük hafızayla (tek bir ev GPU'sunda) yapılabilmesini sağlar.

compress Nasıl Çalışır?

70 Milyar parametreli bir LLaMA modelini tıp alanında uzmanlaştırmak istediğinizi varsayalım. Geleneksel yöntemde 70 milyar sayının hepsini güncellemeniz gerekir ki bu aylar ve on binlerce dolar sürer. LoRA, devasa modelin orijinal beynini dondurur (kilitler) ve sadece aralara kendi ufak 'not kağıtlarını' (küçük matrisleri) sıkıştırır. Model çalışırken hem eski beynini hem de bu yeni not kağıtlarını okur. Siz sadece bu minik not kağıtlarını eğittiğiniz için parametre sayısı on binde bire düşer.

LoRA'nın Avantajları

attach_money Maliyet Düşüşü

Veri merkezleri kiralamak yerine RTX 3090/4090 gibi ev tipi ekran kartlarında modellerin özelleştirilebilmesi.

extension Tak-Çıkar Modülerlik

LoRA dosyaları çok küçüktür (birkaç Megabayt). Aynı baz modele; gündüzleri Hukuk LoRA'sını, geceleri Kodlama LoRA'sını saniyeler içinde takıp çıkartabilirsiniz.

image Görsel Üretimde LoRA

Midjourney veya Stable Diffusion'a sadece sizin yüzünüzü veya belli bir sanat stilini öğretmek için en yaygın kullanılan yöntemdir.