tag PEFT
Fine-Tuning (İnce Ayar)
Bu sayfada PEFT (Fine-Tuning (İnce Ayar)) etiketi ile işaretlenmiş 4 yapay zeka kavramını bulabilirsiniz.
Fine-tuning (Türkçesiyle ince ayar), devasa bir veri setiyle genel amaçlı olarak önceden eğitilmiş (pre-trained) bir yapay zeka modelinin, daha küçük ve göreve özel bir veri seti kullanılarak belirli bir işe, sektöre veya üsluba (tıp, hukuk, kodlama, müşteri hizmetleri vb.) uyarlanması işlemidir. İngilizce "fine-tune" fiili, bir cihazın ayarını hassas biçimde düzeltmek anlamına gelir; yapay zekada da mantık aynıdır: model sıfırdan eğitilmez, mevcut bilgisinin üzerine ek eğitimle özel bir uzmanlık inşa edilir. Örneğin LLaMA veya GPT gibi bir temel model, birkaç bin kaliteli soru-cevap çiftiyle yeniden eğitilerek bir bankanın müşteri temsilcisi gibi konuşan ya da tıbbi raporları belirli bir formatta özetleyen bir modele dönüştürülebilir. Bu yaklaşımın önemi maliyet ve erişilebilirlikte yatar. Bir dil modelini sıfırdan eğitmek milyonlarca dolarlık hesaplama gücü ister; fine-tuning ise aynı modelin ağırlıklarını yeni veriye göre hafifçe güncelleyerek çok daha küçük bir bütçeyle özelleştirme yapmayı mümkün kılar. LoRA ve QLoRA gibi parametre-verimli (PEFT) yöntemlerle bu iş tek bir tüketici GPU'sunda bile yapılabilir hale gelmiştir. Pratikte fine-tuning; kurumsal sohbet botlarında marka diline uyum, hukuk ve sağlık gibi alanlarda terminoloji hâkimiyeti, yapılandırılmış çıktı (örneğin JSON) üretimi ve şirket içi verilerle çalışan özel asistanlar için kullanılır. Modele davranış ve üslup kazandırmak hedefleniyorsa fine-tuning, güncel veya sık değişen bilgiye erişim gerekiyorsa RAG tercih edilir; kurumsal sistemlerde ikisi çoğu zaman birlikte çalışır.
Fine-Tuning (İnce Ayar)
Fine-tuning (Türkçesiyle ince ayar), devasa bir veri setiyle genel amaçlı olarak önceden eğitilmiş (pre-trained) bir yapay zeka modelinin, daha küçük ve göreve özel bir veri seti kullanılarak belirli bir işe, sektöre veya üsluba (tıp, hukuk, kodlama, müşteri hizmetleri vb.) uyarlanması işlemidir. İngilizce "fine-tune" fiili, bir cihazın ayarını hassas biçimde düzeltmek anlamına gelir; yapay zekada da mantık aynıdır: model sıfırdan eğitilmez, mevcut bilgisinin üzerine ek eğitimle özel bir uzmanlık inşa edilir. Örneğin LLaMA veya GPT gibi bir temel model, birkaç bin kaliteli soru-cevap çiftiyle yeniden eğitilerek bir bankanın müşteri temsilcisi gibi konuşan ya da tıbbi raporları belirli bir formatta özetleyen bir modele dönüştürülebilir. Bu yaklaşımın önemi maliyet ve erişilebilirlikte yatar. Bir dil modelini sıfırdan eğitmek milyonlarca dolarlık hesaplama gücü ister; fine-tuning ise aynı modelin ağırlıklarını yeni veriye göre hafifçe güncelleyerek çok daha küçük bir bütçeyle özelleştirme yapmayı mümkün kılar. LoRA ve QLoRA gibi parametre-verimli (PEFT) yöntemlerle bu iş tek bir tüketici GPU'sunda bile yapılabilir hale gelmiştir. Pratikte fine-tuning; kurumsal sohbet botlarında marka diline uyum, hukuk ve sağlık gibi alanlarda terminoloji hâkimiyeti, yapılandırılmış çıktı (örneğin JSON) üretimi ve şirket içi verilerle çalışan özel asistanlar için kullanılır. Modele davranış ve üslup kazandırmak hedefleniyorsa fine-tuning, güncel veya sık değişen bilgiye erişim gerekiyorsa RAG tercih edilir; kurumsal sistemlerde ikisi çoğu zaman birlikte çalışır.
LoRA (Low-Rank Adaptation) (Düşük Dereceli Adaptasyon)
LoRA (Low-Rank Adaptation), milyarlarca parametreli büyük dil modellerini (LLM) veya görsel difüzyon modellerini son derece verimli biçimde ince ayarlayan (fine-tune) bir parametre etkin tekniğidir. Orijinal model ağırlıklarını dondurup yalnızca küçük ek matrisleri eğiterek tam fine-tuning'in bellek ve hesaplama maliyetini dramatik ölçüde düşürür. Teknik özünde düşük rankli matris ayrışımı yatar. Ağırlık güncelleme matrisi ΔW = A × B biçiminde iki küçük matrisin çarpımı olarak temsil edilir; burada A boyutu d×r, B boyutu r×d'dir ve r (rank), d'den çok küçük seçilir (tipik olarak 4-64). Böylece orijinal d×d büyüklüğündeki güncelleme matrisi yerine yalnızca 2×d×r parametre eğitilir; %90-99 parametre tasarrufu sağlanır. Pratik sonuçlar çarpıcıdır: 70 milyar parametreli bir Llama modelini tam fine-tuning yerine LoRA ile özelleştirmek için tek bir tüketici GPU'su (RTX 4090) yeterli olabilir, eğitim süresi saatler yerine dakikalara iner. Adapt edilmiş ağırlıklar yalnızca birkaç MB büyüklüğündeki ayrı dosyalara kaydedilir; farklı görevler için birden fazla adaptör geliştirilip aynı taban modele takılıp çıkarılabilir. QLoRA varyantı bu verimliliği daha da ileri taşır: taban modeli 4-bit NormalFloat ile nicemlenerek belleğe yükler, ardından LoRA adaptörlerini tam hassasiyetle eğitir. 65B parametreli modeli tek 48GB GPU'da fine-tune etmek bu sayede mümkün hale geldi. Görsel üretim alanında LoRA, Stable Diffusion modellerini belirli yüzler, sanat stilleri veya karakter tasarımları için özelleştirmenin standart yöntemi olarak yerleşti. Civitai gibi platformlarda binlerce topluluk LoRA'sı paylaşılmakta; kullanıcılar saniyeler içinde farklı stillerle çıktı üretebilmektedir. Hugging Face PEFT kütüphanesi, LoRA uygulamasını birkaç satır Python koduyla kullanıma sunar. Eğitim tamamlandıktan sonra adaptör ağırlıkları taban modele gömülerek (merge_and_unload) tek bir model dosyası elde edilebilir.
Prompt Tuning (İstem Ayarlama (Soft Prompting))
Prompt Tuning, büyük dil modellerini (LLM) belirli bir göreve uyarlamak için model ağırlıklarını tamamen güncellemek yerine yalnızca küçük bir 'yumuşak istem' (soft prompt) vektörünü optimize eden bir Parameter-Efficient Fine-Tuning (PEFT) tekniğidir. 2021 yılında Google araştırmacıları Brian Lester, Rami Al-Rfou ve Noah Constant tarafından önerilmiş; T5-11B ölçeğindeki modellerde tam fine-tuning ile rekabet edebildiği gösterilmiştir. Geleneksel fine-tuning yöntemlerinde milyarlarca parametre yeniden eğitilirken, prompt tuning yalnızca giriş katmanına eklenen öğrenilebilir vektörleri (soft token) günceller. Bu vektörler insan tarafından okunabilen kelimeler değildir; modelin kendi embedding uzayında gradyan inişiyle optimize edilmiş sayısal temsillerdir. Model ağırlıklarının tamamı dondurulmuş halde kalır; bu sayede aynı temel model, farklı görevler için farklı soft prompt'larla verimli biçimde çalıştırılabilir. Yöntemin en önemli avantajı hesaplama verimliliğidir: tam fine-tuning'e kıyasla eğitilmesi gereken parametre sayısı dramatik biçimde azalır; daha az GPU belleği, daha kısa eğitim süresi ve her görev için yalnızca küçük bir vektörün depolanması yeterlidir. Özellikle model ağırlıklarına doğrudan erişimin mümkün olmadığı API tabanlı senaryolarda bu özellik büyük pratik değer taşır. Pratik uygulamalarda iki önemli kısıtlama göze çarpar: model boyutu küçüldükçe (10 milyarın altında parametre) tam fine-tuning'e göre performans açığı belirginleşir; giriş bağlam uzunluğunun bir kısmı soft token'lara tahsis edildiğinden kullanılabilir bağlam penceresi de daralmaktadır. Üstelik soft prompt'lar yorumlanamaz olduğundan hata ayıklaması güçleşebilir. Prompt tuning ailesi birkaç önemli varyant içerir: Prefix Tuning her transformer katmanına öğrenilebilir vektörler ekleyerek daha güçlü yönlendirme sağlar; P-Tuning doğal dil anlama görevlerine odaklanır; Multi-Task Prompt Tuning paylaşılan tek bir prompt'u birden fazla görev için eş zamanlı optimize eder. Bu varyantlar, LoRA ile birlikte günümüzde en yaygın kullanılan PEFT teknikleri arasındadır.
QLoRA Nedir? Nicel LoRA ile Verimli Büyük Dil Modeli İnce Ayarı (QLoRA (Nicel Düşük Sıralı Uyarlama))
QLoRA (Quantized Low-Rank Adaptation), büyük dil modellerini sınırlı GPU belleğiyle ince ayarlamayı mümkün kılan bir parametre-etkin öğrenme tekniğidir. Tim Dettmers ve ekibi tarafından 2023 NeurIPS konferansında sunulan bu yöntem, modeli 4-bit kuantize ederek dondurur; ardından üzerine küçük LoRA adaptörleri eğitir. Temel model ağırlıkları hiçbir zaman güncellenmez — gradyanlar yalnızca adaptörlerden geçer. Tekniğin üç temel yeniliği şöyle açıklanabilir: **4-bit NormalFloat (NF4):** Sinir ağı ağırlıkları çoğunlukla sıfır merkezli normal dağılım gösterir. NF4, bu dağılıma göre tasarlanmış bilgi teorisi açısından optimal bir kuantizasyon veri tipidir. Standart INT4'ün yaklaşık bir puan üzerinde MMLU doğruluğu elde eder. **Çift Kuantizasyon:** İlk kuantizasyon adımında üretilen sabitlerin kendisi de ikinci kez kuantize edilir. Bu ekstra adım parametre başına ortalama 0,37 bit tasarruf yaratır ve 65 milyar parametreli bir modelde yaklaşık 3 GB ek bellek kazandırır. **Sayfalı Optimize Ediciler:** NVIDIA'nın birleşik bellek altyapısını kullanan bu mekanizma, GPU belleği dolduğunda optimizasyon durumlarını CPU RAM'ine aktarır; böylece uzun dizilerde yaşanan bellek taşması hatalarını önler. Bellek tasarrufu dramatiktir: 65 milyar parametreli bir modelin tam ince ayarı için yaklaşık 1 TB GPU belleği gerekirken QLoRA bunu tek bir 48 GB'lık GPU'ya sığdırır. 7B-8B parametreli modeller ise 10 GB'ın altında VRAM ile, yani RTX 3090 veya RTX 4090 gibi tüketici kartlarıyla eğitilebilir hale gelir. Çalışma zamanında 4-bit ağırlıklar geçici olarak BF16 formatına dönüştürülür, hesaplama yapılır ve atar; yani kalıcı olarak yüksek hassasiyetle saklanmaz. Bu tasarım kararı belleği minimize ederken kaliteyi korur. QLoRA, LLaMA, Mistral, Qwen ve Gemma dahil pratik olarak tüm dönüştürücü tabanlı modellerle çalışır. Araştırmacılar ve geliştiriciler bu yöntemi etki alanı uyarlaması, talimat ayarlaması ve RLHF tarzı hizalama görevleri için yoğun biçimde kullanmaktadır.