Fine-Tuning (İnce Ayar)

#MakineOgrenmesi #LLM #ModelEgitimi #LoRA #PEFT

Fine-tuning (ince ayar), önceden eğitilmiş bir yapay zeka modelinin küçük ve göreve özel bir veri setiyle belirli bir işe uyarlanmasıdır.

Fine-tuning (ince ayar), genel amaçlı büyük bir modeli, belirli bir görev veya alan için özelleştirmek amacıyla ek veriyle yeniden eğitme sürecidir. Temel modeller (foundation models), devasa metin ya da görüntü külliyatlarıyla ön eğitimden geçirilir; bu sayede dilin gramerini, mantığını ve genel bilgiyi kodlarlar. Ancak bir şirketin müşteri hizmetleri tonunu benimseyen, belgelerini hep aynı JSON şemasında döndüren ya da tıbbi terminolojiyi hatasız kullanan özel bir modele ihtiyaç duyulduğunda sıfırdan eğitim hem maliyetli hem de veri açısından olanaksız olabilir. İnce ayar, bu boşluğu doldurur: mevcut ağırlıkları başlangıç noktası olarak kullanır ve yeni veriye göre hafifçe güncelleyerek modelin davranışını, biçimini ve üslubunu kalıcı biçimde özelleştirir. Fine-tuning yöntemleri hesaplama maliyeti ve adaptasyon derinliği açısından farklılaşır. Tam ince ayar (full fine-tuning), modelin tüm parametrelerini günceller; maksimum adaptasyon gücü sunarken çok yüksek GPU belleği ve uzun eğitim süresi gerektirir. Catastrophic forgetting (felaketi unutma) da önemli bir risktir: model yeni bilgiyi öğrenirken eski bilgilerini yitirebilir. PEFT (Parameter-Efficient Fine-Tuning) yöntemleri bu sorunu çözmek için parametrelerin büyük çoğunluğunu dondurur ve yalnızca küçük bir alt kümeyi günceller. LoRA (Low-Rank Adaptation), katmanlar arasına düşük sıralı ek matrisler yerleştirerek orijinal ağırlıklara dokunmadan öğrenmeyi mümkün kılar. QLoRA ise temel modeli 4-bit'e kuantize edip üzerine LoRA uygulayarak 65 milyar parametreli modelleri bile tek bir tüketici sınıfı GPU'da eğitmeye elverişli hale getirir. İnce ayarın avantajları net ve ölçülebilirdir: prompt'la her istekte yeniden tarif edilmesi gereken kurallar modelin doğal davranışı haline gelir; bu hem token maliyetini düşürür hem de çıktı tutarlılığını artırır. Kurumsal kullanımda açık kaynak modeller kendi sunucularda ince ayardan geçirilerek hassas veriler üçüncü taraf API'lere aktarılmadan uzman model elde edilir. Eğitim verisi kalitesi ve miktarı, ince ayarın başarısını doğrudan belirleyen en kritik etkenlerdir.

Fine-Tuning Neden Yapılır?

Temel modeller (base models) internetteki devasa metin yığınlarıyla eğitilir; her şeyi biraz bilirler ama hiçbir konuda size özel değillerdir. Şirketinizin müşteri hizmetleri ses tonunu benimseyen, belirli tıbbi terminolojide doğru çıktı üreten veya şirket içi kod standartlarını takip eden bir modele ihtiyaç duyduğunuzda ince ayar (fine-tuning) devreye girer. Bu süreç modeli baştan eğitmek yerine halihazırda öğrenilmiş dil anlayışını koruyarak yeni görev ya da alana yönlendirmektir.

İnce Ayar Yöntemleri

  • check_circle Tam Fine-Tuning: Tüm model ağırlıkları güncellenir; en iyi performansı verir ancak büyük GPU belleği ve uzun eğitim süresi gerektirir. Küçük-orta boyutlu modellerde uygulanabilir.
  • check_circle PEFT (Parameter-Efficient Fine-Tuning): Model ağırlıklarının yalnızca küçük bir bölümü güncellenir; hesaplama maliyeti dramatik biçimde düşer. LoRA, Prefix Tuning ve Prompt Tuning bu kategoriyi oluşturur.
  • check_circle LoRA (Low-Rank Adaptation): Ağırlık matrislerini düşük sıralı bozunumla güncelleyen PEFT tekniği. Adapter ağırlıkları ayrı dosyada saklanır; birden fazla görev için farklı LoRA adaptörü aynı base model üzerinde kullanılabilir.
  • check_circle QLoRA: 4-bit kuantalanmış temel modele LoRA uygulayan teknik; tek tüketici GPU'sunda 70B+ parametreli modellerin ince ayarını mümkün kılar. Bellek verimliliği LoRA'nın 2-3 katı daha azdır.

Fine-Tuning Ne Zaman Gereklidir?

Alan adına özgü dil, format ve davranış gerektiren her durumda ince ayar düşünülmelidir. Uzun ve karmaşık sistem promptları tutarsız sonuç veriyorsa, model belirli bir çıktı formatını sürekli hatalı üretiyorsa veya alan terminolojisinde yanıltıcı sonuçlar veriyorsa fine-tuning yardımcı olabilir. Ancak önce RAG, prompt mühendisliği ve few-shot örnekleme ile çözülüp çözülemeyeceğini test etmek genellikle daha hızlı ve ucuzdur. Fine-tuning en yüksek değeri örneklenmiş görev örüntüsü öğretilmesi gereken durumlarda verir.

Fine-Tuning Süreci: Temel Adımlar

  • check_circle Veri Hazırlama: Yüksek kaliteli girdi-çıktı çiftleri toplanır, tutarsızlıklar ve hatalar temizlenir. Fine-tuning için veri kalitesi miktardan çok daha önemlidir; 500-1000 örnekle anlamlı kazanım mümkündür.
  • check_circle Format Standardizasyonu: Chat modelleri için sistem/kullanıcı/asistan rollerine dayanan yapılandırılmış format (genellikle JSONL) zorunludur. Llama, Mistral ve Gemma gibi modellerin kendi özel sohbet şablonları vardır.
  • check_circle Hiperparametre Konfigürasyonu: Öğrenme hızı, epoch sayısı, batch boyutu ve LoRA rank değerleri belirlenir. Aşırı öğrenmeyi önlemek için validation seti ayrılır ve erken durdurma (early stopping) uygulanır.
  • check_circle Değerlendirme ve İterasyon: Fine-tuned model referans test seti üzerinde temel modelle karşılaştırılır; insan değerlendirmesi veya LLM-as-judge yaklaşımı kullanılır. Yetersiz iyileşmede veri kalitesi ve çeşitliliği tekrar gözden geçirilir.

Popüler Araçlar ve Platformlar

  • check_circle Hugging Face PEFT & TRL: LoRA, QLoRA ve RLHF fine-tuning için açık kaynak standart kütüphaneler; Transformers ekosistemine tam entegre, geniş model desteği.
  • check_circle Axolotl: YAML konfigürasyon tabanlı fine-tuning çerçevesi; Llama, Mistral ve Gemma gibi açık ağırlıklı modeller için hazır şablon koleksiyonu sunar.
  • check_circle OpenAI Fine-Tuning API: GPT-4o ve GPT-3.5-turbo için bulut tabanlı fine-tuning; GPU yönetimi gerektirmez. Küçük ve orta ölçekli veri setleri için en hızlı başlangıç yoludur.
  • check_circle Unsloth: QLoRA eğitimini standart uygulamaya kıyasla 2-5× hızlandıran optimize kütüphane; düşük VRAM ortamlarında dramatik verimlilik kazancı sağlar.

Sık Sorulan Sorular

  • check_circle Fine-tuning ile RAG arasındaki fark nedir? RAG (Retrieval-Augmented Generation) bilgiyi dış veritabanından alarak modele bağlam olarak iletir; bilgi güncellemesi kolaydır. Fine-tuning bilgiyi model ağırlıklarına işler; hız ve tutarlılık kazancı sunar ancak bilgi güncellemek yeniden eğitim gerektirir. Çoğu üretim sistemi ikisini birleştirir.
  • check_circle Ne kadar veriye ihtiyaç var? Görev odaklı format/ton öğretmek için 500-2000 yüksek kaliteli örnek genellikle yeterlidir. Yeni alan bilgisi öğretmek daha fazla veri gerektirir; ancak kalite her zaman miktardan önce gelir.
  • check_circle Catastrophic forgetting nedir ve nasıl önlenir? Model ince ayar sırasında önceki bilgisini kısmen unutabilir. Düşük öğrenme hızı, az epoch, PEFT yöntemleri ve elastic weight consolidation (EWC) bu riski azaltır. LoRA özellikle az unutma eğilimlidir.
  • check_circle Açık kaynak mı, kapalı API mi tercih edilmeli? Veri gizliliği kritikse ve GPU altyapısı mevcutsa açık kaynak (Llama, Mistral) daha uygun. Hızlı prototipleme, düşük GPU bütçesi veya kurumsal SLA gerekiyorsa OpenAI/Anthropic API fine-tuning tercih edilir.
  • check_circle Fine-tuned model promptu tamamen geçersiz kılabilir mi? Hayır. Fine-tuning bir "yazma eğilimi" katarken temel model kapasitesini ve güvenlik hizalamasını siler ya da geçersiz kılmaz. Güvenlik hizalamasını kaldırmak ayrı ve kasıtlı çalışma gerektirir; bu etik ve yasal sorunlar doğurur.