tag ince-ayar
DreamBooth (DreamBooth)
Bu sayfada ince-ayar (DreamBooth (DreamBooth)) etiketi ile işaretlenmiş 7 yapay zeka kavramını bulabilirsiniz.
DreamBooth, Google Research tarafından 2022 yılında geliştirilen ve yalnızca 3-5 referans görüntüyle metin-görüntü difüzyon modellerini belirli bir özneye özgü olarak kişiselleştiren ince ayar (fine-tuning) tekniğidir. Nataniel Ruiz ve arkadaşları tarafından yayımlanan orijinal makalede tekniğin temel amacı, özne güdümlü üretim (subject-driven generation) olarak tanımlanmıştır. DreamBooth'un çalışma prensibi, modelin sözlüğüne yeni bir kavram yerleştirmeye dayanır. Bu amaçla girdi görüntüleri, dilde nadir kullanılan benzersiz bir metin belirteci (token) içeren bir istemle eşleştirilir. Örneğin "a sks dog" gibi bir istem, "sks" belirtecini yalnızca bu özneyle ilişkilendirir. Eğitim tamamlandığında bu özel belirteç, modelin doğal dil anlayışıyla birleşerek özneyi farklı sahnelerde, stillerde ve ışık koşullarında tutarlı biçimde üretmesine olanak tanır. Tekniğin en kritik bileşeni, sınıf önceli koruma kaybı (class-specific prior preservation loss) mekanizmasıdır. Standart ince ayar sırasında model, yalnızca birkaç referans görüntüye aşırı uyum sağlayarak genel bilgisini yitirebilir; bu fenomen dil kayması (language drift) ya da yıkıcı unutma (catastrophic forgetting) olarak bilinir. Prior preservation kaybı, modeli eş zamanlı olarak aynı sınıftan genel örnekler üretmeye teşvik ederek bu sorunu önler ve modelin üretim çeşitliliğini korur. DreamBooth, tüm U-Net difüzyon modelini ince ayara tabi tuttuğundan LoRA gibi hafif alternatiflere kıyasla daha yüksek kimlik tutarlılığı sağlar; ancak her yeni özne için ayrı bir model ağırlıkları seti (2-4 GB) gerektirir. Bu depolama yükünü azaltmak amacıyla DreamBooth + LoRA kombinasyonu (DreamBooth-LoRA) giderek yaygınlaşmaktadır: tüm model yerine yalnızca düşük boyutlu adaptör matrisleri güncellenerek dosya boyutu yaklaşık 150 MB düzeyine indirilebilmektedir. Uygulama tarafında Hugging Face diffusers kütüphanesi, Kohya-ss arayüzü ve Automatic1111 eklentisi gibi topluluk araçları DreamBooth eğitimini erişilebilir kılar. Stable Diffusion 1.5 ve SDXL'in yanı sıra 2024-2025 döneminde yaygınlaşan Flux.1 modeli de DreamBooth ile ince ayarlanabilmektedir. Yapay zeka topluluğunda karakter tutarlılığı, ürün fotoğrafçılığı, sanatsal portre üretimi ve kişisel avatar oluşturma gibi alanlarda geniş çaplı kullanıma sahiptir.
DreamBooth (DreamBooth)
DreamBooth, Google Research tarafından 2022 yılında geliştirilen ve yalnızca 3-5 referans görüntüyle metin-görüntü difüzyon modellerini belirli bir özneye özgü olarak kişiselleştiren ince ayar (fine-tuning) tekniğidir. Nataniel Ruiz ve arkadaşları tarafından yayımlanan orijinal makalede tekniğin temel amacı, özne güdümlü üretim (subject-driven generation) olarak tanımlanmıştır. DreamBooth'un çalışma prensibi, modelin sözlüğüne yeni bir kavram yerleştirmeye dayanır. Bu amaçla girdi görüntüleri, dilde nadir kullanılan benzersiz bir metin belirteci (token) içeren bir istemle eşleştirilir. Örneğin "a sks dog" gibi bir istem, "sks" belirtecini yalnızca bu özneyle ilişkilendirir. Eğitim tamamlandığında bu özel belirteç, modelin doğal dil anlayışıyla birleşerek özneyi farklı sahnelerde, stillerde ve ışık koşullarında tutarlı biçimde üretmesine olanak tanır. Tekniğin en kritik bileşeni, sınıf önceli koruma kaybı (class-specific prior preservation loss) mekanizmasıdır. Standart ince ayar sırasında model, yalnızca birkaç referans görüntüye aşırı uyum sağlayarak genel bilgisini yitirebilir; bu fenomen dil kayması (language drift) ya da yıkıcı unutma (catastrophic forgetting) olarak bilinir. Prior preservation kaybı, modeli eş zamanlı olarak aynı sınıftan genel örnekler üretmeye teşvik ederek bu sorunu önler ve modelin üretim çeşitliliğini korur. DreamBooth, tüm U-Net difüzyon modelini ince ayara tabi tuttuğundan LoRA gibi hafif alternatiflere kıyasla daha yüksek kimlik tutarlılığı sağlar; ancak her yeni özne için ayrı bir model ağırlıkları seti (2-4 GB) gerektirir. Bu depolama yükünü azaltmak amacıyla DreamBooth + LoRA kombinasyonu (DreamBooth-LoRA) giderek yaygınlaşmaktadır: tüm model yerine yalnızca düşük boyutlu adaptör matrisleri güncellenerek dosya boyutu yaklaşık 150 MB düzeyine indirilebilmektedir. Uygulama tarafında Hugging Face diffusers kütüphanesi, Kohya-ss arayüzü ve Automatic1111 eklentisi gibi topluluk araçları DreamBooth eğitimini erişilebilir kılar. Stable Diffusion 1.5 ve SDXL'in yanı sıra 2024-2025 döneminde yaygınlaşan Flux.1 modeli de DreamBooth ile ince ayarlanabilmektedir. Yapay zeka topluluğunda karakter tutarlılığı, ürün fotoğrafçılığı, sanatsal portre üretimi ve kişisel avatar oluşturma gibi alanlarda geniş çaplı kullanıma sahiptir.
Reward Model (Ödül Modeli)
Ödül modeli (Reward Model, RM), insanların tercihlerini veya değerlerini sayısal bir ödül sinyaline dönüştüren ve pekiştirmeli öğrenme ile dil modeli hizalama süreçlerinde kullanılan bir sinir ağıdır. RLHF (Reinforcement Learning from Human Feedback) boru hattının ikinci aşamasını oluşturur ve GPT-4, Claude ve Gemini gibi üretim modellerinin temelinde yer alır. Eğitim süreci şöyle çalışır: Bir politika modelinin ürettiği aynı isteğe karşılık gelen birden fazla yanıt, insan değerlendiriciler tarafından tercih sıralamasına konur. Ödül modeli, bu tercih çiftlerini kullanarak hangi yanıtın hangisine göre daha iyi olduğunu öğrenir. Genellikle Bradley-Terry modelini temel alan bir kayıp fonksiyonu kullanılır: model, tercih edilen yanıta yüksek skor, reddedilen yanıta düşük skor vermeyi öğrenir. L = -log(σ(r_w - r_l)) formülü bu ilişkiyi matematiksel olarak ifade eder. Eğitilmiş ödül modeli, daha sonra PPO gibi RL algoritmasıyla birleştirilir: Politika modeli yanıt üretirken ödül modeli üretilen yanıtı puanlar ve bu puan politika modelinin güncellenmesinde kullanılır. Böylece insan değerlendiricilerin her eğitim adımında tekrar geri bildirim vermesi gerekmez; ödül modeli insan tercihlerini 'dondurulmuş' hâlde temsil eder. KL sapma penaltısı, modelin SFT temel çizgisinden aşırı uzaklaşmasını frenleyerek ödül hacklemesini önler. Ödül hacklemesi (reward hacking), modelin gerçek kalite yerine ödül modelini yanıltmayı öğrenmesi sorunudur. Çok uzun yanıtlar, aşırı kibar ifadeler veya anlamsız tekrarlar yüksek puan alabilir. Constitutional AI ve Direct Preference Optimization (DPO), ayrı bir ödül modeli gerektirmeden tercih hizalaması yaparak bu bağımlılığı azaltan alternatif yaklaşımlardır. DPO özellikle daha düşük hesaplama maliyetiyle benzer hizalama kalitesine ulaşabildiği için 2024-2025'te yaygınlaşmıştır. Uygulamada ödül modelinin kalitesi, nihai modelin davranışını doğrudan etkiler: yetersiz ya da önyargılı tercih verisiyle eğitilen bir ödül modeli, politika modelini istenmeyen yönlere yönlendirebilir. Bu nedenle veri çeşitliliği, değerlendirici eğitimi ve ödül modelinin düzenli yeniden eğitimi üretim ölçeğinde kritik operasyonel gereksinimlerdir.
SFT (Supervised Fine-Tuning (Denetimli İnce Ayar))
SFT (Supervised Fine-Tuning — Denetimli İnce Ayar), önceden eğitilmiş (pretrained) bir dil modelinin, yüksek kaliteli (istek, yanıt) çiftlerinden oluşan bir veri kümesiyle talimat izleme yeteneği kazandırmak amacıyla ek eğitime tabi tutulması sürecidir. RLHF boru hattının ilk hizalama adımını oluşturur ve GPT-4, Claude, Llama-2-Chat gibi modellerin temelinde yer alır. Ön eğitim (pretraining) sırasında model yalnızca sonraki kelimeyi tahmin etmeyi öğrenir; bu model herhangi bir talimatı takip edemez. SFT aşamasında model, 'Bu metni özetle → Metin: ... → Özet: ...' biçimindeki çiftlerle eğitilir. Standart dil modellemesi kaybı (cross-entropy) kullanılır; ancak yalnızca yanıt tokenleri için kayıp hesaplanır — istek tokenleri maskelenir. Bu maskeleme ile model yanıt üretmeyi öğrenir, isteği yinelemez. SFT veri kümesinin kalitesi, miktarından çok daha kritiktir. InstructGPT'de OpenAI, yalnızca birkaç on bin örneğin yeterli olduğunu göstermiştir. Alpaca projesinde 52.000 GPT-4 üretimi sentetik örnek kullanılmış; bu, insan yazımı veriyle kıyaslanabilir sonuçlar vermiştir. Modern yaklaşımlar büyük LLM'lerle sentetik veri üretimini ve filtrelemesini içerir. SFT araçları açısından Axolotl ve Unsloth, LoRA/QLoRA ile tüketici GPU'larında verimli fine-tuning yapılmasına imkân tanır; Hugging Face TRL kütüphanesi SFTTrainer sınıfı aracılığıyla süreci standartlaştırır. Tek bir RTX 4090 üzerinde 7B modelin LoRA ile SFT eğitimi saatler içinde tamamlanabilir. SFT, DPO veya RLHF öncesinde zorunlu temel adımdır; bazı durumlarda SFT tek başına yeterince iyi chat modelleri üretmektedir. Llama ve Mistral tabanlı topluluk modellerinin büyük çoğunluğu yalnızca SFT ile oluşturulmaktadır. Chat GPT'nin ilk sürümleri dahil birçok öncü model, SFT'nin şaşırtıcı derecede güçlü bir hizalama tekniği olduğunu kanıtlamıştır. Verinin çeşitliliği — kodlama, çeviri, özetleme, soru-cevap, çok adımlı akıl yürütme — modelin genel talimat izleme kapasitesini genişletir. Tek alan veriyle SFT, modelin diğer alanlardaki performansını düşürebilir (catastrophic forgetting); bu nedenle genel amaçlı fine-tuning'de veri çeşitliliği vazgeçilmezdir.
Adapter Tuning (Adapter Eğitimi)
Adapter tuning (adapter eğitimi), önceden eğitilmiş büyük dil ve görü modellerini yeni bir göreve uyarlarken modelin kendi ağırlıklarına hiç dokunmayan, bunun yerine transformer katmanlarının arasına eklenen küçük öğrenilebilir modülleri (adapter) eğiten parametre-etkin ince ayar (PEFT) yöntemidir. Yöntem 2019 yılında Google'dan Houlsby ve arkadaşlarının "Parameter-Efficient Transfer Learning for NLP" çalışmasıyla yaygınlaştı. Bu tasarımda her transformer bloğunun içine, çok başlı dikkat ve ileri besleme alt katmanlarının çıkışına, darboğaz (bottleneck) yapısında iki küçük ağ yerleştirilir. Adapter, gelen d boyutlu gizli vektörü çok daha küçük bir r boyutuna indirir, doğrusal olmayan bir aktivasyondan geçirir, tekrar d boyutuna çıkarır ve sonucu artık (residual) bağlantıyla girişe ekler. Başlangıçta kimlik dönüşümüne yakın davrandığı için eğitim, temel modelin davranışını bozmadan başlar. Eğitim sırasında yalnızca adapter parametreleri ile katman normalizasyonu gibi birkaç küçük bileşen güncellenir; geri kalan yüz milyonlarca ya da milyarlarca ağırlık dondurulur. Houlsby ve ekibi BERT-large ile GLUE deneylerinde, görev başına yalnızca yüzde 3,6 ek parametreyle tam ince ayarın 0,4 puan yakınına ulaştıklarını raporladı. Darboğaz boyutu küçüldükçe bu oran yüzde birin altına iner. Adapter'ların asıl gücü modülerliktir. Her görev için ayrı bir adapter dosyası eğitilir, aynı temel model üzerinde onlarca adapter yan yana saklanır ve çıkarım anında istenen adapter yüklenir. Bu yapı, tek bir model kopyasıyla çok görevli servis kurmayı, hassas görev verisini temel modele işlemeden paylaşmayı ve yeni görev eklerken eski görevlerde felaket unutma yaşamamayı mümkün kılar. AdapterHub platformu, adapters kütüphanesi, MAD-X ve AdapterFusion gibi uzantılarla birlikte çok dilli transfer ve görevler arası bilgi birleştirme için hazır bir ekosistem sunar. LoRA ile karşılaştırıldığında adapter, ağırlık matrislerine düşük rankli bir güncelleme eklemek yerine katman sırasına yeni bir blok sokar; bu nedenle çıkarımda küçük ama ölçülebilir bir gecikme payı vardır ve ağırlıklarla birleştirilemez. Buna karşılık adapter'lar tak-çıkar biçimde bir araya getirilebilir, üst üste istiflenebilir ve dil ile görev bilgisini ayrı modüllerde tutabilir. Gecikmenin kritik olduğu servislerde LoRA, modülerliğin ve paylaşımın öne çıktığı senaryolarda ise adapter tuning daha uygun bir tercihtir.
GRPO (Grup Göreli Politika Optimizasyonu)
GRPO (Group Relative Policy Optimization / Grup Göreli Politika Optimizasyonu), büyük dil modellerini pekiştirmeli öğrenme ile ince ayarlamak için geliştirilmiş verimli bir algoritmadır. İlk olarak DeepSeek'in 2024 tarihli DeepSeekMath makalelerinde tanıtılan bu yöntem, Ocak 2025'te yayımlanan DeepSeek-R1 modeli sayesinde geniş yapay zeka camiasının dikkatini çekti. Geleneksel PPO (Proximal Policy Optimization) yönteminde, ince ayar sürecinde politika modelinin yanı sıra ayrı bir değer (critic) modeli de eğitilir. Bu değer modeli, belirli bir durum için beklenen kümülatif ödülü tahmin eder ve öğrenme sinyalini kararlı kılar. Ancak bu yaklaşım, politika modeli kadar parametre içerebilen ikinci bir modelin GPU belleğine ve hesaplama kaynaklarına sığdırılmasını gerektirir. GRPO, bu değer modelini tamamen ortadan kaldırır ve yerine grup tabanlı bir karşılaştırma mekanizması koyar. GRPO'nun çalışma mekanizması şöyledir: Eğitim sırasında her sorgu için politika modeli birden fazla (genellikle 4 ila 16) bağımsız yanıt örnekler. Her yanıt, kural tabanlı veya model tabanlı bir ödül fonksiyonu tarafından puanlanır; matematik sorularında doğru cevap kontrol edilebilir, kod sorularında birim testleri çalıştırılabilir, biçim uygunluğu değerlendirilebilir. Her yanıtın avantajı, grup içindeki ortalama ödül çıkarılarak ve grubun standart sapmasına bölünerek hesaplanır. Bu normalize edilmiş avantajlar, PPO'nun kırpılmış politika gradyanı güncelleme kuralıyla birleştirilir ve model parametreleri güncellenir. GRPO'nun başlıca avantajları şunlardır: Değer modeli eğitilmediğinden GPU belleği ve hesaplama maliyeti önemli ölçüde azalır; bu da daha büyük politika modelleriyle ya da daha dar bütçelerle çalışmayı mümkün kılar. Grup içi karşılaştırma, modelin kendi üretimlerini birbirleriyle kıyaslamasını sağlar ve daha tutarlı bir öğrenme sinyali oluşturur. Kural tabanlı ödül fonksiyonları kullanıldığında insan etiketine olan bağımlılık azalır. Buna karşın yöntemin sınırlılıkları da vardır: Grup büyüklüğü ve ödül fonksiyonu tasarımı kritik hiperparametrelerdir; hatalı ödüller hızla yayılabilir. GRPO, DeepSeek-R1'in başarısının ardından açık kaynaklı LLM eğitim ekosisteminde hızla benimsenmiş; TRL, Verl ve OpenRLHF gibi kütüphaneler GRPO desteği eklemiştir. Günümüzde bu algoritma, reasoning model eğitiminin standart araç kutusunun bir parçası haline gelmiştir.
PEFT (Parameter-Efficient Fine-Tuning) (PEFT (Parametre Verimli İnce Ayar))
PEFT (Parameter-Efficient Fine-Tuning), büyük dil modelleri ve diğer temel modelleri görev odaklı verilere uyarlamak için kullanılan, model parametrelerinin yalnızca küçük bir bölümünü güncelleyen ince ayar yöntemleri ailesinin genel adıdır. Geleneksel tam ince ayarda modelin tüm ağırlıkları yeniden eğitilir; bu yaklaşım on milyarlarca parametreli modeller için son derece yüksek hesaplama ve bellek maliyeti gerektirir. PEFT yöntemleri bu maliyeti bir ila birkaç büyüklük mertebesinde azaltırken görev performansını büyük ölçüde korur. PEFT ailesinin en yaygın yöntemi LoRA'dır (Low-Rank Adaptation). LoRA, dondurulmuş ağırlık matrislerine paralel düşük boyutlu matris çiftleri ekler; asıl parametreler sabit kalırken yalnızca bu küçük adaptör ağırlıkları öğrenilir. QLoRA, LoRA'yı 4-bit niceleme ile birleştirerek tüketici GPU'larında 70B+ modellerin ince ayarını mümkün kılar. Prefix Tuning, modelin giriş dizisinin başına öğrenilebilir "önek" token vektörleri ekler; model ağırlıklarına hiç dokunmaz. Adapter Tuning, transformer katmanları arasına küçük beslemeli ağ modülleri yerleştirir. IA3 ise aktivasyon değerlerini ölçeklendiren öğrenilebilir vektörler kullanarak çok daha az parametre günceller. Bu yöntemlerin pratik avantajları önemlidir. Farklı görevler için eğitilmiş birden fazla PEFT ağırlığı, tek bir temel modelle paylaşılabilir; bu hem depolama hem de servis maliyetlerini düşürür. Hugging Face'in `peft` kütüphanesi, LoRA ve diğer yöntemleri birkaç satır kodla herhangi bir transformer modeline uygulamayı kolaylaştırır. LoRA'nın rank (r) ve alpha (α) hiperparametreleri adaptör kapasitesini kontrol eder: düşük rank daha az parametre ancak daha sınırlı ifade gücü anlamına gelir; tipik değerler 4–64 aralığındadır. Araştırma dünyasında PEFT, LLM'lerin belirli alanlara (hukuk, tıp, kod) veya dillere hızlı adaptasyonu için standart yaklaşım hâline gelmiştir. Türkçe yapay zeka uygulamaları açısından PEFT, büyük İngilizce modellerin Türkçe verilere ince ayarlanmasında tercih edilen maliyet etkin çözümdür; özellikle Llama ve Mistral gibi açık ağırlıklı modellerle birlikte kullanılmaktadır.
Prefix-Tuning (Önek Ayarlama (Prefix-Tuning))
Prefix-Tuning (Önek Ayarlama), büyük dil modellerini yeni bir göreve uyarlarken modelin tüm ağırlıklarını dondurup yalnızca her transformer katmanının dikkat mekanizmasına eklenen kısa, öğrenilebilir vektör dizilerini (prefix) eğiten parametre verimli ince ayar (PEFT) yöntemidir. Yöntem, 2021 yılında Stanford Üniversitesi'nden Xiang Lisa Li ve Percy Liang tarafından "Prefix-Tuning: Optimizing Continuous Prompts for Generation" başlıklı makaleyle önerildi. Temel fikir, elle yazılan istemlerin (prompt) yerine gradyan inişiyle optimize edilen sürekli vektörler kullanmaktır; bu vektörler sözlükte karşılığı olmayan "sanal token"lar gibi davranır ve modelin dikkatini görev için doğru bağlama yönlendirir. Teknik olarak prefix, her katmandaki anahtar (key) ve değer (value) matrislerinin önüne eklenen sabit uzunlukta bir gizli durum dizisidir. Eğitim sırasında yalnızca bu diziler gradyan güncellemesi alır; GPT-2 veya BART gibi temel modelin milyonlarca ya da milyarlarca parametresi olduğu gibi kalır. Li ve Liang'ın deneylerinde toplam parametrelerin yaklaşık yüzde 0,1'i eğitilerek tablodan metne üretim ve özetleme görevlerinde tam ince ayara yakın sonuçlar elde edildi; az veri bulunan senaryolarda ve eğitimde görülmemiş konulara genelleme yaparken prefix-tuning tam ince ayarı geride bıraktı. Bu yaklaşımın en somut faydası çok görevli dağıtımda görülür. Tek bir temel model bellekte tutulur, her görev için yalnızca birkaç megabaytlık prefix dosyası saklanır ve istek geldiğinde ilgili prefix yüklenir. Böylece bir kurum aynı modeli özetleme, soru üretimi ve rapor yazımı gibi farklı işler için tam kopya oluşturmadan kullanabilir. Prefix-Tuning, yalnızca giriş katmanına vektör ekleyen Prompt Tuning'den daha derin bir müdahale sunar; ağırlık matrislerine düşük rankli güncelleme ekleyen LoRA'dan ise mekanizma olarak ayrılır. Günümüzde Hugging Face PEFT kütüphanesi bu yöntemi doğrudan destekler ve P-Tuning v2 gibi türevleri aynı fikri sınıflandırma görevlerine de taşımıştır.