tag fine-tuning
Bu sayfada fine-tuning etiketi ile işaretlenmiş 14 yapay zeka kavramını bulabilirsiniz.
DPO (Direct Preference Optimization — Doğrudan Tercih Optimizasyonu), büyük dil modellerini insan tercihlerine göre hizalamak için kullanılan ve RLHF'nin çok aşamalı sürecini tek bir denetimli öğrenme adımına indirgeyen ince ayar (fine-tuning) yöntemidir. Rafailov ve arkadaşlarının 2023 yılında Stanford'da yayımladığı "Your Language Model is Secretly a Reward Model" makalesiyle önerilmiştir. Yöntemin çözdüğü temel sorun şudur: RLHF'de önce insan tercihlerinden ayrı bir ödül modeli eğitilir, ardından bu ödülü maksimize etmek için PPO gibi pekiştirmeli öğrenme algoritmaları çalıştırılır. Bu süreç karmaşık, maliyetli ve genellikle kararsızdır; milyarlarca parametreli modellerde PPO'nun hiperparametre hassasiyeti ciddi bir mühendislik yükü oluşturur. DPO, ödül fonksiyonunun kapalı formda doğrudan politika üzerinden ifade edilebildiğini matematiksel olarak gösterir. Bu dönüşümün temeli Bradley-Terry tercih modelindedir: iki yanıt arasındaki insan tercihini modelleyen ödül fonksiyonu, politika ile referans politika arasındaki log-olasılık oranı cinsinden yeniden yazılabilir. Böylece aynı hizalama hedefi, kazanan-kaybeden yanıt çiftlerinden oluşan tercih verisiyle (x, y_w, y_l üçlüleriyle) tek aşamada optimize edilir. Kayıp fonksiyonu, modelin tercih edilen yanıta (y_w) verdiği olasılığı artırırken reddedilen yanıtın (y_l) olasılığını düşürür; KL cezasıyla referans modelden aşırı sapmayı engeller. Beta hiperparametresi bu dengenin hassasiyetini belirler: düşük beta modele daha fazla hareket alanı tanır, yüksek beta referans modele yakın kalmayı zorlar. Pratikte DPO büyük fark yaratır: ayrı ödül modeli eğitimi, örnekleme döngüleri ve PPO'nun karmaşık hiperparametre yönetimi ortadan kalkar; eğitim daha kararlı, daha az hesaplama gerektiren ve tekrarlanabilir bir hale gelir. Zephyr, Tülu 2 ve Meta'nın Llama 3 ailesi gibi popüler modellerin hizalama aşamasında DPO kullanılmıştır. Hugging Face TRL kütüphanesindeki DPOTrainer sınıfı, LoRA veya QLoRA ile birleştiğinde yöntemi tek GPU'lu ortamlarda bile erişilebilir kılar. DPO bugün açık kaynak LLM hizalamasının fiili standartlarından biri konumundadır. IPO (Identity Policy Optimization), KTO (Kahneman-Tversky Optimization), SimPO ve ORPO gibi türev yöntemler bu çerçeveden ilham alınarak geliştirilmiştir. Hangi yöntemin seçileceği veri altyapısına, hesaplama bütçesine ve hedef görevin hassasiyetine bağlıdır.
DPO (Doğrudan Tercih Optimizasyonu)
DPO (Direct Preference Optimization — Doğrudan Tercih Optimizasyonu), büyük dil modellerini insan tercihlerine göre hizalamak için kullanılan ve RLHF'nin çok aşamalı sürecini tek bir denetimli öğrenme adımına indirgeyen ince ayar (fine-tuning) yöntemidir. Rafailov ve arkadaşlarının 2023 yılında Stanford'da yayımladığı "Your Language Model is Secretly a Reward Model" makalesiyle önerilmiştir. Yöntemin çözdüğü temel sorun şudur: RLHF'de önce insan tercihlerinden ayrı bir ödül modeli eğitilir, ardından bu ödülü maksimize etmek için PPO gibi pekiştirmeli öğrenme algoritmaları çalıştırılır. Bu süreç karmaşık, maliyetli ve genellikle kararsızdır; milyarlarca parametreli modellerde PPO'nun hiperparametre hassasiyeti ciddi bir mühendislik yükü oluşturur. DPO, ödül fonksiyonunun kapalı formda doğrudan politika üzerinden ifade edilebildiğini matematiksel olarak gösterir. Bu dönüşümün temeli Bradley-Terry tercih modelindedir: iki yanıt arasındaki insan tercihini modelleyen ödül fonksiyonu, politika ile referans politika arasındaki log-olasılık oranı cinsinden yeniden yazılabilir. Böylece aynı hizalama hedefi, kazanan-kaybeden yanıt çiftlerinden oluşan tercih verisiyle (x, y_w, y_l üçlüleriyle) tek aşamada optimize edilir. Kayıp fonksiyonu, modelin tercih edilen yanıta (y_w) verdiği olasılığı artırırken reddedilen yanıtın (y_l) olasılığını düşürür; KL cezasıyla referans modelden aşırı sapmayı engeller. Beta hiperparametresi bu dengenin hassasiyetini belirler: düşük beta modele daha fazla hareket alanı tanır, yüksek beta referans modele yakın kalmayı zorlar. Pratikte DPO büyük fark yaratır: ayrı ödül modeli eğitimi, örnekleme döngüleri ve PPO'nun karmaşık hiperparametre yönetimi ortadan kalkar; eğitim daha kararlı, daha az hesaplama gerektiren ve tekrarlanabilir bir hale gelir. Zephyr, Tülu 2 ve Meta'nın Llama 3 ailesi gibi popüler modellerin hizalama aşamasında DPO kullanılmıştır. Hugging Face TRL kütüphanesindeki DPOTrainer sınıfı, LoRA veya QLoRA ile birleştiğinde yöntemi tek GPU'lu ortamlarda bile erişilebilir kılar. DPO bugün açık kaynak LLM hizalamasının fiili standartlarından biri konumundadır. IPO (Identity Policy Optimization), KTO (Kahneman-Tversky Optimization), SimPO ve ORPO gibi türev yöntemler bu çerçeveden ilham alınarak geliştirilmiştir. Hangi yöntemin seçileceği veri altyapısına, hesaplama bütçesine ve hedef görevin hassasiyetine bağlıdır.
Foundation Model (Temel Model)
Foundation model (temel model), trilyonlarca token metin, görüntü, ses ve kod verisi üzerinde öz denetimli öğrenme (self-supervised learning) ile önceden eğitilen ve prompt mühendisliği, ince ayar (fine-tuning) veya RAG ile çok sayıda farklı göreve uyarlanabilen büyük ölçekli yapay zeka modelidir. Terimi 2021'de Stanford HAI (Institute for Human-Centered AI) ortaya attı; bugün GPT-5, Claude Opus 4.5, Gemini 3, Llama 4 ve DeepSeek-R1 gibi modeller bu kategorinin güncel örnekleridir. Foundation model yaklaşımından önce her görev için ayrı model eğitilirdi: çeviri için ayrı, duygu analizi için ayrı, görüntü sınıflandırma için ayrı. Temel model bu parçalı yapıyı tersine çevirdi. Tek bir model, devasa ve çeşitli veriyle bir kez eğitilir; ardından tıp, hukuk, yazılım geliştirme veya müşteri hizmetleri gibi alanlara birkaç örnekle (few-shot) ya da küçük bir ek eğitimle uyarlanır. "Bir kez eğit, binlerce göreve uyarla" ilkesi, modern üretken yapay zekanın ekonomik temelini oluşturur. Ölçek bu tanımın merkezindedir. Güncel sınır modelleri yüz milyarlarca ile trilyonlarca parametre taşır; eğitim maliyeti tek model için 100 milyon doları aşabilir (Epoch AI, Gemini Ultra eğitimini ~190M USD hesaplama maliyetiyle tahmin eder). Ölçek büyüdükçe çok adımlı akıl yürütme, kod üretimi ve az örnekle öğrenme gibi "emergent" yetenekler gözlenir — kimi araştırmacılar bunun ölçüm metriğine bağlı bir görünüm olduğunu savunsa da pratik etkisi tartışmasızdır. Kavram LLM ile eş anlamlı değildir: her büyük dil modeli bir foundation model'dir, ancak CLIP (görüntü-metin), Whisper (ses), AlphaFold 3 (protein yapısı) ve SAM 2 (görüntü segmentasyonu) gibi dil dışı temel modeller de vardır. 2026 itibarıyla sınır, metin-görüntü-ses-videoyu tek modelde işleyen natively multimodal mimarilere kaydı; Gemini 3 ve GPT-5 bu sınıfın örnekleridir. Düzenleyici çerçeve de bu kavram üzerine kuruludur: AB Yapay Zeka Yasası, foundation model'leri "genel amaçlı yapay zeka modeli" (GPAI) olarak tanımlar ve Ağustos 2025'ten itibaren eğitim verisi özeti, telif uyumu ve 10^25 FLOP üzeri modeller için sistemik risk yükümlülükleri getirir. Kurumsal tarafta seçim genellikle kapalı API (GPT-5, Claude, Gemini) ile kendi sunucunda çalıştırılabilen açık ağırlıklı model (Llama 4, Qwen3, Mistral, DeepSeek) arasında maliyet, gizlilik ve KVKK/GDPR uyumu ekseninde yapılır.
Instruction Tuning (Komut Ayarı)
Instruction Tuning (Komut Ayarı veya Talimat İnce Ayarı), önceden eğitilmiş dil modellerini insan yazılı talimat-yanıt çiftleriyle ince ayar yaparak modelin çeşitli görevleri takip etme becerisini geliştiren bir eğitim yöntemidir. 2021'de Google'ın FLAN modeli ve Stanford'un Alpaca çalışmasıyla popülerleşen bu teknik, bugün neredeyse tüm kullanıcıya dönük LLM'lerin eğitim süreçlerinin temel ve ayrılmaz bir parçasıdır. Instruction tuning'den önce dil modelleri yalnızca sonraki tokeni tahmin etmek üzere eğitilirdi; bu modeller doğrudan kullanıcı talimatlarını takip etmekte yetersiz kalırdı. Instruction tuning, çok sayıda ve çeşitli görevleri kapsayan veri setiyle modeli fine-tune eder: özetleme, soru yanıtlama, çeviri, sınıflandırma, kod yazma. Böylece model yeni, görülmemiş görevleri sıfır-atış (zero-shot) veya az-atış (few-shot) biçiminde takip edebilir hâle gelir. Bu yetenek, bir asistan ile ham bir dil modeli arasındaki en temel farkı oluşturur; eğitim maliyetinin küçük bir kesimiyle büyük kullanılabilirlik artışı elde edilir. Kaliteli instruction tuning için veri kalitesi, çeşitliliği ve talimat-yanıt uyumluluğu kritiktir. LIMA çalışması, 1000 yüksek kaliteli örnek bile yeterince çeşitliyse güçlü instruction following kapasitesi elde edilebileceğini kanıtlamıştır. Günümüzde büyük ölçekli modeller için hem insan yazılı hem de LLM ile sentetik olarak üretilmiş instruction veri setleri kullanılmaktadır. WizardLM, ShareGPT ve OpenAssistant gibi açık veri setleri, topluluğun bu tekniği demokratikleştirmesinde önemli bir rol üstlenmektedir. Instruction tuning sonrası RLHF (İnsan Geri Bildiriminden Pekiştirme Öğrenmesi) veya DPO (Doğrudan Tercih Optimizasyonu) uygulaması, modeli daha güvenli ve kullanıcı dostu bir konuma taşır. Multitask instruction tuning, modelin tek bir görev yerine onlarca farklı talimat türünü öğrenmesini destekleyerek genel amaçlı asistan yeteneklerini güçlendirir. GPT-4, Claude ve Gemini gibi modern sohbet modellerinin temelinde bu çok katmanlı fine-tuning hattı yatmaktadır. 2024-2026 döneminde instruction tuning, LoRA ve QLoRA gibi parametre-verimli yöntemlerle tüketici donanımında da uygulanabilir hâle gelmiştir. Tıp, hukuk ve finans gibi alana özgü instruction tuning çalışmaları, genel amaçlı modellerin yetersiz kaldığı özel bağlamlardaki boşlukları kapatmaktadır. Self-Instruct yöntemi ise modelin kendi ürettiği talimat-yanıt çiftleriyle özyinelemeli olarak eğitilmesine olanak tanıyarak pahalı insan etiketleme maliyetini düşürmüştür. Türkçe instruction veri setlerinin gelişmesiyle birlikte Türkçe asistan modellerinin doğruluğu ve tutarlılığı hızla artmaktadır.
LLaMA (Meta LLaMA Modelleri)
LLaMA (Large Language Model Meta AI), Meta AI tarafından 2023 yılında kamuoyuna sunulan açık ağırlıklı (open-weight) büyük dil modeli serisidir. GPT-4 ve Claude gibi yalnızca API erişimiyle sunulan kapalı modellerin aksine, LLaMA ağırlık dosyaları araştırmacılara ve geliştiricilere ücretsiz olarak dağıtılır; bu yapı modeli indirilebilir, yerel sunucularda barındırılabilir ve farklı alanlara ince ayar yapılabilir hâle getirir. LLaMA serisi aşamalı olarak gelişti. 2023 başında yayımlanan LLaMA 1, kısa sürede sızdırılmasıyla birlikte Alpaca ve Vicuna gibi topluluk türev modellerinin önünü açtı. LLaMA 2, ticari kullanıma tam açılan ilk versiyon olarak şirketlerin kendi sunucularında özel asistan kurmasına olanak tanıdı. LLaMA 3 ve 3.1, 8B ile 405B arasındaki parametre aralığıyla GPT-4o ile başa baş rekabet edebilir düzeye ulaştı; LLaMA 3.1 405B modeli, Ağustos 2024'te açık ağırlıklı modeller için tarihi bir kırılma noktası olarak değerlendirildi. 2025'te tanıtılan LLaMA 4 ise Mixture-of-Experts mimarisiyle metin, görsel ve sesi bir arada işleyebilen çok modlu bir yapıya geçti. Teknik açıdan LLaMA, standart Transformer bloklarını Grouped Query Attention (GQA) ve Rotary Position Embedding (RoPE) optimizasyonlarıyla güçlendirir. Bu düzenlemeler bellek bant genişliğini azaltır ve bağlam uzunluğunu artırır. Modeller 2 trilyon tokeni aşan çok dilli eğitim verisiyle ön eğitim alır; ardından RLHF ve SFT ince ayar aşamalarından geçer. Ekosistem oldukça geniştir. Ollama, LM Studio ve Jan gibi araçlar teknik bilgi gerektirmeden yerel LLaMA çalıştırmayı mümkün kılar. Unsloth ile QLoRA yöntemi, 24 GB VRAM'li tek bir tüketici GPU'sunda 70B parametre ince ayarını gerçekleştirir. Hugging Face Hub'daki on binlerce türev model — CodeLlama, Llama-Guard, tıbbi LLaMA türevleri — bu açık ekosistemi genişletmeye devam etmektedir. LLaMA lisansı belirli koşullarla ticari kullanıma izin verir; aylık 700 milyonu aşan kullanıcı tabanında Meta'dan ek lisans alınması gerekmektedir. Türkiye'deki geliştiriciler için LLaMA, GPT-4 API maliyetleri yerine aylık sıfır dolara yakın giderle yüksek kaliteli dil işleme olanağı sunar. LLaMA 3.1 ve üzeri modeller Türkçeyi desteklemekte; açık kaynak topluluk modelleri bu desteği geliştirmeye devam etmektedir.
LoRA (Low-Rank Adaptation) (Düşük Dereceli Adaptasyon)
LoRA (Low-Rank Adaptation), milyarlarca parametreli büyük dil modellerini (LLM) veya görsel difüzyon modellerini son derece verimli biçimde ince ayarlayan (fine-tune) bir parametre etkin tekniktir. Orijinal ağırlık matrislerini dondurarak yalnızca küçük ek matrisler eğiten bu yaklaşım, tam ince ayara kıyasla eğitim için gereken GPU belleğini ve hesaplama süresini dramatik ölçüde azaltır. Bu sayede tüketici sınıfı donanımlar üzerinde büyük ölçekli model uyarlaması mümkün hale gelir. Tekniğin matematiksel temeli düşük ranklı matris ayrışımına dayanır. Ağırlık güncellemesi ΔW = A × B olarak ifade edilir; burada A (d×r) ve B (r×d) boyutlarındaki küçük matrisler yalnızca r rank boyutunu eğitir. Eğitim başında A Gaussian dağılımla, B ise sıfırla başlatılır; böylece başlangıçta LoRA katkısı sıfır olur ve taban modelin davranışı bozulmaz. Çıkarım sırasında eğitilen matrisler W + (α/r) × BA formülüyle taban modele eklenir; bu işlem ek gecikme yaratmaz ve ayrı adaptör dosyaları farklı görevler için kolayca değiştirilebilir. Varyantlar arasında QLoRA özellikle dikkat çekmektedir. Taban modeli 4-bit NF4 ile nicemlendirerek belleğe yükleyen bu yöntem, 65 milyar parametreli bir modeli tek bir 48 GB GPU'ya sığdırabilmektedir; LoRA adaptörleri ise tam hassasiyetle eğitilir. AdaLoRA her katmana önem skoruna göre dinamik rank atarken DoRA ağırlığı büyüklük ve yön bileşenlerine ayırarak tam ince ayara daha yakın davranış sergiler. rsLoRA yüksek rank değerlerinde kararlı eğitim için rank normalizasyonu uygular. LoRA+ ise A ve B matrislerine farklı öğrenme hızları atayarak yakınsama hızını artırır. Görsel üretim alanında LoRA, belirli sanatçı stillerini, karakter yüzlerini veya nesne tarzlarını 10-50 görüntüyle modele öğretmek için kullanılır. Civitai platformunda on binlerce topluluk LoRA'sı ücretsiz paylaşılmakta; A1111 ve ComfyUI gibi arayüzler bu ağırlıkları çalışma zamanında kolayca yüklemeyi desteklemektedir. FLUX.1 modeli için LoRA eğitimi artık Replicate ve Hugging Face üzerinden çevrimiçi de yapılabilmektedir. Hugging Face PEFT kütüphanesi birkaç satır kodla herhangi bir Transformer mimarisine LoRA eklemek için standart araç haline gelmiştir.
Open-Weight Model (Açık Ağırlıklı Model)
Açık ağırlıklı model (open-weight model), eğitim sürecinin tamamlanmasının ardından model parametrelerinin —yani ağırlıkların— kamuya açık biçimde dağıtıldığı yapay zeka modelidir. GPT-4 veya Claude gibi tamamen kapalı modellerin aksine, açık ağırlıklı modellerde kullanıcılar parametreleri doğrudan indirebilir, kendi altyapılarında çalıştırabilir, özel veri kümeleriyle ince ayar yapabilir ve istedikleri platformda dağıtabilir. "Açık ağırlık" ile "açık kaynak" arasındaki kritik ayrıma dikkat etmek gerekir: "Açık ağırlık", yalnızca eğitilmiş model parametrelerinin paylaşıldığı anlamına gelir; eğitim kodu, veri seti ve metodoloji kapalı kalabilir. Gerçek "açık kaynak" ise —OLMo ve Pythia gibi örneklerde— eğitim sürecinin tüm bileşenlerini kapsar. Meta'nın Llama serisinde kullanılan Llama Community License, 700 milyonun üzerinde aylık aktif kullanıcıya sahip ürünlerde Meta onayını zorunlu kılar; bu nedenle Llama tam açık kaynak sayılmaz, yalnızca "açık ağırlık" olarak nitelendirilir. Öne çıkan açık ağırlıklı modeller: Meta'nın Llama ailesi (8B–405B parametre aralığı), Mistral ve Mixtral (Apache 2.0 lisansıyla kısıtlamasız ticari kullanım, Mixture of Experts mimarisiyle verimli çıkarım), Alibaba'nın Qwen 2.5 serisi, DeepSeek-R1 (MIT lisansıyla akıl yürütmede o1 ile kıyaslanabilir performans) ve Microsoft'un Phi-4'ü. Gemma 2 ise Google'ın araştırma odaklı katkısıdır. Donanım gereksinimleri model boyutuna bağlıdır: 7B parametreli Q4 kuantize model, tüketici düzeyinde 6 GB VRAM ile çalışabilir; 70B model ise en az 40 GB VRAM veya güçlü bir CPU ve RAM kombinasyonu gerektirir. Ollama, LM Studio ve llama.cpp, yerel çalıştırmayı kolaylaştıran başlıca araçlardır; ollama run llama3:8b komutuyla dakikalar içinde yerel bir LLM başlatılabilir. Açık ağırlıklı modellerin tercih edilme nedenleri arasında veri gizliliği gerektiren kurumsal senaryolar, API bağımlılığını ve maliyetini sıfırlama ihtiyacı, çevrimdışı ortamlarda çalışma zorunluluğu ve alana özgü ince ayarla performans artırma yer alır. 2025 itibarıyla Llama 3.3 70B, GPT-4o-mini düzeyinde genel dil becerisi sergilerken DeepSeek-R1 matematiksel akıl yürütmede GPT-o1 ile doğrudan rekabet etmektedir; bu gelişmeler açık modellerin kapalı modellerle gerçek anlamda rekabete girdiğini ortaya koymaktadır.
Prompt Tuning (İstem Ayarlama (Soft Prompting))
Prompt Tuning, büyük dil modellerini (LLM) belirli bir göreve uyarlamak için model ağırlıklarını tamamen güncellemek yerine yalnızca küçük bir 'yumuşak istem' (soft prompt) vektörünü optimize eden bir Parameter-Efficient Fine-Tuning (PEFT) tekniğidir. 2021 yılında Google araştırmacıları Brian Lester, Rami Al-Rfou ve Noah Constant tarafından önerilmiş; T5-11B ölçeğindeki modellerde tam fine-tuning ile rekabet edebildiği gösterilmiştir. Geleneksel fine-tuning yöntemlerinde milyarlarca parametre yeniden eğitilirken, prompt tuning yalnızca giriş katmanına eklenen öğrenilebilir vektörleri (soft token) günceller. Bu vektörler insan tarafından okunabilen kelimeler değildir; modelin kendi embedding uzayında gradyan inişiyle optimize edilmiş sayısal temsillerdir. Model ağırlıklarının tamamı dondurulmuş halde kalır; bu sayede aynı temel model, farklı görevler için farklı soft prompt'larla verimli biçimde çalıştırılabilir. Yöntemin en önemli avantajı hesaplama verimliliğidir: tam fine-tuning'e kıyasla eğitilmesi gereken parametre sayısı dramatik biçimde azalır; daha az GPU belleği, daha kısa eğitim süresi ve her görev için yalnızca küçük bir vektörün depolanması yeterlidir. Özellikle model ağırlıklarına doğrudan erişimin mümkün olmadığı API tabanlı senaryolarda bu özellik büyük pratik değer taşır. Pratik uygulamalarda iki önemli kısıtlama göze çarpar: model boyutu küçüldükçe (10 milyarın altında parametre) tam fine-tuning'e göre performans açığı belirginleşir; giriş bağlam uzunluğunun bir kısmı soft token'lara tahsis edildiğinden kullanılabilir bağlam penceresi de daralmaktadır. Üstelik soft prompt'lar yorumlanamaz olduğundan hata ayıklaması güçleşebilir. Prompt tuning ailesi birkaç önemli varyant içerir: Prefix Tuning her transformer katmanına öğrenilebilir vektörler ekleyerek daha güçlü yönlendirme sağlar; P-Tuning doğal dil anlama görevlerine odaklanır; Multi-Task Prompt Tuning paylaşılan tek bir prompt'u birden fazla görev için eş zamanlı optimize eder. Bu varyantlar, LoRA ile birlikte günümüzde en yaygın kullanılan PEFT teknikleri arasındadır.
QLoRA (QLoRA (Nicel Düşük Sıralı Uyarlama))
QLoRA (Quantized Low-Rank Adaptation), büyük dil modellerini sınırlı GPU belleğiyle ince ayarlamayı mümkün kılan bir parametre-etkin öğrenme tekniğidir. Tim Dettmers ve ekibi tarafından 2023 NeurIPS konferansında sunulan bu yöntem, modeli 4-bit kuantize ederek dondurur; ardından üzerine küçük LoRA adaptörleri eğitir. Temel model ağırlıkları hiçbir zaman güncellenmez — gradyanlar yalnızca adaptörlerden geçer. Tekniğin üç temel yeniliği şöyle açıklanabilir: **4-bit NormalFloat (NF4):** Sinir ağı ağırlıkları çoğunlukla sıfır merkezli normal dağılım gösterir. NF4, bu dağılıma göre tasarlanmış bilgi teorisi açısından optimal bir kuantizasyon veri tipidir. Standart INT4'ün yaklaşık bir puan üzerinde MMLU doğruluğu elde eder. **Çift Kuantizasyon:** İlk kuantizasyon adımında üretilen sabitlerin kendisi de ikinci kez kuantize edilir. Bu ekstra adım parametre başına ortalama 0,37 bit tasarruf yaratır ve 65 milyar parametreli bir modelde yaklaşık 3 GB ek bellek kazandırır. **Sayfalı Optimize Ediciler:** NVIDIA'nın birleşik bellek altyapısını kullanan bu mekanizma, GPU belleği dolduğunda optimizasyon durumlarını CPU RAM'ine aktarır; böylece uzun dizilerde yaşanan bellek taşması hatalarını önler. Bellek tasarrufu dramatiktir: 65 milyar parametreli bir modelin tam ince ayarı için yaklaşık 1 TB GPU belleği gerekirken QLoRA bunu tek bir 48 GB'lık GPU'ya sığdırır. 7B-8B parametreli modeller ise 10 GB'ın altında VRAM ile, yani RTX 3090 veya RTX 4090 gibi tüketici kartlarıyla eğitilebilir hale gelir. Çalışma zamanında 4-bit ağırlıklar geçici olarak BF16 formatına dönüştürülür, hesaplama yapılır ve atar; yani kalıcı olarak yüksek hassasiyetle saklanmaz. Bu tasarım kararı belleği minimize ederken kaliteyi korur. QLoRA, LLaMA, Mistral, Qwen ve Gemma dahil pratik olarak tüm dönüştürücü tabanlı modellerle çalışır. Araştırmacılar ve geliştiriciler bu yöntemi etki alanı uyarlaması, talimat ayarlaması ve RLHF tarzı hizalama görevleri için yoğun biçimde kullanmaktadır.
RAFT (Retrieval-Augmented Fine-Tuning) (Geri Getirim Destekli İnce Ayar)
RAFT, 2014 yılında Diego Ongaro ve John Ousterhout tarafından Paxos'a alternatif olarak tasarlanmış, anlaşılırlığı (understandability) birincil tasarım hedefi olarak benimseyen bir dağıtık konsensus algoritmasıdır. Dağıtık sistemlerde birden fazla sunucu birlikte çalışırken ağ bölünmesi veya düğüm arızası durumunda veri tutarsızlığı riski doğabilir; RAFT bu riski üç net alt probleme bölerek çözer: lider seçimi, günlük replikasyonu ve güvenlik garantileri. Lider seçimi mekanizmasında her düğüm başlangıçta izleyici (follower) konumundadır. Belirli bir süre (election timeout) liderden mesaj alamayan düğüm aday (candidate) olur ve diğer düğümlerden oy ister; kendi oyunu da sayarak çoğunluğu alan aday yeni lider olur. Rastgele belirlenen election timeout değerleri aynı anda birden fazla adayın rekabete girmesini önler ve hızlı, belirleyici bir seçim gerçekleşmesini sağlar. Her dönem (term) boyunca en fazla bir lider seçilebilir; bu kural bölünmüş beyin (split-brain) senaryolarına karşı temel güvenlik güvencesidir. Günlük replikasyonunda lider, istemciden bir komut aldığında önce kendi günlüğüne yazar, ardından AppendEntries RPC mesajlarıyla izleyicilere iletir. İzleyiciler tutarlılığı doğrulayıp kabul ederse lider çoğunluk onayını aldıktan sonra girişi commit eder. Commit edilen girişler kalıcıdır: lider değişse bile yeni lider bu girişleri mutlaka taşımak zorundadır; bu özellik günlüğün tüm düğümlerde aynı sırayla büyümesini garanti eder. etcd (Kubernetes'in durum deposu), CockroachDB ve HashiCorp Consul gibi üretim sistemleri RAFT tabanlıdır. Paxos'a kıyasla çok daha anlaşılır olması RAFT'ı modern dağıtık sistemlerin standart konsensus tercihi haline getirmiştir. Güçlü tutarlılık (strong consistency) gerektiren her sistemde RAFT, kanıtlanmış ve güvenilir bir çözüm olarak öne çıkmaktadır. Snapshot mekanizması aracılığıyla büyüyen günlük dosyaları periyodik aralıklarla sıkıştırılabilir; bu özellik uzun ömürlü kümeler için depolama yönetimini önemli ölçüde kolaylaştırır.
Transfer Learning (Transfer Öğrenme)
Transfer Öğrenme (Transfer Learning), büyük ve kapsamlı veri kümeleriyle önceden eğitilmiş bir modelin öğrendiği bilgiyi, farklı ama ilişkili başka bir göreve aktarma tekniğidir. Geleneksel makine öğrenmesinde her görev için model sıfırdan eğitilirdi; bu yöntem hem milyonlarca etiketli örnek hem de aylarca süren hesaplama gücü gerektiriyordu. Transfer öğrenmede iki temel aşama birbirini tamamlar: ön eğitim (pre-training) ve ince ayar (fine-tuning). Ön eğitim aşamasında model, geniş kapsamlı bir veri kümesiyle genel bilgi edinir. GPT modellerinin internet metinleriyle dil kalıplarını kavraması ya da ResNet'in ImageNet üzerindeki 14 milyon görüntüyle şekil ve doku özelliklerini çıkarması bu aşamaya örnektir. İnce ayar aşamasında ise bu temel model, çok daha küçük ve görev özgü bir veri kümesiyle yeniden optimize edilir; birkaç yüz örnek bile rekabetçi sonuçlar verebilir. Üç ana strateji öne çıkar. Özellik çıkarma (feature extraction) yönteminde ön eğitimli modelin ağırlıkları dondurulur, yalnızca son katman yeni göreve göre eğitilir. Tam ince ayar (full fine-tuning) tüm ağırlıkları günceller ve daha yüksek doğruluk sunar. LoRA ile PEFT ise küçük adaptör matrisleri ekleyerek hesaplama verimliliğini korur; büyük dil modellerinin ince ayarında standart bir yaklaşım haline gelmiştir. Hangi stratejinin seçileceği, mevcut etiketli veri miktarına ve hedef görevin kaynak görevle olan yakınlığına bağlıdır. Günümüzde BERT, RoBERTa ve LLaMA gibi ön eğitimli modeller, Türkçe duygu analizi, tıbbi metin sınıflandırması ve kod üretimi gibi alanlarda az veriyle yüksek başarı oranları sunmaktadır. Kaynak ve hedef görevler arasındaki büyük farklılık "negatif transfer" riskini doğurur; bu nedenle model ve alan seçimi dikkatli yapılmalıdır. Transfer öğrenme, modern yapay zekanın temel bileşenlerinden biri olarak büyük dil modellerinin geniş kitleler tarafından kullanılmasında belirleyici bir rol üstlenmektedir.
Unsloth (Unsloth)
Unsloth, büyük dil modellerinin (LLM) ince ayarını standart yöntemlere kıyasla 2-5× daha hızlı ve yaklaşık %70 daha az GPU belleği (VRAM) kullanarak gerçekleştiren açık kaynaklı bir Python kütüphanesidir. Daniel Han tarafından 2023 yılında geliştirilen Unsloth, HuggingFace'in TRL (Transformer Reinforcement Learning) kütüphanesiyle tam uyumlu çalışır; mevcut eğitim betiklerine minimum kod değişikliğiyle entegre edilebilir. Kütüphanenin temel performans kazanımı, dikkat (attention) hesabı ve geri yayılım (backpropagation) için el ile yazılmış Triton/CUDA kernel'larından kaynaklanır. PyTorch'un genel amaçlı operatörleri yerine bellek bant genişliğini optimize eden bu özel çekirdekler, QLoRA (4-bit Quantized Low-Rank Adaptation) ve tam ince ayar (SFT) senaryolarında belirgin hız ve verimlilik artışı sunar. Flash Attention 2 entegrasyonu, aktivasyon yeniden hesaplama (gradient checkpointing) ve bellek havuzu optimizasyonları da ek tasarruf katkısı sağlar. Bu katmanlı yaklaşımla aynı model, çok daha küçük bir GPU üzerinde veya çok daha büyük bir batch boyutuyla eğitilebilir hale gelir. Desteklenen model aileleri arasında Llama 3.x, Mistral, Gemma, Phi-3/4, Qwen 2/3 ve DeepSeek yer alır. Tüketici sınıfı GPU'lar (RTX 3090, 4090, L4) üzerinde 7-70 milyar parametreli modellerin ince ayarını mümkün kılan Unsloth, ücretsiz Colab ve Kaggle ortamlarıyla da sorunsuz çalışır. DPO (Direct Preference Optimization), ORPO ve SFT gibi hizalama odaklı eğitim yöntemleri de tam desteklenir. Unsloth, kurumsal GPU altyapısına sahip olmayan araştırmacıların ve küçük ekiplerin alan spesifik modeller geliştirmesini demokratikleştirir. Apache 2.0 lisansıyla dağıtılan kütüphane, aktif bir açık kaynak topluluğu tarafından geliştirilmeye devam etmektedir. Eğitim sonrası modeller GGUF formatına (llama.cpp uyumu için) veya vLLM'e uyumlu biçimde dışa aktarılabilir. DeepSpeed, Axolotl ve LLaMA Factory gibi alternatif çerçeveler benzer yetenekler sunarken, Unsloth'un TRL uyumluluğu ve düşük kurulum eşiği hızlı deneme döngüleri için onu öne çıkarır.
Gradient Checkpointing (Gradyan Kontrol Noktası)
Gradient checkpointing (Türkçe: gradyan kontrol noktası, aynı zamanda activation checkpointing olarak da bilinir), derin öğrenme modellerini sınırlı GPU belleğiyle eğitmeyi mümkün kılan kritik bir bellek optimizasyon tekniğidir. Geleneksel geri yayılım (backpropagation) algoritmasında, sinir ağının ileri geçişi (forward pass) sırasında her katmanda üretilen ara aktivasyonların tamamı bellekte saklanır. Bunun nedeni, geri yayılım aşamasında gradyanları hesaplamak için bu değerlere ihtiyaç duyulmasıdır. Ne var ki GPU belleği (VRAM) sınırlıdır; büyük ve derin modellerde bu durum bellek yetersizliğine (out-of-memory hatası) yol açar. Gradient checkpointing bu sorunu şu şekilde çözer: İleri geçiş sırasında yalnızca belirli katmanlar kontrol noktası olarak işaretlenir ve yalnızca bu katmanların aktivasyonları saklanır. İki kontrol noktası arasındaki aktivasyonlar bellekte tutulmaz. Geri yayılım sırasında, gerektiğinde bu ara değerler kontrol noktasından başlayarak yeniden hesaplanır. Bellek karmaşıklığı açısından bakıldığında, n katmanlı bir ağda geleneksel yaklaşım O(n) bellek kullanırken gradient checkpointing bunu O(√n)'ye indirebilir; ağın karekökü kadar katmanı kontrol noktası olarak seçmek bu bellek-hesaplama dengesini sağlar. Bedeli ise hesaplama süresinin yaklaşık yüzde yirmi ile otuz üç arasında artmasıdır, çünkü bazı aktivasyonlar iki kez hesaplanır. PyTorch'ta torch.utils.checkpoint.checkpoint() fonksiyonu ve Hugging Face Transformers kütüphanesindeki model.gradient_checkpointing_enable() yöntemi bu tekniği kolayca etkinleştirmeye olanak tanır. LoRA ve QLoRA gibi parametre-verimli ince ayar yöntemleriyle birlikte kullanıldığında, büyük dil modellerini tüketici sınıfı GPU'larda eğitmek ve ince ayar yapmak mümkün hale gelir. Bu kombinasyon, 2023 sonrası açık kaynak LLM ince ayar çalışmalarının neredeyse standart altyapısını oluşturmaktadır.
Knowledge Editing (Bilgi Düzenleme)
Bilgi Düzenleme (Knowledge Editing), büyük dil modellerinin ağırlıklarında depolanan belirli olgusal bilgi parçalarını, modeli baştan eğitmeden ya da tam ince ayar yapmadan hedefli biçimde güncelleme, ekleme veya silme tekniklerinin genel adıdır. Literatürde model düzenleme (model editing) adıyla da anılır. Amaç, modelin örneğin 'Eyfel Kulesi Roma'dadır' gibi yanlış ya da güncelliğini yitirmiş bir ilişki üretmesi durumunda yalnızca bu ilişkiden sorumlu parametrelere müdahale ederek doğru yanıtı öğretmek ve modelin geri kalan davranışını olabildiğince korumaktır. Alan, 2022 yılında Meng ve arkadaşlarının ROME (Rank-One Model Editing) çalışmasıyla geniş ilgi gördü. ROME, nedensel izleme (causal tracing) adı verilen bir analizle olgusal ilişkilerin GPT tarzı modellerde ağırlıklı olarak orta katmanlardaki MLP bloklarında saklandığını gösterdi ve tek bir katmanın ağırlık matrisine rank-1 güncelleme uygulayarak bilgiyi değiştirdi. Aynı ekibin MEMIT (Mass-Editing Memory in a Transformer) yöntemi bu fikri birden fazla katmana yayarak binlerce olgunun tek seferde düzenlenmesine olanak verdi. Bunların yanında MEND gibi hiper-ağ tabanlı yaklaşımlar, SERAC ve GRACE gibi harici bellek kullanan yöntemler ve bağlam içi düzenleme (in-context editing) gibi ağırlıklara hiç dokunmayan seçenekler de geliştirildi. Bilgi düzenleme, iki yaygın alternatifle karşılaştırılarak daha iyi anlaşılır. RAG bilgiyi harici bir kaynaktan çağırır ve modeli değiştirmez; tam ince ayar ise tüm parametreleri günceller, pahalıdır ve yıkıcı unutma (catastrophic forgetting) riski taşır. Bilgi düzenleme bu ikisinin arasında yer alır: değişiklik kalıcıdır ancak müdahale küçük ve yereldir. Yöntemler genellikle üç ölçütle değerlendirilir: güvenilirlik (düzenlenen olgu doğru üretiliyor mu), genelleme (aynı olgunun farklı ifadeleri de doğru yanıtlanıyor mu) ve yerellik (ilgisiz sorulardaki davranış bozulmuyor mu). CounterFact, ZsRE ve çok adımlı çıkarımı ölçen MQuAKE bu amaçla kullanılan başlıca kıyaslama kümeleridir. Pratik kullanım alanları arasında güncelliğini yitirmiş bilgilerin yenilenmesi, yanlış bilgilerin düzeltilmesi ve KVKK ya da GDPR kapsamındaki silme taleplerine yanıt verilmesi sayılır. Alan hâlâ olgunlaşmaktadır; çok sayıda ardışık düzenleme, çok adımlı çıkarım ve bir düzenlemenin dolaylı sonuçlarının (ripple effects) modele tutarlı biçimde yansıtılması açık araştırma sorunları olmaya devam etmektedir.
Model Weights (Model Ağırlıkları)
Model ağırlıkları (model weights), bir yapay sinir ağının eğitim süreci boyunca öğrendiği sayısal parametrelerdir. Her nöron bağlantısına atanan bu ağırlık değerleri, modelin girdi verilerini işleyip çıktı üretmesini sağlayan temel yapı taşlarıdır. Milyonlarca ya da milyarlarca ağırlık içeren büyük dil modellerinde (LLM) bu değerler, dildeki örüntüleri, bağlamı ve anlam ilişkilerini kodlar. Model ağırlıkları, geri yayılım (backpropagation) algoritması ve gradyan inişi (gradient descent) yöntemiyle güncellenir. Eğitim tamamlandığında ağırlıklar dondurulur ve çıkarım (inference) aşamasında sabit kalır. GPT-4, Llama 3 veya Mistral gibi modeller için ağırlık dosyaları genellikle PyTorch (.pt, .bin) veya SafeTensors formatında dağıtılır. Nicemleme (quantization) teknikleri, ağırlıkların temsil hassasiyetini azaltarak (FP32 → FP16 → INT8 → INT4) model boyutunu ve bellek kullanımını düşürür. Örneğin GGUF formatı, Llama.cpp ile yerel çalıştırma için 4-bit nicemleme uygular; bu sayede 70 milyar parametreli bir model, tüketici GPU'larında çalışabilir hale gelir. Model ağırlıklarının boyutu model kapasitesiyle doğrudan ilişkilidir: 7 milyar parametreli bir model FP16 formatında yaklaşık 14 GB, INT4 kuantizasyonla ise yaklaşık 4 GB disk alanı kaplar. Bu nedenle nicemleme, modelleri tüketici donanımında çalıştırmak için kritik bir teknik haline gelmiştir. Açık ağırlıklı modeller (LLaMA, Mistral, Qwen, Gemma) Hugging Face Model Hub üzerinden indirilerek yerel sunucularda veya kişisel bilgisayarlarda çalıştırılabilir. Kapalı modeller (GPT-4, Claude) ise yalnızca API üzerinden erişilebilir. LoRA gibi parametre etkin ince ayar yöntemleri, temel ağırlıkları dondurarak yalnızca küçük adaptör matrislerini eğitir; bu yaklaşım hesaplama maliyetini dramatik biçimde azaltırken yüksek kaliteli özelleştirme sağlar. Ağırlıkların güvenliği de kritik bir konudur: Pickle formatındaki PyTorch dosyaları zararlı kod içerebileceğinden SafeTensors formatı tercih edilmelidir. Hugging Face Hub'ın doğrulama mekanizmaları ve model kartları, ağırlıkların güvenilirliğini ve lisans koşullarını açık biçimde sunar.