tag model-egitimi
Bu sayfada model-egitimi etiketi ile işaretlenmiş 15 yapay zeka kavramını bulabilirsiniz.
Batch size (yığın boyutu), bir yapay sinir ağının eğitiminde her gradyan güncellemesinde aynı anda işlenen eğitim örneği sayısını belirleyen hiperparametredir. Model tüm veri setini tek seferde hafızaya almak yerine veriyi küçük gruplara böler; batch size 32 ise ağırlıklar her 32 örnekte bir güncellenir. 10.000 örneklik bir veri setinde bu, epoch başına yaklaşık 313 güncelleme adımı demektir. Bu tek sayının önemi iki eksende toplanır: donanım ve öğrenme dinamiği. Donanım tarafında batch; model ağırlıkları, optimizer durumları ve ara aktivasyonlarla birlikte GPU belleğine (VRAM) sığmak zorundadır. Değer büyüdükçe bellek tüketimi yaklaşık orantılı artar, sınır aşıldığında Out of Memory (OOM) hatası alınır. Öğrenme tarafında ise küçük batch'ler gürültülü ama düzenleyici etki yapan gradyan tahminleri üretir ve genellemeyi iyileştirebilir; büyük batch'ler daha kararlı gradyanlar ve yüksek GPU verimliliği sunar ama keskin minimumlara (sharp minima) takılıp test performansını düşürme riski taşır. Pratikte üç yaklaşım ayırt edilir: batch size 1 ile çalışan stochastic gradient descent (SGD), tüm veriyi tek seferde işleyen full batch ve ikisinin ortasındaki mini-batch. Modern derin öğrenmede standart, 32-256 aralığındaki mini-batch değerleridir; "batch size" dendiğinde çoğunlukla bu kastedilir. Batch size tek başına değil, learning rate ile birlikte ayarlanır: batch büyütüldüğünde öğrenme hızı da genellikle orantılı artırılır (linear scaling rule) ve warmup uygulanır. Ölçek büyüdükçe kavram şekil değiştirir: büyük dil modeli ön eğitiminde global batch örnek sayısıyla değil token sayısıyla ifade edilir. Llama 3 405B'nin ön eğitiminde global batch 16 milyon token'a kadar çıkarılmıştır; bu ölçek tek GPU'ya sığmadığı için gradient accumulation ve data parallel dağıtım zorunludur. Günlük pratikte ise VRAM yetmediğinde gradient accumulation ile büyük sanal batch simüle edilir, bf16 mixed precision ve gradient checkpointing bellek ihtiyacını ciddi ölçüde azaltır. Doğru batch size veri setine, mimariye ve donanıma göre deneysel seçilir; 32 veya 64 ile başlayıp validation loss izleyerek ayarlamak en yaygın yöntemdir.
Batch Size (Yığın (Küme) Boyutu)
Batch size (yığın boyutu), bir yapay sinir ağının eğitiminde her gradyan güncellemesinde aynı anda işlenen eğitim örneği sayısını belirleyen hiperparametredir. Model tüm veri setini tek seferde hafızaya almak yerine veriyi küçük gruplara böler; batch size 32 ise ağırlıklar her 32 örnekte bir güncellenir. 10.000 örneklik bir veri setinde bu, epoch başına yaklaşık 313 güncelleme adımı demektir. Bu tek sayının önemi iki eksende toplanır: donanım ve öğrenme dinamiği. Donanım tarafında batch; model ağırlıkları, optimizer durumları ve ara aktivasyonlarla birlikte GPU belleğine (VRAM) sığmak zorundadır. Değer büyüdükçe bellek tüketimi yaklaşık orantılı artar, sınır aşıldığında Out of Memory (OOM) hatası alınır. Öğrenme tarafında ise küçük batch'ler gürültülü ama düzenleyici etki yapan gradyan tahminleri üretir ve genellemeyi iyileştirebilir; büyük batch'ler daha kararlı gradyanlar ve yüksek GPU verimliliği sunar ama keskin minimumlara (sharp minima) takılıp test performansını düşürme riski taşır. Pratikte üç yaklaşım ayırt edilir: batch size 1 ile çalışan stochastic gradient descent (SGD), tüm veriyi tek seferde işleyen full batch ve ikisinin ortasındaki mini-batch. Modern derin öğrenmede standart, 32-256 aralığındaki mini-batch değerleridir; "batch size" dendiğinde çoğunlukla bu kastedilir. Batch size tek başına değil, learning rate ile birlikte ayarlanır: batch büyütüldüğünde öğrenme hızı da genellikle orantılı artırılır (linear scaling rule) ve warmup uygulanır. Ölçek büyüdükçe kavram şekil değiştirir: büyük dil modeli ön eğitiminde global batch örnek sayısıyla değil token sayısıyla ifade edilir. Llama 3 405B'nin ön eğitiminde global batch 16 milyon token'a kadar çıkarılmıştır; bu ölçek tek GPU'ya sığmadığı için gradient accumulation ve data parallel dağıtım zorunludur. Günlük pratikte ise VRAM yetmediğinde gradient accumulation ile büyük sanal batch simüle edilir, bf16 mixed precision ve gradient checkpointing bellek ihtiyacını ciddi ölçüde azaltır. Doğru batch size veri setine, mimariye ve donanıma göre deneysel seçilir; 32 veya 64 ile başlayıp validation loss izleyerek ayarlamak en yaygın yöntemdir.
Data Drift (Veri Kayması (Bozulması))
Veri drift (data drift), bir makine ogrenimi modelinin egitildigi veri dagilimi ile modelin uretimde karsilastigi gercek dunya verisi arasindaki istatistiksel mesafenin zamanla buyumesidir. Bir model egitim sirasinda belirli bir veri dagilimini ogrendigi icin, bu dagilimdaki degisimler modelin ongorduguyle gercek dunyada karsilastiginni arasinda giderek buyuyen bir uyumsuzluk yaratir ve model performansinin bozulmasina yol acar. Drift cesitli bicimlerde gerceklesebilir. Kovaryet drift (covariate shift), girdi ozelliklerinin istatistiksel dagiliminin degismesiyle olur; ancak girdi-cikti iliskisi sabittir. Ornegin bir banka dolandiricilik modelinin egitildigi doneme kiyasla musteri yas profili veya islem buyuklukleri zamanla degisebilir. Kavram drift (concept drift) ise daha derin bir problemi temsil eder: girdi ile cikti arasindaki temel iliskinin kendisi degisir. COVID-19 pandemisi, tuketici aliskanliklarini o kadar kisa surede donusturdu ki yuzlerce sirkette alis-veri tahmin modelleri kritik performans kaybi yasadi. Drift tespiti icin cesitli istatistiksel testler kullanilir. Population Stability Index (PSI), egitim ve uretim verisinin dagilim farkliliğini sayisal olarak olcer; 0.1 altinda kritik, 0.25 uzerinde kritik drift isaretler. Kolmogorov-Smirnov testi iki dagilimlarin istatistiksel olarak anlamli farkliliği olup olmadigini test eder. KL Divergence, bir dagilimdaki bilginin digerini temsil etmek icin ne kadar eksik bilgi gerektirdigini olcer. Pratik MLOps sistemlerinde drift izleme gercek zamanli veya periyodik olarak yurutur. Bir esik gecilelince sistem uyari olusturur, log kaydeder ve bazen otomatik yeniden egitimi tetikler. Yeniden egitim her zaman dogru cevap degildir; kimi zaman ozellik muhendisligi veya modelin yeniden tasarlanmasi gerekir. Etiket gecikme sorunu da yogun gundeme gelir: drift tespitinin kalbi olan gercek etiketi elde etmek haftalar veya aylar alabilir. **Sik Sorulan Sorular** **Veri drift ile model drift arasindaki fark nedir?** Veri drift girdi dagiliminin degismesidir; model drift ise cikti kalitesinin bozulmasini ifade eder. Veri drift model driftin yaygin nedenlerinden biridir ancak tek nedeni degildir. **Drift ne siklukla kontrol edilmelidir?** Bu verinin degisim hizina baglidir. Finansal, hava durumu veya trafik verileri gunden gune bile ciddi drift gosterebilir. Urun tavsiye modelleri genellikle haftalik kontrol yeterlidir. **Drift tespitinde hangi araclar kullanilir?** Evidently AI, Arize, Whylogs, Fiddler ve bulut saglayicilarin yonetilen izleme servisleri yaygin seceneklerdir. Temel istatistiksel testler ise SciPy veya scikit-learn ile uygulanabilir. **Drift olmadan da model bozulabilir mi?** Evet. Model bozulmasi; veri altyapisindaki degisiklikler, bagimliliklarin guncellenmesi veya kodlama hatalari gibi teknik nedenlerle de olabilir; bunlar veri drift olmaksizin gerceklesir.
Epoch (Epoch (Eğitim Döngüsü))
Epoch (Epok ya da Eğitim Döngüsü), makine öğrenimi ve derin öğrenme modellerinin eğitiminde kullanılan temel bir zaman birimidir. Bir epoch; modelin tüm eğitim veri setini baştan sona tam olarak bir kez işlemesi, yani her örnek üzerinde hem ileri yayılım (forward pass) hem de geri yayılım (backward pass) gerçekleştirmesi anlamına gelir. Makine öğrenimi modellerini eğitirken, yalnızca bir epoch genellikle yeterli olmaz. Model, karmaşık kalıpları ve ilişkileri kavrayabilmek için aynı veriler üzerinde defalarca geçiş yapmak zorundadır. Bu nedenle modeller onlarca, yüzlerce hatta binlerce epoch boyunca eğitilebilir. Büyük dil modellerinin (LLM) eğitimi milyarlarca token üzerinde birden fazla epoch uygulanarak gerçekleştirilir; görüntü sınıflandırma gibi daha küçük görevlerde ise 10-100 epoch sıkça kullanılır. Epoch ve Batch İlişkisi Her epoch, büyük veri setini daha küçük parçalara (batch) bölerek işler. Bir epoch içindeki güncelleme sayısı, veri seti boyutunun batch boyutuna bölünmesiyle hesaplanır. Örneğin 10.000 örnekli bir veri seti 100'lük batch boyutuyla işleniyorsa, her epoch 100 ağırlık güncellemesi (iterasyon) içerir. Her iterasyonda gradyan hesaplanır ve model ağırlıkları güncellenir; böylece model adım adım öğrenir. Overfitting ve Erken Durdurma Epoch sayısının doğru seçilmesi kritik öneme sahiptir. Çok az epoch modelin yeterince öğrenememesine (underfitting) yol açar; model verinin altında yatan örüntüleri kavramaz ve hem eğitim hem de test verisinde kötü performans gösterir. Öte yandan, çok fazla epoch modelin eğitim verisini mekanik olarak ezberlemeye (overfitting) başlamasına neden olabilir. Bu durumda model eğitim setinde mükemmel sonuçlar verirken yeni verilerde başarısız olur. Bu dengesizliği çözmek için "Early Stopping" (Erken Durdurma) tekniği uygulanır: model her epoch sonunda doğrulama (validation) seti üzerinde değerlendirilir ve doğrulama kaybı iyileşmemeye başladığında eğitim otomatik olarak durdurularak en iyi ağırlıklar korunur. Eğitim ve doğrulama kaybının birbirinden ayrışmaya başlaması (divergence), overfitting'in erken belirtisidir. Epoch Sayısını Belirlemek Kaç epoch kullanılacağı, modelin karmaşıklığına, veri setinin büyüklüğüne ve görevin zorluğuna bağlıdır. Küçük veri setlerinde genellikle daha fazla epoch gerekir çünkü model her geçişte sınırlı miktarda örneğe maruz kalır. Büyük veri setlerinde ise tek bir epoch bile çok sayıda güncelleme içerdiğinden az epoch ile tatmin edici sonuçlar alınabilir. Epoch sayısı, öğrenme hızı (learning rate) ve model mimarisiyle birlikte hiperparametre optimizasyonunun temel bileşenlerinden biridir.
Fine-Tuning (İnce Ayar)
Fine-tuning (Türkçesiyle ince ayar), devasa bir veri setiyle genel amaçlı olarak önceden eğitilmiş (pre-trained) bir yapay zeka modelinin, daha küçük ve göreve özel bir veri seti kullanılarak belirli bir işe, sektöre veya üsluba (tıp, hukuk, kodlama, müşteri hizmetleri vb.) uyarlanması işlemidir. İngilizce "fine-tune" fiili, bir cihazın ayarını hassas biçimde düzeltmek anlamına gelir; yapay zekada da mantık aynıdır: model sıfırdan eğitilmez, mevcut bilgisinin üzerine ek eğitimle özel bir uzmanlık inşa edilir. Örneğin LLaMA veya GPT gibi bir temel model, birkaç bin kaliteli soru-cevap çiftiyle yeniden eğitilerek bir bankanın müşteri temsilcisi gibi konuşan ya da tıbbi raporları belirli bir formatta özetleyen bir modele dönüştürülebilir. Bu yaklaşımın önemi maliyet ve erişilebilirlikte yatar. Bir dil modelini sıfırdan eğitmek milyonlarca dolarlık hesaplama gücü ister; fine-tuning ise aynı modelin ağırlıklarını yeni veriye göre hafifçe güncelleyerek çok daha küçük bir bütçeyle özelleştirme yapmayı mümkün kılar. LoRA ve QLoRA gibi parametre-verimli (PEFT) yöntemlerle bu iş tek bir tüketici GPU'sunda bile yapılabilir hale gelmiştir. Pratikte fine-tuning; kurumsal sohbet botlarında marka diline uyum, hukuk ve sağlık gibi alanlarda terminoloji hâkimiyeti, yapılandırılmış çıktı (örneğin JSON) üretimi ve şirket içi verilerle çalışan özel asistanlar için kullanılır. Modele davranış ve üslup kazandırmak hedefleniyorsa fine-tuning, güncel veya sık değişen bilgiye erişim gerekiyorsa RAG tercih edilir; kurumsal sistemlerde ikisi çoğu zaman birlikte çalışır.
GPU (Graphics Processing Unit) (Grafik İşlemci (Ekran Kartı))
GPU (Graphics Processing Unit — Grafik Isleme Birimi), baslangiçta bilgisayar grafiklerini hesaplamak icin tasarlanmis; fakat binlerce kucuk cekirdekli paralel mimarisi sayesinde yapay zeka ve yuksek performansli hesaplama (HPC) alanında vazgecilmez hale gelmis bir işlemci türüdür. Gunumuzde derin ogrenme egitimi ve cikarsama islemlerinin buyuk cogunlugu GPU uzerinde gerceklesmektedir. GPU'ların paralel mimarisi, AI hesaplamalarında kritik oneme sahip matris cogaltma ve tensor islemlerine cok iyi uymaktadir. NVIDIA'nin CUDA (Compute Unified Device Architecture) platformu, gelistiricilere GPU uzerinde genel amacli hesaplama yapmayi mumkun kilan ilk genis kapsamli yazilim katmaniydi. 2007'de tanıtılan CUDA, bugün de derin ogrenme ekosisteminin temelini olusturmaktadir. NVIDIA'nın AI odakli GPU'lari GPU mimarisinin evrimini yonlendirmistir: Tesla (2008), Kepler, Maxwell, Pascal, Volta, Ampere ve son olarak Hopper mimarisi (H100). A100 ve H100, LLM egitiminde standart haline gelmistir. AMD ise ROCm platformu ve MI300X cipleriyle bu pazara rakip olarak girmektedir. Apple'in M serisi cipler ise unifikasyon bellek mimarisiyle AI cikarsama icin enerji verimli alternatif sunmaktadir. Derin ogrenme cerceveleri (TensorFlow, PyTorch) GPU destegini neredeyse tamamen CUDA/cuDNN (NVIDIA) uzerinden saglar. Tensor Core'lar, H100 gibi modern cipler uzerinde yari hassas (FP16/BF16) matris islemlerini 10-100 kat hızlandirir. GPU belleği (VRAM) model buyuklugunu dogrudan sınırlar; 80GB VRAM'e sahip H100, 70 milyar parameterli bir modeli tam hassasiyetle tutabilir.
Hyperparameter Tuning (Hiperparametre Optimizasyonu)
Hiperparametre optimizasyonu (Hyperparameter Tuning), makine öğrenimi modelinin eğitim sürecine başlamadan önce araştırmacı veya mühendis tarafından belirlenen kontrol değişkenlerinin — öğrenme hızı (learning rate), ağaç derinliği, katman sayısı, düzenlileştirme katsayısı gibi — en uygun kombinasyonunun sistematik biçimde aranması işlemidir. Makine öğreniminde iki farklı parametre türü bulunur: modelin eğitim verisinden öğrendiği "parametreler" (ağırlıklar, bias değerleri) ve eğitimden önce dışarıdan belirlenen "hiperparametreler". Hiperparametreler model mimarisini ve öğrenme dinamiklerini doğrudan şekillendirir; yanlış seçilen bir hiperparametre seti, en kaliteli veriyle bile zayıf sonuçlar doğurabilir. Başlıca hiperparametre arama yöntemleri şöyle sıralanabilir: Grid Search (Izgara Arama): Belirlenen aralıklar içindeki tüm olası kombinasyonları dener; garanti sonuç verir ancak hesaplama maliyeti kombinasyon sayısıyla katlanarak artar. Az sayıda hiperparametre ve dar aralıklar için uygundur. Random Search (Rasgele Arama): Kombinasyonları rastgele örnekler; Grid Search'e kıyasla genellikle daha kısa sürede benzer kalitede sonuç üretir. Yüksek boyutlu arama uzaylarında tercih edilir. Bayesian Optimization: Önceki denemelerin sonuçlarını kullanarak sonraki adımda hangi kombinasyonu deneyeceğini olasılık modeline göre seçer. Deneme sayısını minimize ederek en iyi hiperparametrelere ulaşmayı hedefler; derin öğrenme gibi maliyetli modellerde yaygındır. Optuna, Ray Tune ve Hyperopt bu yaklaşımı uygulayan popüler kütüphanelerdir. Automated ML (AutoML): Hiperparametre aramasını tamamen otomatikleştirir. Google AutoML, H2O.ai ve Keras Tuner gibi araçlar hem model seçimi hem de parametre optimizasyonunu arka planda yürütür. Hiperparametre optimizasyonu sürecinde çapraz doğrulama (cross-validation) kritik bir rol oynar: her aday kombinasyon, verinin farklı katlarında test edilerek aşırı uyumu (overfitting) önleyecek şekilde değerlendirilir. Özellikle derin sinir ağlarında learning rate, momentum ve batch size değerlerinin doğru ayarlanması, model başarısını belirleyici ölçüde etkiler. Pratik projelerde hiperparametre arama sürecinin toplam eğitim süresinin %30–50'sini oluşturduğu görülmektedir.
LoRA (Low-Rank Adaptation) (Düşük Dereceli Adaptasyon)
LoRA (Low-Rank Adaptation), milyarlarca parametreli büyük dil modellerini (LLM) veya görsel difüzyon modellerini son derece verimli biçimde ince ayarlayan (fine-tune) bir parametre etkin tekniğidir. Orijinal model ağırlıklarını dondurup yalnızca küçük ek matrisleri eğiterek tam fine-tuning'in bellek ve hesaplama maliyetini dramatik ölçüde düşürür. Teknik özünde düşük rankli matris ayrışımı yatar. Ağırlık güncelleme matrisi ΔW = A × B biçiminde iki küçük matrisin çarpımı olarak temsil edilir; burada A boyutu d×r, B boyutu r×d'dir ve r (rank), d'den çok küçük seçilir (tipik olarak 4-64). Böylece orijinal d×d büyüklüğündeki güncelleme matrisi yerine yalnızca 2×d×r parametre eğitilir; %90-99 parametre tasarrufu sağlanır. Pratik sonuçlar çarpıcıdır: 70 milyar parametreli bir Llama modelini tam fine-tuning yerine LoRA ile özelleştirmek için tek bir tüketici GPU'su (RTX 4090) yeterli olabilir, eğitim süresi saatler yerine dakikalara iner. Adapt edilmiş ağırlıklar yalnızca birkaç MB büyüklüğündeki ayrı dosyalara kaydedilir; farklı görevler için birden fazla adaptör geliştirilip aynı taban modele takılıp çıkarılabilir. QLoRA varyantı bu verimliliği daha da ileri taşır: taban modeli 4-bit NormalFloat ile nicemlenerek belleğe yükler, ardından LoRA adaptörlerini tam hassasiyetle eğitir. 65B parametreli modeli tek 48GB GPU'da fine-tune etmek bu sayede mümkün hale geldi. Görsel üretim alanında LoRA, Stable Diffusion modellerini belirli yüzler, sanat stilleri veya karakter tasarımları için özelleştirmenin standart yöntemi olarak yerleşti. Civitai gibi platformlarda binlerce topluluk LoRA'sı paylaşılmakta; kullanıcılar saniyeler içinde farklı stillerle çıktı üretebilmektedir. Hugging Face PEFT kütüphanesi, LoRA uygulamasını birkaç satır Python koduyla kullanıma sunar. Eğitim tamamlandıktan sonra adaptör ağırlıkları taban modele gömülerek (merge_and_unload) tek bir model dosyası elde edilebilir.
Meta-Learning (Meta Öğrenme (Öğrenmeyi Öğrenmek))
Meta-ogrenme (meta-learning veya 'learning to learn'), bir yapay zeka modelinin cok sayida farkli gorevi uzerinde egitilerek yeni bir goreve cok az veriyle hizla uyum saglayabilmesini hedefleyen ogrenme paradigmasidir. Standart makine ogrenmesinde her yeni gorev icin sifirdan egitim yapilirken meta-ogrenme bu sureci genel bir 'ogrenme stratejisi' kazandirarak kisaltir. Meta-ogrenmenin uc temel yaklasimi vardir. Model-bazli meta-ogrenme, hizli guncelleme icin tasarlanmis ozel mimari kullanir (Memory-Augmented Neural Networks, Neural Turing Machine). Optimizasyon-bazli meta-ogrenme, modeli hizla ince ayar yapilabilecek bir baslangic noktasina konumlar; MAML (Model-Agnostic Meta-Learning) bu kategorinin oncu algoritmasi. Metric-bazli meta-ogrenme ise benzerlik uzayinda siniflandirma yapar; Prototypical Networks ve Siamese Network buna ornektir. MAML, en etkin incelenen meta-ogrenme algoritmalarindan biridir. Ic dongude her goreve birkan gradient adimi atilir; dis dongude tum gorevlerdeki gradyanlar birlestirilarak modelin genel baslangic parametreleri guncellenir. Sonuc olarak model, herhangi bir yeni goreve birkan gradient adimiyla adapte olabilir hale gelir. Hesaplama agirlikli olmasi nedeniyle Reptile ve ProtoMAML gibi hafifletilmis alternatifler gelistirilmistir. Meta-ogrenme; az kaynakli dil modelleme, robotik manipulasyon, ilaç keşfi, kisisellestirilmis tavsiye sistemleri ve hizli mimari araması (Neural Architecture Search) gibi alanlarda uygulanmaktadir. LLM baglaminisinda ise in-context learning, meta-ogrenmenin isaret sinirsal zinciri uzerinden gerceklesen bir bicimi olarak yorumlanmaktadir.
Model Collapse (Model Çöküşü)
Model Çöküşü (Model Collapse), büyük dil modellerinin (LLM) kendi ürettikleri sentetik içeriklerle döngüsel biçimde yeniden eğitildiğinde aşamalı olarak kalite kaybettiği, çeşitlilik yitirdiği ve halüsinasyon üretimini artırdığı süreçtir. Kavram, 2023 yılında Shumailov ve arkadaşlarının yayımladığı 'The Curse of Recursion: Training on Generated Data Makes Models Forget' başlıklı makaleyle teorik ve deneysel zemine oturtuldu. Model çöküşünün temel işleyişi üç bileşik mekanizmayı kapsar. İlk olarak kuyruk verisi kaybı yaşanır: İnsan yazısının doğal çeşitliliğini oluşturan nadir ifadeler, azınlık dilleri, sıradışı fikirler ve ince mizah unsurları olan 'uzun kuyruk', model eğitimi sırasında ortalama ağırlığın gerisinde kalır. Model çıktıları bu nadir unsurları ihmal eder ve bu çıktılarla eğitilen bir sonraki nesil modeli nadir bilgiden daha da uzaklaşır. İkinci olarak dağılım daralması gözlemlenir: Her eğitim nesliyle birlikte veri dağılımının varyansı azalır; model giderek daha tekdüze, öngörülebilir yanıtlar üretir. Bu, bir fotoğrafın fotokopisinin fotokopisi gibi her aktarımda ince detayları kaybeden bir bozulma sürecine benzer. Üçüncü bileşen ise hata birikimi: Küçük olgusal yanlışlıklar veya hayali bilgi parçaları, model çıktısında kalıcı yer edinerek bir sonraki eğitim yinelemesinde 'gerçek' veri gibi muamele görür ve böylece giderek büyüyerek modelin dünya anlayışını aşındırır. Pratik boyutuyla, yeterli önlem alınmadan yürütülen sentetik döngü eğitimleri modellerin Türkçe gibi kaynak bakımından zayıf dillerde hızla bozulmasına, olgusal güvenilirliğin gerilemesine ve yalnızca alışıldık kalıpları tekrarlayan monoton çıktılara yol açabilir. Araştırmacılar bu riski azaltmak için birkaç temel strateji önerir: Orijinal insan verisi eğitim karışımında belirli bir pay korunmalı; sentetik içerik kriptografik filigran ya da C2PA standardıyla işaretlenerek kaynağı izlenebilir hale getirilmeli; her eğitim döngüsünde veri çeşitlilik metrikleri ölçülmeli; gerçek insan yazısından oluşan referans korpuslar uzun vadeli arşivlerde saklanmalıdır. Phi-4 ve benzeri modellerin dikkatli kurgulanmış sentetik veri karışımıyla iyi sonuçlar elde etmesi, tam sentetik döngüden değil, denetimli sentetik veri kullanımından kaynaklanır.
Quantization (Kuantizasyon (Model Küçültme))
Quantization (niceleme), sinir agi modellerindeki parametre degerlerinin yuksek hassasiyetli sayisal formattan (genellikle 32-bit kayan nokta, float32) daha dusuk bit genisligine (8-bit tam sayi veya 4-bit gibi) donusturulme islemidir. Bu donusum model boyutunu kucultmesi, cikarim hizini artirmasi ve guc tuketimini dusurmesinin yaninda, modeli kaynak kisitli ortamlarda - ornegin akilli telefon veya kenarda calisabilen cihazlarda - calistirmaya olanak tanir. Nicelemenin temelinde bir uzlasim yatar: hassasiyet azaldikca model hafizasi ve hesaplama maliyeti duser, ancak tahmin kalitesi potansiyel olarak azalabilir. Uygulamada, ozellikle INT8 dzeyinde, bu kalite kaybi cogu gorev icin ihmal edilebilir seviyede kalir. GPTQ veya bitsandbytes gibi kutuphaneler, niceleme hatasini en aza indirmek icin kalibrasyon verisi kullanarak agirlik matrislerini yeniden optimize eder. Iki ana yaklasim mevcuttur. Post-Training Quantization (PTQ) halihazirda egitilmis bir modele uygulanir; ekstra egitim gerektirmez ve hizlidir. Quantization-Aware Training (QAT) ise niceleme etkisini eğitim dongusu icerisine dahil eder; model, daha dusuk hassasiyetle bile dogru tahmin uretmeyi ogrenir. QAT genellikle PTQ'ya kiyasla daha iyi nihai kalite sunar ama ek hesaplama maliyeti getirir. Buyuk dil modellerinin (LLM) giderek buyumesiyle quantization zorunlu bir pratik haline gelmistir. GPT-3 seviyesinde bir model tam hassasiyetle yuzlerce gigabayt RAM gerektirir; INT4 nicelemeyle bu rakam onlarca gigabayta iner ve ticarette satilan bir laptopla calistirmak mumkun olur. llama.cpp projesi ve GGUF formati, bu olasiligi genis bir topluluga acmistir: Q4_K_M, Q5_K_S gibi semboller bit genisligi ile kalite stratejisini kodlar. Donanim ekosistemi de nicelemeyi etkin sekilde destekler. NVIDIA'nin Tensor Core mimarisi INT8 ve FP8 cikarimini donanim katmaninda hizlandirir; bu sayede veri merkezi GPU'larinda ayni enerji butcesiyle cok daha yuksek islem hacmi elde edilir. Apple Silicon'un Unified Memory mimarisi ise CPU ve GPU'nun ayni bellek havuzunu paylasmasina izin vererek quantized LLM'lerin tuketu cihazlarda akici calismasi icin dogal bir avantaj sunar. **Sik Sorulan Sorular** **INT8 ile INT4 niceleme arasinda kalite farki buyuk mudur?** INT8, cogulukla ihmal edilebilir kalite kaybı uretir. INT4 ise modele ve goreve bagimlidir: genel dil anlama gorevlerinde sinirli etki gorulurken kucuk modeller veya hassas gorevlerde kayip daha belirgin olabilir. **Bir modeli niceleme yapmak icin ne gereklidir?** bitsandbytes veya AutoGPTQ kutuphanesiyle birkaç satirda Python kodla herhangi bir Hugging Face modeli niceleye bilirsiniz; kalibrasyon icin kucuk bir veri kumesi onerilen uygulamalardan biridir. **Quantization modelin egitim verilerini degistirir mi?** Hayir. Niceleme yalnizca cikarim asamasini etkiler; egitim verisi veya egitim sureci degismez. **Hangi modeller niceleye en uyundur?** Buyuk, asiri parametreli modeller genellikle niceleye daha direnclidir; parametreler arasinda islevsel fazlalik bulundugu icin bazi bilgi kaybi tolere edilebilir.
RAFT (Retrieval-Augmented Fine-Tuning) (Geri Getirim Destekli İnce Ayar)
RAFT, dagitik sistemlerde tutarlilik (consensus) saglamak icin tasarlanmis bir algoritmadır. Paxos'un karmasikligini azaltmak amacıyla Diego Ongaro ve John Ousterhout tarafindan 2014'te gelistirilen RAFT, dagitik gunluk (distributed log) replikasyonunu anlasılır bir sekilde modeller. Temel hedef, hataya dayanikli dagitik sistemlerde tum dugumler arasinda tutarli bir veri kopyasini surdurmektir. RAFT'ta uc dugum rolu vardir: lider (leader), aday (candidate) ve izleyici (follower). Normal calismada yalnizca bir lider vardir; tum istemci istekleri lidere iletilir. Lider gunluk girislerini izleyicilere replike eder ve cogunluktan onay alinca (commit) yanitlar. Eger lider bir sure yanit vermezse izleyiciler adaya donuserek yeni bir secim (election) baslatir. Rastgele sec suresi (randomized election timeout), ayni anda birden fazla adayin ortaya cikmasini onler. Gunluk replikasyon mekanizmasinda lider, her AppendEntries RPC cagrisiyla hem yeni girdileri replike eder hem de kalp atis (heartbeat) gonderir. Izleyici, onceki gunluk girisiyle tutarliligi dogruladiktan sonra girisi kabul eder; cogunluk onayina ulasinca girisi commit eder ve durum makinesini gunceller. RAFT, etcd, CockroachDB, TiKV ve Consul gibi uretim sistemlerinde yogun bicimde kullanilmaktadir. etcd, Kubernetes'in control plane veri deposudur ve RAFT araciligiyla tum cluster durum bilgisini tutarli tutar. TiKV ise TiDB dagitik veritabaninin depolama katmaninda RAFT kullanan bir sistemdir. Algoritmayı duzgun anlamak icin RAFT Visualization (raft.github.io) gibi gorsel araclar vardir. Bu site, lider secimi ve gunluk replikasyonunu adim adim animasyon ile gosterir; RAFT'i ogrenmenin en etkili yollarindan biridir.
Self-Supervised Learning (Öz-Denetimli Öğrenme)
Öz-denetimli öğrenme (self-supervised learning, SSL), modelin etiketsiz verilerden kendi gözetim sinyalini ürettiği bir makine öğrenmesi paradigmasıdır. Denetimli öğrenmenin pahalı insan etiketlerine ve gözetimsiz öğrenmenin belirsiz hedeflerine ihtiyaç duymaksızın büyük ölçekli veri üzerinde güçlü genel amaçlı temsiller öğrenir. Öz-denetimli öğrenmenin temel fikri öncül görevler (pretext tasks) üzerine kuruludur. Metin alanında BERT, giriş cümlesindeki rastgele maskelenmiş kelimeleri tahmin ederek dil anlama kapasitesi geliştirir; GPT ise önceki tokenlardan bir sonraki tokenı tahmin ederek otoregressif öğrenme yapar. Bu görevler hiç insan etiketi gerektirmez; etiket doğrudan verinin yapısından türetilir. Görüntü alanında SimCLR, BYOL ve MoCo gibi contrastive learning yöntemleri aynı görüntünün farklı augmentasyonlarını birbirine yaklaştırırken, farklı görüntülerin temsillerini birbirinden uzaklaştırır. Bu süreç, modelin renk, kontrast veya kırpma değişimlerine duyarsız ama içerik anlamına duyarlı özellikler öğrenmesini sağlar. Masked Autoencoders (MAE) ise görüntünün büyük bir bölümünü maskeler ve modeli maskelenen pikselleri yeniden oluşturmakla görevlendirir. Öz-denetimli ön eğitim, günümüz büyük dil modellerinin (GPT-4, Llama, Gemini) temelini oluşturur. Milyarlarca kelimelik ham metin üzerinde ön eğitim yapan bu modeller, ardından küçük etiketli veri setleriyle ince ayar yapılarak görev spesifik performansa ulaşır; bu yaklaşım etiketleme maliyetini dramatik biçimde azaltır. Öz-denetimli öğrenmenin gücü, modelleri önceden etiketlenmiş veri kısıtından kurtararak internetin ve dijital arşivlerin neredeyse sınırsız veri potansiyelini kullanmaya açmasında yatar.
Transfer Learning (Transfer Öğrenme)
Transfer Öğrenme (Transfer Learning), büyük ve kapsamlı veri kümeleriyle önceden eğitilmiş bir modelin öğrendiği bilgiyi, farklı ama ilişkili başka bir göreve aktarma tekniğidir. Geleneksel makine öğrenmesinde her görev için model sıfırdan eğitilirdi; bu yöntem hem milyonlarca etiketli örnek hem de aylarca süren hesaplama gücü gerektiriyordu. Transfer öğrenmede iki temel aşama birbirini tamamlar: ön eğitim (pre-training) ve ince ayar (fine-tuning). Ön eğitim aşamasında model, geniş kapsamlı bir veri kümesiyle genel bilgi edinir. GPT modellerinin internet metinleriyle dil kalıplarını kavraması ya da ResNet'in ImageNet üzerindeki 14 milyon görüntüyle şekil ve doku özelliklerini çıkarması bu aşamaya örnektir. İnce ayar aşamasında ise bu temel model, çok daha küçük ve görev özgü bir veri kümesiyle yeniden optimize edilir; birkaç yüz örnek bile rekabetçi sonuçlar verebilir. Üç ana strateji öne çıkar. Özellik çıkarma (feature extraction) yönteminde ön eğitimli modelin ağırlıkları dondurulur, yalnızca son katman yeni göreve göre eğitilir. Tam ince ayar (full fine-tuning) tüm ağırlıkları günceller ve daha yüksek doğruluk sunar. LoRA ile PEFT ise küçük adaptör matrisleri ekleyerek hesaplama verimliliğini korur; büyük dil modellerinin ince ayarında standart bir yaklaşım haline gelmiştir. Hangi stratejinin seçileceği, mevcut etiketli veri miktarına ve hedef görevin kaynak görevle olan yakınlığına bağlıdır. Günümüzde BERT, RoBERTa ve LLaMA gibi ön eğitimli modeller, Türkçe duygu analizi, tıbbi metin sınıflandırması ve kod üretimi gibi alanlarda az veriyle yüksek başarı oranları sunmaktadır. Kaynak ve hedef görevler arasındaki büyük farklılık "negatif transfer" riskini doğurur; bu nedenle model ve alan seçimi dikkatli yapılmalıdır. Transfer öğrenme, modern yapay zekanın temel bileşenlerinden biri olarak büyük dil modellerinin geniş kitleler tarafından kullanılmasında belirleyici bir rol üstlenmektedir.
Underfitting (Eksik Öğrenme)
Yetersiz öğrenme (underfitting), bir makine öğrenmesi modelinin eğitim verisinin altında yatan örüntüleri öğrenemeyecek kadar basit kalması durumudur. Bu hata, modelin hem eğitim hem de test verilerinde yüksek hata sergilemesiyle kendini gösterir; yani model ne gördüğü örnekleri doğru tahmin eder ne de yeni verilere genelleme yapabilir. Yetersiz öğrenmenin en yaygın nedeni aşırı basit model mimarisi seçimidir. Doğrusal regresyon ile karmaşık ikinci dereceden bir ilişkiyi modellemeye çalışmak buna tipik bir örnektir: model verideki kıvrımları ve örüntüleri yakalayacak kapasiteye sahip değildir. Düşük kapasite yanında, gereğinden fazla düzenlileştirme (regularization) de yetersiz öğrenmeye yol açar; L1/L2 cezaları çok güçlü uygulandığında model parameterlerini sıfıra yaklaştırır ve anlamsız tahminler üretir. Erken durdurma (early stopping), eğer çok erken uygulanırsa benzer etkiyi yaratır: model kayıp fonksiyonunu yeterince minimize edemeden eğitim kesilir. Küçük batch boyutlarında gürültülü gradyanlar, yetersiz epoch sayısı ve yanlış hiper-parametre seçimi de underfitting'e zemin hazırlar. Bias-varyans ikilemi (bias-variance tradeoff) çerçevesinde yetersiz öğrenme yüksek bias problemine karşılık gelir. Model, gerçek dağılımı sistematik olarak yanlış temsil eder; bu yanlılık azaltılmadan performans iyileşmez. Yetersiz öğrenmeyi gidermek için model kapasitesi artırılır: daha derin sinir ağları, daha fazla özellik veya polinom dönüşümleri eklenir. Düzenlileştirme parametreleri gevşetilir, eğitim süresi uzatılır ve özellik mühendisliği ile bilgilendirilmiş özellikler türetilir. Eğitim kayıp eğrisi yataylaşmadan çok erken durmamak da yetersiz öğrenmeden kaçınmanın temel kuralıdır.
Açık Kaynak Model (Açık Kaynak Model)
Açık Kaynak Model (Open-Weight Model), model ağırlıklarının ve çoğunlukla eğitim kodunun kamuya açık biçimde yayımlandığı, araştırmacıların ve geliştiricilerin serbestçe indirip inceleyebileceği, özelleştirip dağıtabileceği yapay zeka modelidir. Kapalı API modellerin aksine açık kaynak modeller dışarıya bağımlılığı ortadan kaldırır, gizlilik açısından hassas verilerin yerel ortamda işlenmesine imkân tanır ve araştırma ekosistemini güçlendirir. Açık kaynak LLM hareketi Meta AI'ın 2023'te LLaMA modelini yayımlamasıyla hız kazandı. LLaMA serisi (LLaMA 2, LLaMA 3), Mistral, Gemma (Google), Phi (Microsoft), Falcon ve DeepSeek bu kategorinin öne çıkan örnekleridir. Bu modeller Hugging Face hub üzerinden dağıtılmakta; GGUF, GPTQ ve AWQ gibi kuantizasyon formatlarıyla tüketici donanımlarında çalıştırılabilmektedir. Açık kaynak modellerin kullanım biçimleri çeşitlidir. Yerel çalıştırma için Ollama ve LM Studio gibi araçlar basit arayüzler sunar. İnce ayar (fine-tuning) ile belirli alanlara veya kurum verilerine özelleştirme yapılır; LoRA ve QLoRA teknikleri bu süreci düşük bellek bütçesiyle mümkün kılar. RAG sistemi kurulumunda açık embedding modelleriyle birleştirilerek gizlilik korunur. Lisanslama açısından dikkat edilmesi gerekir; bazı modeller ticari kullanıma kısıtlama getirir (LLaMA 2'nin kullanıcı sayısı sınırı gibi). Apache 2.0, MIT ve Mistral'ın kendi lisansı gibi permissive lisanslar ticari kullanıma tam açıktır. Model seçiminde kapasite, lisans tipi, kuantizasyon seçenekleri ve topluluk desteği değerlendirilmesi gereken başlıca faktörlerdir. Açık kaynak model ekosistemi hızla büyümektedir. Hugging Face hub'da 800.000'den fazla model bulunmakta; topluluk tarafından geliştirilen adaptörler, değerlendirme kıyaslamaları ve entegrasyon araçları bu büyümeyi hızlandırmaktadır. Araştırma şeffaflığı açısından açık ağırlıklar, model davranışı üzerinde denetlenebilir çalışma yapılmasına imkân tanır. Türkiye'de açık kaynak modeller özellikle Türkçe NLP çalışmalarında ve veri gizliliği gerektiren kurumsal projelerde yaygın tercih haline gelmektedir. KVKK uyumluluğu bağlamında müşteri verilerini işleyen şirketler, verilerin dışarıya çıkmamasını garanti eden yerel model dağıtımını kapalı API çözümlerine tercih etmektedir.