category Yapay Sinir Ağları
Yapay Sinir Ağları kategorisi, yapay zeka ve makine öğrenimi alanındaki 39 temel terim ve kavramı kapsar: Artificial Neural Networks (ANN), Batch Normalization, Boltzmann Machine Nedir?, Catastrophic Forgetting, Cross-Entropy, Deep Belief Network. Her terim için tanım, örnek ve ilgili kavramları bu sayfadan keşfedebilirsiniz.
Artificial Neural Networks (ANN) (Yapay Sinir Ağları)
Yapay sinir ağları (Artificial Neural Networks — ANN), insan beynindeki biyolojik nöron yapılarından esinlenerek geliştirilen matematiksel hesaplama modellerdir. Birbirine ağırlıklı bağlantılarla bağlı düğümlerden (nöronlardan) oluşan bu yapılar; girdi katmanı, bir ya da daha fazla gizli katman ve çıktı katmanından meydana gelir. Her düğüm gelen sinyalleri toplar, ağırlıklarla çarpar ve sonucu sigmoid, ReLU veya tanh gibi bir aktivasyon fonksiyonundan geçirerek bir sonraki katmana iletir. Eğitim süreci iki temel aşamadan oluşur: ileri geçiş (forward pass) sırasında girdi verisi katmanlar boyunca aktarılarak tahmin üretilir; geri yayılım (backpropagation) aşamasında ise tahmin hatası zincir kuralıyla geriye doğru hesaplanarak ağırlıklar gradyan iniş yöntemiyle güncellenir. Bu döngü milyonlarca iterasyon boyunca tekrarlanarak modelin doğruluğu kademeli biçimde artırılır. Ağın başarısı büyük ölçüde gizli katman sayısına, nöron yoğunluğuna ve seçilen optimizasyon algoritmasına (Adam, SGD, RMSProp) bağlıdır. Tarihsel açıdan McCulloch-Pitts nöronu (1943) ve Frank Rosenblatt'ın 1958 perceptronu bu alanın temel taşlarını oluşturur. İki "yapay zeka kışı" döneminde ilgi azalsa da 2006 sonrasında Geoffrey Hinton ve ekibinin çok katmanlı yapılar üzerindeki çalışmaları ile 2012'de AlexNet'in ImageNet yarışmasındaki devrimsel başarısı, modern derin öğrenme çağını başlattı. Günümüzde yapay sinir ağları pek çok uzmanlaşmış mimaride gelişmiştir: evrişimsel sinir ağları (CNN) görüntü tanıma ve bilgisayarlı görüde, yinelemeli ağlar (RNN/LSTM) dizi verisinde, grafik sinir ağları (GNN) ilişkisel veride ve transformerlar büyük dil modellerinde temel yapı taşını oluşturur. Tıbbi görüntü analizi, otonom araçlar, ses tanıma, makine çevirisi ve öneri sistemleri bu teknolojinin en olgunlaştığı başlıca uygulama alanlarıdır. Temel sınırlamalar arasında "kara kutu" yorumlanabilirlik sorunu, büyük miktarda etiketli eğitim verisi gerektirme ve GPU hesaplama maliyeti sayılabilir. Bu güçlükler açıklanabilir yapay zeka (XAI) araştırmalarını ve enerji verimli kenar bilişim (edge AI) çözümlerine olan ilgiyi giderek artırmaktadır.
Batch Normalization (Toplu Normalleştirme)
Batch Normalization (Toplu Normallesme), derin sinir aglarinin egitimi sirasinda her katmanin aktivasyonlarini mini-batch istatistiklerini kullanarak normalize eden ve bu sayede egitimi hizlandirip kararlilastiran bir tekniktir. 2015 yilinda Ioffe ve Szegedy tarafindan yayimlanan makale, BN'yi derin ogrenme camiasinin standart yontemlerinden biri haline getirdi. BN algoritmasini adim adim inceleyelim. Her mini-batch icin, hedef katmanda gelen aktivasyonlarin batch ortalamasisi ve varyansi hesaplanir. Bu istatistiklerle aktivasyonlar normalize edilir, yani ortalama 0, varyans 1 olur. Ardindan iki ogrenilir parametreyle (gama, beta) yeniden olcelkendirme yapilir: gama aktivasyonlarin olcegini, beta ise kaydirmasini belirler. Bu yeniden olceklendirme adimi, normalizasyonun modelin ifade gucunu kisitlamamasini saglar; model gerekirse orijinal dagilima benzer bir ciktiya geri donebilir. BN'nin en onemli pratik faydasi egitimin hizlanmasidir. Normallesme, gradyanlarin katmanlar arasinda daha tutarli bir buyuklukle akmasini saglar; bu cok daha yuksek learning rate kullanimi ve daha az epoch ile yakinsama anlamina gelir. Bazi deneyler BN'nin egitimi 5-10 kat hizlandirabildigini gostermistir. Mekanizma tartismali olsa da BN, "internal covariate shift" sorununu azalttigini iddia eden yaklasimla tanitilmistir. Derin ag egitiminde alt katmanlardaki agirlik guncellemeler, ust katmanlarin girdi dagilimini surdurur degistirir; bu degisim ogrenmeyi yavaslattir. BN her katmanin girdi dagilimini dengeleyerek bu sorunu azaltir. Transformer mimarisinin yayginlasmisiyla Layer Normalization (LayerNorm) on plana cikmiştir. LayerNorm batch boyutu yerine ozellik boyutu uzerinden normalizasyon yapar; tek ornekle de calistigindan RNN ve Transformer'larda tercih edilir. **Sik Sorulan Sorular** **Batch Normalization hangi konuma yerlestirilir?** Geleneksel olarak lineer katman veya evrisme katmani ile aktivasyon fonksiyonu arasina yerlestirilir. Ancak "pre-activation" yaklasiminda aktivasyondan once konumlandirma da kullanilir; performans farkli mimarilerde degisebilir. **Kucuk batch size'larda BN calisir mi?** Kucuk batch'lerde BN'nin istatistiksel tahminleri guvenilmez hale gelebilir. Bu durumda Group Normalization veya Layer Normalization daha kararlı alternatiflerdir. **BN neden inference'ta farkli davranir?** Egitimde mini-batch istatistikleri kullanilirken inference'ta egitim boyunca biriktirilen hareketli ortalama (running mean/variance) kullanilir. Bu model eval() ve train() modlari arasindaki farkliliktan kaynaklanir. **Transformer'lar neden LayerNorm kullanir?** Transformer'larin sekanslar ve self-attention yapilariyla calismasi, batch boyutuna bagli bir normalizasyonu pratik kilmaz. LayerNorm her ornegi bagimsiz normalize ettiginden bu mimariyle dogal bir uyum icindedir.
Boltzmann Machine Nedir? (Boltzmann Makinesi)
Boltzmann Makinesi, 1985 yılında Geoffrey Hinton ve Terry Sejnowski tarafından geliştirilen, enerji tabanlı bir stokastik üretken sinir ağı modelidir. Model, görünür (visible) birimler ve gizli (hidden) birimler olmak üzere iki tür ikili stokastik nörondan oluşur; tüm birimler birbirine simetrik ağırlıklı bağlantılarla bağlıdır. Sistemin temel prensibi enerji minimizasyonuna dayanır. Her ağırlık konfigürasyonunun bir enerji değeri vardır; model, Boltzmann dağılımına göre düşük enerjili durumları yüksek olasılıkla örnekleyerek eğitim verisinin olasılık dağılımını öğrenir. Bu öğrenme süreci Contrastive Divergence (CD) algoritmasıyla gerçekleştirilir; tam Gibbs örneklemesi yerine k adımlı yaklaşım kullanılarak hesaplama yükü azaltılır. Tam bağlantılı Boltzmann Makinesi'nin eğitimi son derece yavaş olduğundan pratikte Kısıtlı Boltzmann Makinesi (Restricted Boltzmann Machine, RBM) tercih edilir. RBM'de görünür birimler yalnızca gizli birimlere bağlıdır; görünür-görünür ve gizli-gizli bağlantılar yoktur. Bu kısıtlama, katmanlar arasında paralel Gibbs örneklemesine olanak tanır ve eğitimi önemli ölçüde hızlandırır. RBM'ler 2006-2012 yılları arasında derin öğrenmenin öncü uygulamalarında kritik rol üstlenmiştir. Hinton'ın 2006 makalesinde sunulan Derin İnanç Ağları (Deep Belief Networks, DBN), birden fazla RBM katmanını açgözlü bir biçimde önceden eğiterek derin mimarilerin başarıyla eğitilebileceğini göstermiş ve modern derin öğrenme çağının kapısını aralamıştır. Aynı dönemde Netflix Ödülü yarışmasında işbirlikçi filtreleme amacıyla da başarıyla uygulanmıştır. Günümüzde VAE (Değişimsel Öz-Kodlayıcı), GAN ve difüzyon modelleri gibi daha güçlü ve ölçeklenebilir üretken yaklaşımların yaygınlaşmasıyla Boltzmann Makinesi'nin pratik kullanımı büyük ölçüde geride kalmıştır. Ancak enerji tabanlı modelleme konsepti modern yapay zeka mimarilerini kavramak için önemli bir teorik temel sunmaya devam etmektedir. Geoffrey Hinton, bu çalışmanın da dahil olduğu derin öğrenme katkıları nedeniyle 2024 Nobel Fizik Ödülü'ne layık görülmüştür.
Catastrophic Forgetting (Yıkıcı Unutma)
Yıkıcı Unutma (Catastrophic Forgetting ya da Catastrophic Interference), yapay sinir ağlarının yeni bir görev için eğitildiğinde önceki görevlerde öğrendikleri bilgileri ani ve büyük ölçüde yitirmesi olgusudur. İlk kez 1989'da McCloskey ve Cohen tarafından bağlantıcı modelleri inceleyen bir çalışmada tanımlanmış; Ratcliff (1990) ise olgunun teorik temellerini genişletmiştir. Temel mekanizma, geri yayılım (backpropagation) algoritmasının tüm ağırlıkları güncellemesinden kaynaklanır. Model yeni görev verisiyle eğitildiğinde ağırlık güncellemeleri, önceki görev için optimize edilmiş değerlerin doğrudan üzerine yazar. İnsan beyninin hipokampal konsolidasyon mekanizması sayesinde yeni bilgiyi eskiyi bozmadan entegre edebildiği düşünüldüğünde, standart yapay sinir ağlarının bu dezavantajı açıkça ortaya çıkar. Bu sorunu aşmak için üç temel strateji geliştirilmiştir. Düzenleme (regularization) tabanlı yöntemler, önceki görevler için kritik ağırlıkları belirleyerek bu ağırlıkların değişimini kısıtlar; en bilineni Elastic Weight Consolidation (EWC)'dir. EWC, Fisher bilgi matrisini kullanarak her ağırlığın önceki görev için ne kadar önemli olduğunu hesaplar ve buna göre L2 cezası uygular. Bellek tekrarı (memory replay) yöntemleri, geçmiş görevlerin örneklerini bir tampon bellekte saklar ya da üretici modeller aracılığıyla sentetik olarak yeniden oluşturarak yeni eğitimle karıştırır. Mimari genişleme yöntemleri ise her yeni görev için ağa ek parametreler ekler ve eski ağırlıkları dondurur; Progressive Neural Networks (PNN) ve PackNet bu yaklaşımın en bilinen örnekleridir. Yıkıcı unutma, büyük dil modellerinin güncellenmesi, robotik sistemlerin yeni beceriler kazanması ve kişiselleştirme uygulamalarında kritik bir engel oluşturmaktadır. 2020'lerin ortasında araştırmacılar, LoRA gibi parametre-verimli ince ayar yöntemleriyle EWC ve replay tekniklerini birleştiren hibrit yaklaşımlar geliştirerek bu sorunu LLM'ler bağlamında ele almaktadır. Yıkıcı unutmayı aşabilen sistemler, yapay genel zekaya (AGI) giden yolda zorunlu bir adım olarak kabul görmektedir.
Cross-Entropy (Çapraz Entropi)
Çapraz Entropi (Cross-Entropy), sınıflandırma görevlerinde derin öğrenme modellerinin eğitiminde kullanılan en yaygın kayıp fonksiyonudur. Bilgi teorisinden türetilen bu metrik, modelin ürettiği olasılık dağılımının gerçek etiket dağılımıyla ne kadar uyuştuğunu ölçer; fark büyüdükçe kayıp artar ve model parametrelerini güncellemek için daha güçlü bir gradyan sinyali üretilir. Matematikte entropi, bir olayın ne kadar "sürpriz" olduğunu ölçer: nadir olaylar yüksek, yaygın olaylar düşük bilgi içerir. Çapraz entropi ise iki dağılım arasındaki bilgi kaybını ölçer. İkili sınıflandırma (binary classification) için formül: L = −[y·log(ŷ) + (1−y)·log(1−ŷ)]. Burada y gerçek etiket (0 veya 1), ŷ modelin tahmin ettiği olasılıktır. Model yanlış sınıf için yüksek olasılık verdiğinde log terimi sonsuz büyüklüğe yaklaşarak kayıp patlar; bu matematiksel baskı modeli doğru sınıfa yönlendirir. Çok sınıflı sınıflandırma (multi-class) için kategorik çapraz entropi kullanılır: L = −Σ yᵢ·log(ŷᵢ). Doğru sınıfa karşılık gelen terim dışındaki tüm yᵢ değerleri 0 olduğundan, kayıp yalnızca gerçek sınıfın tahmin olasılığına bağlıdır. Softmax aktivasyonu ile birlikte doğal bir eşleşme oluşturur: softmax çıktıları toplamı 1 olan olasılık dağılımı üretir, çapraz entropi bu dağılımla gerçek etiketi karşılaştırır. Çapraz entropi, ortalama karesel hata (MSE) yerine sınıflandırmada neden tercih edilir? MSE, olasılık tahminleri için zayıf gradyanlar üretir: model doğru etikete 0.9 olasılık verirken yanlış yönde ilerlese bile MSE gradyanı küçük kalır. Çapraz entropi ise logaritmik yapısı sayesinde yanlış sınıflara yüksek olasılık veren kötü tahminleri çok daha sert cezalandırır. Eğitimde dikkat edilmesi gereken bir nokta sayısal kararlılıktır: log(0) tanımsızdır. PyTorch ve TensorFlow gibi kütüphaneler log hesaplamasını softmax ile birleştirerek (log-sum-exp trick) bu problemi çözer; `nn.CrossEntropyLoss()` PyTorch'ta softmax + log + NLL kaybını tek adımda uygular. **Label smoothing**, gerçek etiketleri yumuşatarak (ör. 1.0 yerine 0.9, 0.0 yerine 0.1) aşırı güveni önleyen bir çapraz entropi varyantıdır. Model çok eminleştiğinde genelleme kapasitesi düşer; label smoothing bunu hafifletir ve modern transformerların eğitiminde standart hale gelmiştir.
Deep Belief Network (Derin İnanç Ağı)
Derin İnanç Ağı (Deep Belief Network — DBN), birden fazla Kısıtlı Boltzmann Makinesi'nin (Restricted Boltzmann Machine — RBM) hiyerarşik olarak yığıldığı olasılıksal bir derin öğrenme modelidir. Her katman, bir alt katmanın gizli birimlerini temsil ederken bir üst katmanın görünür birimleri olarak işlev görür; böylece veri içindeki soyutlama düzeyi ağın derinliğiyle birlikte artar. Modelin tarihsel önemi, Geoffrey Hinton ve meslektaşlarının 2006 yılında Science dergisinde yayımladığı dönüm noktası niteliğindeki makaleden kaynaklanmaktadır. Bu çalışma, derin ağların eğitimindeki temel güçlüğü olan kaybolan gradyan (vanishing gradient) sorununa pratik bir çözüm sundu: Açgözlü katman-bazlı ön eğitim (greedy layer-wise pretraining). Bu yaklaşımda her RBM katmanı, alttaki katmanın çıktısını girdi olarak alarak bağımsız ve denetimsiz biçimde (unsupervised) eğitilir. Ardından tüm ağ, denetimli ince ayar (supervised fine-tuning) ile geri yayılım algoritması kullanılarak optimize edilir. Pratik kullanım açısından DBN'ler 2006-2012 yılları arasında özellikle boyut indirgeme, özellik öğrenme, öneri sistemleri ve konuşma tanıma gibi alanlarda öne çıktı. Carnegie Mellon ve Toronto Üniversitesi'nden ekipler, MNIST rakam tanıma kıyaslamasında dönemin en yüksek doğruluk oranlarını DBN ile elde etti. 2012'den itibaren Evrişimli Sinir Ağları (CNN) ve Uzun-Kısa Süreli Bellek (LSTM) ağlarının ImageNet ve konuşma tanımadaki dramatik başarıları, DBN'lerin kullanımını önemli ölçüde daralttı. Bununla birlikte DBN kavramı, modern üretken modellerin (özellikle Değişken Özkodlayıcılar ve Difüzyon Modelleri) teorik temelini anlama açısından hâlâ eğitim ve araştırma bağlamında incelenmektedir. Geoffrey Hinton'ın bu çalışmadaki katkısı, 2018 Turing Ödülü'nü kazandığı derin öğrenme başarılarının merkezinde yer almaktadır.
Derin Öğrenme (Derin Öğrenme)
Derin Öğrenme (Deep Learning), çok sayıda işlem katmanından oluşan yapay sinir ağlarını kullanarak verilerden hiyerarşik temsiller öğrenen makine öğrenmesi alt dalıdır. 2012'de AlexNet'in ImageNet yarışmasını kazanmasıyla ana akıma giren derin öğrenme, görüntü tanıma, doğal dil işleme, ses sentezi ve oyun oynama gibi alanlarda insan performansını aşan sonuçlar üretmektedir. Temel yapı taşı yapay nörondur: gelen sinyallerin ağırlıklı toplamını bir aktivasyon fonksiyonundan (ReLU, sigmoid, tanh) geçirerek çıktı üretir. Yüzlerden binlerce nöronun art arda katmanlar oluşturması hiyerarşik özellik çıkarımını mümkün kılar. Erken katmanlar kenar ve doku gibi düşük seviye özellikleri, derin katmanlar yüz veya nesne gibi yüksek seviye soyutlamaları kodlar. Geri yayılım (backpropagation) ve stokastik gradyan inişi (SGD) bu ağırlıkları optimize eder; her adımda kayıp fonksiyonu (loss function) tahmin hatasını ölçer ve parametre güncellenir. Mimari ailesi geniştir. Evrişimli sinir ağları (CNN) görüntü verisini işlemek için yerel bağlantı ve ağırlık paylaşımı kullanır; ResNet ve EfficientNet bu ailenin tanınan üyeleridir. Tekrarlayan sinir ağları (RNN) ve kapılı varyantı LSTM zaman serisi ve metin verisini sıralı olarak işler. Transformer mimarisi, öz-dikkat mekanizmasıyla paralel eğitim avantajı sunar ve GPT, BERT, T5 gibi büyük dil modellerinin temelini oluşturur. Üretici çekişmeli ağlar (GAN), varyasyonel otokodlayıcılar (VAE) ve difüzyon modelleri yeni içerik sentezler. Derin öğrenmenin temel gereksinimleri büyük veri ve yüksek işlem gücüdür; NVIDIA GPU'ları ve Google TPU'ları bu ihtiyacı karşılar. Aşırı uyum sorunuyla başa çıkmak için dropout, toplu normalizasyon ve veri artırma teknikleri yaygın biçimde uygulanır. Transfer öğrenme ise önceden eğitilmiş modellerin yeni görevlere uyarlanmasını sağlar; böylece veri ve hesaplama maliyeti büyük ölçüde azalır. Pratik uygulamaları arasında tıbbi görüntü analizi, özerk araç algı sistemleri, gerçek zamanlı konuşma tanıma ve kişiselleştirilmiş öneri motorları öne çıkar. GPT, Claude ve Gemini gibi büyük dil modelleri ile Stable Diffusion ve Midjourney gibi görsel üretim sistemleri doğrudan derin öğrenme mimarileri üzerine inşa edilmiştir. Türkiye'de e-ticaret kişiselleştirme, bankacılık dolandırıcılık tespiti ve Türkçe NLP uygulamaları başlıca kullanım senaryoları arasındadır. PyTorch ve TensorFlow, araştırmacıların ve geliştiricilerin bu modelleri hızla hayata geçirebildiği başlıca açık kaynak çerçevelerdir. 2026 itibarıyla ölçekleme yasaları büyük temel modellerin performans sınırlarını yeniden çizmekte; az çekimli (few-shot) öğrenme ve çok-modlu (multimodal) mimariler derin öğrenmenin uygulama yelpazesini genişletmektedir. GPT-4o, Gemini ve Claude Opus gibi modeller görüntü, ses ve metin girişini tek bir transformer çatısı altında birleştirmektedir. Yorumlanabilirlik başlıca açık araştırma sorunudur; Grad-CAM, SHAP ve mekanistik yorumlanabilirlik araçları bu şeffaflık boşluğunu kapatmaya çalışmaktadır.
Dropout (Düzenlileştirme Tekniği)
Dropout, derin sinir ağı eğitimi sırasında her güncelleme adımında belirli bir olasılıkla (dropout oranı, p) gizli katman nöronlarının çıkışlarını sıfırlayan ve bu sayede modelin belirli nöronlara aşırı bağımlı kalmasını engelleyen bir düzenlileştirme (regularization) yöntemidir. Srivastava, Hinton, Krizhevsky ve arkadaşları tarafından 2014 yılında yayımlanan "Dropout: A Simple Way to Prevent Neural Networks from Overfitting" başlıklı çalışmayla tanıtılan bu teknik, derin öğrenmenin standart araç kutusuna girmiştir. Tekniğin temel mantığı şöyledir: Eğitim sırasında her mini-batch için rastgele seçilen nöronlar ve onlara bağlı ağırlık bağlantıları geçici olarak kaldırılır. Geriye kalan ağ, seyrek bir alt ağ (sub-network) olarak eğitilir. Böylece her iterasyonda farklı bir mimari öğrenmeye zorlanır. Bu süreç, binlerce farklı ağı aynı anda eğitip tahminlerin ortalamasını almak gibi bir topluluk (ensemble) etkisi yaratır. Test ve çıkarım (inference) aşamasında dropout devre dışı bırakılır; tüm nöronlar aktif kalır. Ancak beklenti tutarlılığını korumak için her nöronun çıkışı (1 − p) faktörüyle çarpılır ya da eğitimde nöron çıkışları 1/(1−p) ile ölçeklenerek test aşamasında herhangi bir ölçeklendirme yapılmaz (inverted dropout). Dropout oranı, uygulamaya göre değişmekle birlikte gizli tam bağlı (fully-connected) katmanlar için 0,2–0,5 aralığı yaygın olarak kullanılır. Evrişimsel katmanlarda oranın daha düşük tutulması ya da Spatial Dropout gibi özel varyantların tercih edilmesi önerilir; tam bağlı olmayan katmanlarda standart dropout dikkat gerektiren yanlı gradyan davranışlarına yol açabilir. Dropout'un derin öğrenme pratiğindeki yeri son derece önemlidir: AlexNet, VGG, ResNet ve transformer temelli modellerin pek çok varyantında kullanılmaktadır. Bununla birlikte Batch Normalization gibi modern düzenlileştirme yöntemlerinin yaygınlaşmasıyla bazı mimarilerde rolü azalmış; hibrit kullanım ön plana çıkmıştır.
Echo State Network Nedir? (Yankı Durum Ağı)
Echo State Network (ESN), Reservoir Computing (Rezervuar Hesaplama) paradigmasına ait bir tekrarlayan yapay sinir ağı türüdür. 2001 yılında Herbert Jaeger tarafından Fraunhofer Enstitüsü'nde geliştirilen ESN, üç temel bileşenden oluşur: giriş katmanı, büyük ve sabit rastgele bağlantılı tekrarlayan bir rezervuar (tank) ve yalnızca bu rezervuarın çıktısının eğitildiği okuma (readout) katmanı. Geleneksel tekrarlayan sinir ağlarından (RNN) farklı olarak ESN'de giriş ve rezervuar bağlantı ağırlıkları rastgele belirlenir ve sabit tutulur; yalnızca çıkış ağırlıkları basit bir lineer regresyon yöntemiyle eğitilir. Bu yaklaşım, eğitim sürecini dramatik biçimde hızlandırır ve derin ağlarda sıkça karşılaşılan gradyan kaybolması ile gradyan patlaması sorunlarını tamamen ortadan kaldırır. ESN'nin temel prensibi olan 'Yankı Durumu Özelliği' (Echo State Property), ağın geçmiş girdi sinyallerinin etkisini zamanla unutarak mevcut girdi sinyaline bağımlı hale gelmesini sağlar. Bu özellik, ağın farklı başlangıç durumlarından başlayarak aynı girdi dizisine yakınsama yeteneğini ifade eder. Echo State Network, karmaşık zaman serisi verilerinin modellemesinde, konuşma tanımada, kaotik sistemlerin tahmininde ve robot kontrolünde başarılı sonuçlar verir. Liquid Neural Network ve Spiking Neural Network gibi biyolojik ilhamlı dinamik ağ mimarileriyle yakın benzerlik taşıyan ESN, hesaplama verimliliği ve eğitim kolaylığıyla günümüzde de araştırma alanında önemini korumaktadır.
GNN (Çizge Sinir Ağı) (GNN (Çizge Sinir Ağı))
GNN (Graph Neural Network — Çizge Sinir Ağı), düğümler ve kenarlardan oluşan graf yapısındaki veriler üzerinde mesaj geçişi mekanizmasıyla öğrenen derin öğrenme mimarisidir. CNN ve RNN gibi klasik modeller, piksel matrisleri veya sözcük dizileri biçiminde düzenlenmiş ızgara veriyle çalışırken, GNN'ler sosyal ağlar, moleküler yapılar, bilgi grafları ve trafik ağları gibi düzensiz topolojilerdeki ilişkisel veriyi doğrudan işleyebilir. Mesaj geçişi üç adımda gerçekleşir: Her düğüm komşularından özellik vektörleri alır (mesaj üretimi), bu vektörleri toplama veya ortalama gibi permütasyona duyarsız bir işlevle birleştirir ve ardından bir sinir ağı katmanıyla kendi temsilini günceller. Her GNN katmanında tekrarlanan bu döngü, k katmanla k-komşuluk yarıçapındaki bilgiyi yakalar; derin ağlar geniş mahallelerin bilgisini sentezler. Başlıca GNN mimarileri farklı toplama stratejileri kullanır. GCN (Kipf & Welling, 2017), spektral konvolüsyonu uzaysal alana yaklaştırarak sabit graflar üzerinde verimli çalışır. GAT, her komşuya öğrenilebilir dikkat ağırlıkları atayarak heterojen graflarda daha iyi genelleme yapar. GraphSAGE, büyük graflarda örneklem tabanlı komşu toplama yöntemiyle ölçeklenebilirliği artırır ve eğitim dışı düğümlere genelleyebilir. Graph Transformer ise dikkat mekanizmasını konum kodlamasıyla birleştirerek uzun menzilli ilişkileri yakalar; AlphaFold 2'nin protein katlanma tahmini bu yaklaşımdan yararlanır. GNN'ler kritik alanlarda yaygın biçimde kullanılır: ilaç keşfinde moleküler bağ tahminini gerçekleştirir, trafik modellemesinde Google Maps'in varış süresi sistemine katkıda bulunur, finansal sahtekârlık tespitinde işlem graflarını analiz eder ve öneri sistemlerinde kullanıcı-içerik ilişkilerini modeller. Pinterest'in PinSage modeli ve Meta'nın içerik öneri altyapısı GNN tabanlı sistemlerin öne çıkan örnekleridir. Geliştirme için PyTorch Geometric ve Deep Graph Library (DGL) en yaygın çerçevelerdir; her ikisi de hazır GNN katmanları ve büyük graflarda mini-batch öğrenmesi sunar. Open Graph Benchmark (OGB) ise standart değerlendirme veri setleri ve lider tablolarıyla araştırma kıyaslamalarına zemin hazırlar.
Gradient Descent (Gradyan İnişi)
Gradient descent (gradyan inişi), bir modelin kayıp fonksiyonunu minimize etmek için parametreleri gradyanın negatif yönünde iteratif olarak güncelleyen optimizasyon algoritmasıdır. Güncelleme kuralı tek satırdır: **θ ← θ − α · ∇L(θ)**. Burada θ model parametrelerini, ∇L(θ) kaybın parametrelere göre türevini (gradyanı), α ise adım büyüklüğünü belirleyen öğrenme hızını (learning rate) temsil eder. Doğrusal regresyondan 1 trilyon parametreli dil modellerine kadar neredeyse tüm modern makine öğrenmesi eğitimi bu kuralın bir varyantıyla yapılır. Sezgisel karşılığı, sisli bir dağda gözü bağlı vadiye inen bir yürüyüşçüdür: yürüyüşçü yalnızca ayağının altındaki eğimi hisseder ve her adımda en dik iniş yönüne ilerler. Eğim gradyana, adım boyu öğrenme hızına, vadinin dibi ise minimum hataya karşılık gelir. Adım çok büyükse vadi atlanır ve kayıp ıraksar; çok küçükse yakınsama saatler yerine haftalar alır. Pratikte üç ana biçimi vardır: tüm veri kümesini tek seferde işleyen **batch gradient descent**, her adımda tek örnek kullanan **stochastic gradient descent (SGD)** ve derin öğrenmenin fiili standardı olan, 16–4096 örneklik gruplarla çalışan **mini-batch gradient descent**. Derin sinir ağlarında gradyanlar geriye yayılım (backpropagation) ile zincir kuralı üzerinden hesaplanır; PyTorch ve JAX gibi kütüphaneler bunu otomatik türev (autograd) ile yapar. Güncelliği tartışmasızdır: GPT-5, Claude, Gemini ve Llama ailesi dahil bütün büyük dil modelleri, gradient descent'in uyarlanabilir türevleri olan AdamW ve 2025'ten itibaren yaygınlaşan Muon gibi optimizatörlerle eğitildi. Konveks problemlerde yakınsama matematiksel olarak kanıtlanmıştır; derin ağların non-konveks kayıp yüzeylerinde ise eyer noktaları (saddle point) ve düz plato bölgeleri asıl pratik zorluğu oluşturur. SGD'nin stokastik gürültüsü, paradoksal biçimde bu noktalardan kaçışı kolaylaştırır ve genelleme performansına katkı yapar. Kısacası gradient descent, yapay zekanın "öğrenme" dediğimiz sürecinin matematiksel motorudur.
Graph Attention Network (GAT) Nedir? (Dikkat Mekanizmalı Çizge Sinir Ağı)
Graph Attention Network (GAT), çizge (graf) yapılı verilere dikkat mekanizması uygulayan bir yapay sinir ağı mimarisidir. Velickovic ve ekibi tarafından 2018'de ICLR konferansında önerilen GAT, bir düğümün temsilini güncellerken komşu düğümlere sabit ağırlık atamak yerine, her komşu için ayrı dikkat puanları hesaplayarak hangi komşuların daha önemli olduğunu veri odaklı biçimde öğrenir. GAT, bir düğüm ile her komşusu arasında dikkat katsayısı (attention coefficient) hesaplar. Bu katsayılar Leaky ReLU aktivasyonlu küçük bir sinir ağıyla üretilir ve softmax ile normalize edilir. Son düğüm temsili, komşu özelliklerinin bu ağırlıklı toplamından oluşur. Kararlılık ve farklı ilişki örüntülerini yakalamak için çok başlıklı dikkat (multi-head attention) kullanılır; ara katmanlarda başlık çıktıları birleştirilir, çıkış katmanında ortalaması alınır. Çizge Evrişimsel Ağ (GCN), tüm komşulara eşit ağırlık atarken GAT her komşunun önem derecesini veri odaklı biçimde öğrenir. Bu esneklik, değişken büyüklükteki komşuluk yapılarında ve karmaşık ilişkilerde GAT'a belirgin üstünlük sağlar. GNN (Graph Neural Network) ise bu tür tüm çizge sinir ağlarını kapsayan üst terimdir; GCN ve GAT, GNN'nin özel türleridir. GAT başlıca düğüm sınıflandırma, bağlantı tahmini ve çizge sınıflandırma görevlerinde kullanılır. Pratik uygulamalar arasında sosyal ağ analizi, ilaç-protein etkileşim tahmini, moleküler biyoloji, bilgi grafiği tamamlama ve içerik tabanlı öneri sistemleri yer alır. Dikkat katsayıları komşular arasında paralel hesaplandığı için GAT verimlidir ve farklı büyüklükteki komşuluklara doğal uyum sağlar. Üretilen dikkat ağırlıkları yorumlanabilir olduğundan hangi komşuların belirleyici olduğu analiz edilebilir. Türkiye'de ilaç keşfi ve biyoinformatik alanında çalışan araştırma grupları GAT mimarisini aktif olarak kullanmaktadır. GAT'ın 2021'de önerilen GATv2 varyantı, orijinal mimarideki statik dikkat hesabı sorununu gidererek her adımda tam dinamik dikkat üretir. PyTorch Geometric'in GATConv ve GATv2Conv katmanları, araştırmacılara hazır ve optimize edilmiş implementasyonlar sunar. Büyük çizgelerde ölçeklenebilirlik sorunu için mini-batch örnekleme ve Sparse GAT yaklaşımları yaygınlaşmaktadır; bu varyantlar yalnızca seyrek kenar kümeleriyle çalışarak bellek tüketimini önemli ölçüde azaltır.
Graph Neural Networks (Çizge Sinir Ağları)
Çizge sinir ağları (GNN), düğümler ve kenarlardan oluşan grafik yapılar üzerinde derin öğrenme işlemleri gerçekleştiren yapay sinir ağı mimarileridir. Geleneksel derin öğrenme modelleri ızgara benzeri verilerde (görüntüler için CNN, diziler için RNN) mükemmel sonuçlar verirken, sosyal ağlar, moleküler yapılar, bilgi grafikleri ve ulaşım ağları gibi düzensiz grafik yapılarında yetersiz kalıyordu. GNN'ler bu boşluğu doldurmak için geliştirilmiştir. GNN'nin temel çalışma prensibi mesaj geçişidir (message passing): her düğüm, komşu düğümlerden bilgi (mesaj) toplayarak kendi temsilini günceller. Bu süreç birden fazla katmanda tekrarlanarak düğümlerin daha geniş komşuluklarındaki bilgiyi yakalamasına olanak tanır. Graf Evrişimsel Ağlar (GCN), Graf Dikkat Ağları (GAT), GraphSAGE ve Graph Isomorphism Networks (GIN) gibi popüler GNN varyantları farklı mesaj geçiş stratejileri kullanır. GCN, spektral grafik teorisini kullanarak evrişim işlemini grafiklere genelleştirirken, GAT dikkat mekanizmaları ile farklı komşulara farklı ağırlıklar atar. GNN'lerin uygulama alanları son derece çeşitlidir. İlaç keşfinde moleküler özellik tahmini, sosyal ağ analizinde topluluk tespiti, öneri sistemlerinde kullanıcı-ürün etkileşim modelleme, kod analizi ve hata tespiti, trafik ve rota optimizasyonu bu alanların başında gelir. Özellikle AlphaFold'un protein yapısı tahmini büyük ölçüde GNN mimarilerine dayanmaktadır. Bu modeller, grafik verilerinin doğal yapısını koruyarak güçlü temsiller öğrenmesi sayesinde modern yapay zeka araştırmalarının merkezine yerleşmiştir. GNN'ler ayrıca heterojen grafiklerde (farklı türde düğüm ve kenarlar içeren) ve dinamik grafiklerde (zamanla değişen) de çalışacak şekilde genişletilebilir, bu da onları gerçek dünya problemlerine oldukça uygun kılar.
GRU (Gated Recurrent Unit) (GRU (Kapılı Tekrarlayan Birim))
GRU (Gated Recurrent Unit — Kapılı Tekrarlayan Birim), 2014 yılında Kyunghyun Cho ve ekibi tarafından önerilen, klasik Tekrarlayan Sinir Ağı (RNN) mimarisinin uzun vadeli bağımlılıkları öğrenmek için geliştirilmiş bir türevidir. Standart RNN'lerin temel sorunu olan kaybolan gradyan problemi (vanishing gradient), uzun dizilerde modelin erken adımlardaki bilgileri "unutmasına" yol açar. GRU bu sorunu, hangi bilgilerin saklanacağını ve hangilerinin atılacağını kontrol eden kapı (gate) mekanizmaları ile çözer. GRU, LSTM (Long Short-Term Memory) ile karşılaştırıldığında daha sade bir mimariye sahiptir. LSTM'de üç ayrı kapı (input, forget, output) ve ayrı bir hücre durumu (cell state) bulunurken, GRU yalnızca iki kapı kullanır: Güncelleme Kapısı (Update Gate) ve Sıfırlama Kapısı (Reset Gate). Bu sadeleştirme sayesinde GRU, eğitim süresini ve bellek kullanımını önemli ölçüde azaltırken pek çok görevde LSTM ile kıyaslanabilir başarım elde eder. Güncelleme Kapısı (Update Gate), bir önceki gizli durumun (hidden state) ne kadarının yeni duruma aktarılacağını belirler. Bu kapı, geçmiş bilgilerin ne ölçüde korunacağını kontrol eder ve uzun vadeli bellek işlevi görür. Sıfırlama Kapısı (Reset Gate) ise geçmiş bağlamın ne kadarının yeni içeriği hesaplamak için kullanılacağını düzenler; geçmiş bilginin önemsiz olduğu durumlarda sıfırlama kapısı kapatılarak gizli durum temizlenebilir. GRU, doğal dil işleme, konuşma tanıma, zaman serisi tahmini ve makine çevirisi gibi ardışık (sequential) veri içeren görevlerde yaygın olarak kullanılır. Özellikle veri miktarının sınırlı olduğu veya hesaplama kapasitesinin kısıtlı olduğu durumlarda LSTM'ye tercih edilir. PyTorch ve TensorFlow/Keras gibi derin öğrenme çerçevelerinde yerleşik GRU katmanları bulunmaktadır ve tek satır kodla kullanıma hazırdır.
Hopfield Network (Hopfield Ağı)
Hopfield Ağı, 1982 yılında fizikçi John Hopfield tarafından geliştirilen ve biyolojik bellek mekanizmalarından ilham alan tekrarlayan bir yapay sinir ağı mimarisidir. Bu ağın temel özelliği, belirli örüntüleri kalıcı durum olarak saklayabilmesi ve gürültülü ya da eksik bir girdi aldığında bu örüntüleri doğru biçimde geri çağırabilmesidir. Ağ, birbirine tamamen bağlı nöronlardan oluşur ve bağlantı ağırlıkları simetriktir. Bu yapısal özellik, ağın davranışını bir Lyapunov enerji fonksiyonuyla tanımlamayı mümkün kılar. Sistemin her durumu bu enerji yüzeyindeki bir noktaya karşılık gelir; nöronların adım adım güncellenmesi süreci enerjiyi monoton biçimde azaltır. Sonunda ağ, enerji yüzeyinin yerel bir minimumuna, yani bir çekim noktasına (attractor) ulaşarak kararlı bir durumda durur. Depolanan her örüntü böyle bir çekim noktasına karşılık gelir. Klasik Hopfield Ağı'nda nöronlar ikili değerler (±1) alır ve Hebbian öğrenme kuralıyla eğitilir. Depolama kapasitesi nöron sayısının (N) yaklaşık 0,14 katıyla sınırlıdır; bu da büyük ölçekli uygulamalarda ciddi bir kısıtlamadır. Kapasite aşıldığında aralarındaki örüntülerin karışımı olan sahte çekim noktaları (spurious attractors) ortaya çıkar. 2020 yılında Ramsauer ve ekibinin yayımladığı "Hopfield Networks is All You Need" makalesi modern Hopfield Ağları kavramını gündeme taşıdı. Modern versiyonda enerji fonksiyonu yeniden tasarlanarak güncelleme kuralı softmax fonksiyonuna dönüştürülmüş; bu sayede depolama kapasitesi üstel biçimde artırılmıştır. Dahası, modern Hopfield güncelleme kuralının Transformer mimarisindeki öz-dikkat (self-attention) mekanizmasıyla matematiksel olarak eşdeğer olduğu kanıtlanmıştır. Bu bağlantı, dikkat mekanizmalarına bellek tabanlı bir yorum getirerek derin öğrenme teorisine önemli katkılar sağlar. 2024 yılında John Hopfield, bu çalışmalar nedeniyle Geoffrey Hinton ile birlikte Nobel Fizik Ödülü'nü kazanmıştır; ödül, yapay sinir ağlarına ilişkin fizik temelli temel keşiflerin resmi kabulüdür.
Hypernetwork Nedir? Ağırlık Üreten Sinir Ağı (Hiper Ağ)
Hypernetwork, başka bir sinir ağının (ana ağın) ağırlıklarını dinamik olarak üreten küçük bir yardımcı sinir ağıdır. 2016 yılında David Ha, Andrew Dai ve Quoc Le tarafından önerilen ve ICLR 2017 konferansında yayımlanan bu mimari, geleneksel derin öğrenmede sabit tutulan model parametrelerini koşullamaya duyarlı biçimde üretmeyi mümkün kılar. Klasik derin öğrenmede her katmanın ağırlıkları geri yayılım (backpropagation) ile öğrenilir ve eğitim tamamlandığında değişmez hale gelir. Hypernetwork yaklaşımında iki bileşenli bir yapı kullanılır: küçük hiper ağ, bir koşullama girdisi (görev kimliği, stil vektörü, gizli durum vb.) alarak ana ağın belirli katmanlarına ait ağırlık matrislerini hesaplar. Ana ağ bu ağırlıkları doğrudan kullanır; farklı koşullamalar için farklı parametre setleri anında elde edilir. Eğitim sırasında her iki ağ da aynı anda optimize edilir ve gradyanlar hem ana ağın kayıp fonksiyonundan hem de hiper ağ çıktısından hesaplanır. Bu mimari, çok sayıda görevi tek bir model çatısı altında toplamaya imkân tanır. Hiper ağ farklı koşullamalar için parametreler ürettiğinden milyonlarca parametreyi ayrı ayrı ezberlemek yerine üretme yolu tercih edilir; bu da parametre verimliliğini önemli ölçüde artırır. Modern derin öğrenmede hypernetwork kavramı, LoRA (Low-Rank Adaptation) gibi parametre etkin ince ayar teknikleriyle kavramsal açıdan yakın ilişkidedir. LoRA'nın delta ağırlıklarını düşük ranklı çarpanlara ayırması, bir hypernetwork'ün kompakt bir gizli vektörden ağırlık üretmesiyle örtüşen bir yaklaşımdır. Nöral mimari arama (NAS) uygulamalarında hiper ağ, farklı mimari konfigürasyonların ağırlıklarını paylaşarak büyük arama uzaylarını hızla değerlendirmeye yarar. 2023 yılından itibaren çok modlu (multimodal) sistemlerde de kullanım alanı genişleyen hypernetwork mimarisi, görüntü koşullamasıyla metin üreticinin parametre davranışının anlık olarak değiştirilebildiği modellerin temelini oluşturmaktadır. Bu yapı; meta-öğrenme, federe öğrenme ve sürekli öğrenme alanlarında güçlü sonuçlar vermektedir. Özellikle birden fazla görevi tek bir model mimarisinde yönetmek, hızlı adaptasyon ve görevler arası bilgi paylaşımı gerektiren uygulamalarda hypernetwork yaklaşımı araştırmacılar tarafından değerli bir araç olarak görülmektedir.
Kapsül Ağı (Kapsül Ağı Nedir? Uzaysal Hiyerarşiyi Koruyan Sinir Ağı Mimarisi)
Kapsul agi (capsule network), geleneksel Evrisimsel Sinir Aglarindaki (CNN) skaler aktivasyon birimlerinin yerine "kapsul" adli vektor birimleri kullanan bir derin ogrenme mimarisidir. Her kapsul, yalnizca bir ozelligi tespitini degil o ozelligi ile ilgili yonelim, boyut ve konum gibi pose bilgisi iceren bir vektor ciktisi uretir. Bu temel fark kapsul aglarini geleneksel CNN'lerden ayrilan ve uzamsal hiyerarsiyi daha eksiksiz modellemelerini saglayan bir yapi kilar. Bu fikrin mimari babasi Geoffrey Hinton'dur; kapsul aglarinin temelini yıllarca oncesinden atmış olsa da 2017 yilındaki "Dynamic Routing Between Capsules" (Sabour, Frosst, Hinton) makalesi modern kapsul agi arastirmasinin baslangic noktasi sayilmaktadir. Geleneksel CNN'lerin max pooling katmani, bir nesnenin bir bolumde olup olmadigını algılar ama nerede oldugunu veya nasil yonlendirildigini atar. Hinton bu yaklasimi insan beyninin parcalar arasindaki iliskiyi anlamadaki becerisini modelleyemedigini one surmuş; kapsullerin bu eksikligi gidereceğini savunmustur. Dynamic routing, kapsul aglarinin merkezi hesaplama mekanizmasidur. Her alt kapsul, ust kapsullar icin potansiyel katkiyi tahmin eder ve bu katkinin ust kapsulun fiili ciktisiyla ne kadar uyuştuğuna bakarak baglantiyi iteratif sekilde gunceller. Anlasma (agreement) yuksekse baglanti guclenir; dusukse zayiflar. Bu dongusal islem, max pooling'in yaptigi basit maksimum alma yerine anlamli uzamsal iliskileri kodlar. Kapsul aglarinin pratik sinirliliklari da mevcuttur. MNIST gibi kucuk ve temiz veri kumelerinde umut verici sonuclar gosterirken ImageNet gibi buyuk olcekli karmasik veri kumelerinde standart CNN'lerle rekabet etmek hem hesaplama maliyeti hem dogruluk acisindan zordir. Alanin hala aktif arastirma konu olmakla birlikte ana akım uretim sistemlerinde standart CNN ve Transformer mimarisi hakimiyetini korumaktadir. **Sik Sorulan Sorular** **Kapsul aglari neden ana akima giremedi?** Buyuk olcekli veri kumelerinde standart CNN'lerle rekabet edemez; dynamic routing hesaplama maliyeti ve olcekleme guclugu ana akım benimsenmemesinin baslica nedenidir. **Kapsul aglari Transformer'larla karsilastirılabilir mi?** Her iki mimari de uzamsal iliskiler modelleme acisindan geleneksel CNN'den farkli; ancak farkli mekanizmaları kullanmaktadır. Transformer'larin buyuk olcekli veride basarisi, kapsul aglarinin araştirma etkisini kısmen golgede birakmiştir. **Kapsul aglari goruntu disinda kullanilabilir mi?** Prensipte evet; noktabultaji ve ses gibi alanlarda denemeler yapilmistir. Ancak buyuk olcekli goruntulerle bile zorlanan mimari, diger modalitelerde az incelenmiştir. **Kapsul aglari gunumuzde kullanılıyor mu?** Arastirma laboratuvarlarinda aktif calismalar surdurulmekte; ancak uretim sistemlerinde neredeyse hi kullanimazdir. Vision Transformer (ViT) ve benzeri mimariler buyuk olcekli gorsel algida hakimiyeti ele gecirmistir.
Layer Normalization Nedir? Transformer'larda Normalizasyon Tekniği (Katman Normalizasyonu)
Layer Normalization (Katman Normalizasyonu), derin öğrenme modellerinde eğitimi hızlandırmak ve kararlılaştırmak için kullanılan bir normalizasyon yöntemidir. Jimmy Ba ve Geoffrey Hinton tarafından 2016 yılında önerilen bu teknik, her bir veri örneğinin aktivasyonlarını özellik boyutu (feature dimension) üzerinden normalleştirir; bu sayede batch boyutundan tamamen bağımsız biçimde çalışır. Yöntemin matematiksel temeli şudur: bir katmandaki H adet nöronun aktivasyonları için μ (ortalama) ve σ (standart sapma) hesaplanır, ardından her aktivasyon normalize edilir ve öğrenilebilir parametreler γ (gain) ile β (bias) ile yeniden ölçeklenir. Formül: ŷ = γ × (x − μ) / √(σ² + ε) + β. Burada ε sıfıra bölmeyi önleyen küçük bir sabittir. Batch Normalization (BN) mini-batch içindeki tüm örneklere bakarak istatistik hesaplarken, Layer Normalization yalnızca tek örneğin kendi özellik boyutuna bakar. Bu fark, BN'nin değişken uzunluklu dizilerle ve batch size=1 senaryolarında yetersiz kalmasına yol açar; LN bu sınırlamaları aşar ve Tekrarlayan Sinir Ağları (RNN) ile Transformer mimarileri için doğal seçim haline gelir. Modern büyük dil modellerinde iki yerleşim biçimi bulunur. Orijinal Transformer (Vaswani ve ark., 2017) her alt katmanın (dikkat + FFN) çıktısından sonra LN uygular; buna Post-LN denir. GPT-3, LLaMA ve çoğu modern LLM ise her alt katmanın girişine LN uygular (Pre-LN). Pre-LN, gradyan akışını daha kararlı kılar ve genellikle daha kolay eğitilir. RMSNorm, Layer Norm'un hesaplama maliyetini azaltmak için önerilmiş bir varyantıdır. Ortalama çıkarma (mean subtraction) adımını atlayarak yalnızca karekök ortalama karesiyle (RMS) normalleştirir. LLaMA 2/3 ve Mistral gibi modeller RMSNorm'u tercih eder çünkü GPT düzeyinde kaliteyi daha az işlemle elde eder. Layer Normalization, eğitim sırasında model aktivasyonlarını ölçek ve kayma bağımsız hale getirerek öğrenme hızı seçimini daha az kritik kılar ve farklı boyutlardaki modeller arasında transferi kolaylaştırır.
Liquid Neural Network Nedir? (Sıvı Sinir Ağları)
Liquid Neural Network (Sıvı Sinir Ağı), MIT CSAIL araştırmacıları tarafından 2020 yılında geliştirilen ve klasik derin öğrenme modellerinden temelden farklı biçimde çalışan bir sinir ağı mimarisidir. Ağın adındaki 'sıvı' metaforu, ağırlıkların sabit kalması yerine gelen girdilere bağlı olarak sürekli değişmesine—yani akışkan biçimde uyum sağlamasına—gönderme yapar. Klasik LSTM veya GRU gibi tekrarlayan sinir ağları sabit ağırlıklarla çalışırken Liquid Neural Network'ler, sürekli zamanlı diferansiyel denklem sistemleri (Continuous-Time RNN) kullanarak her zaman adımında ağın dinamiğini günceller. Bu yaklaşım, çok daha az sayıda nöronla daha zengin temsil kapasitesi ve daha iyi genelleme olanağı sağlar. Architecture'ın ilham kaynağı, yalnızca 302 nörona sahip C. elegans solucanının sinir sistemidir. Bu minimalist yapı, karmaşık sensorimotör davranışları üretebilmektedir. Ramin Hasani ve Mathias Lechner başta olmak üzere MIT ekibi, bu solucanı nöral diferansiyel denklem modeliyle taklit ederek Liquid Time-Constant (LTC) hücresi adı verilen temel yapı taşını ortaya koydu. Uygulama alanlarında özellikle zaman serisi verisi, otonom araç kontrolü ve robotik senaryolar öne çıkar. Araştırmalar, modelin titreşimli ve gürültülü ortamlarda standart derin öğrenme modellerine kıyasla daha gürbüz ve yorumlanabilir sonuçlar verdiğini göstermektedir. Düşük parametre sayısı, sıkıştırılmış modellere olan ihtiyacı azaltarak sınırlı kaynaklara sahip kenar cihazlarda büyük avantaj yaratır.
Mixture of Experts Routing Nedir? MoE Yönlendirme Mekanizması (MoE Yönlendirme)
Mixture of Experts (MoE) routing, modern büyük dil modellerinde her transformer katmanının feed-forward bloğunu birden fazla "uzman" alt ağa bölen ve her gelen token için yalnızca belirli uzmanları etkinleştiren bir yönlendirme mekanizmasıdır. 2017 yılında Shazeer ve arkadaşları tarafından "Outrageously Large Neural Networks" makalesiyle transformer mimarisine entegre edilen bu yaklaşım, GPT-4, Mixtral, DeepSeek ve Gemini gibi önde gelen modellerin temel mimarisi hâline gelmiştir. Geleneksel dense transformer mimarilerinde her token, modelin tüm parametrelerinden geçer; bu durum ölçeklendirme maliyetini parametrelerle orantılı biçimde artırır. MoE mimarisinde ise öğrenilebilir bir yönlendirici (router) ağı, her token için uzmanlar arası bir ağırlık vektörü hesaplar; ardından en yüksek ağırlıklı K uzmanı seçer ve hesaplamayı yalnızca bu uzmanlara yönlendirir. Geri kalan uzmanlar o token için hiç etkinleştirilmez. Böylece toplam parametre sayısı büyük kalırken token başına hesaplama maliyeti sabit tutulur; bu özellik MoE'yi "sparse" (seyrek) mimari olarak da tanımlar. MoE routing'in en önemli pratik sorunu "router collapse"dır: yeterli düzenleme eklenmediğinde router tüm tokenleri yalnızca 1-2 uzmana yönlendirmeye başlar ve geri kalan uzmanlar boşta kalır. Bu sorunu önlemek için eğitim kaybına yük dengeleme kaybı (auxiliary load balancing loss) eklenir. DeepSeek-V3, bu sorunu ek kayıp yerine dinamik bias ayarıyla çözen farklı bir yaklaşım benimsemiştir. Routing iki ana paradigmada gerçekleşir. Token-Choice routing'de her token hangi uzmanı tercih ettiğini seçer; Expert-Choice routing'de ise her uzman belirli tokenleri kendisi alır. İkinci yöntem doğal yük dengesi barındırmakla birlikte bazı tokenlerin hiçbir uzman tarafından seçilmeme riskini beraberinde getirir. 2024-2025 döneminde MoE mimarisi çarpıcı verimlilik göstermiştir: Mixtral 8x7B, 8 uzmanı arasından 2'sini seçerek yaklaşık 47B toplam parametreyle yalnızca 13B aktif parametre kullanır. DeepSeek-V3 ise 256 uzman arasından 8'ini aktive ederek eğitim maliyetini belirgin biçimde azaltmış ve rekabetçi performans elde etmiştir. Bu nedenle MoE, ölçeklenebilir yapay zeka araştırmalarının temel odak noktalarından biri olmayı sürdürmektedir.
MLP (Çok Katmanlı Algılayıcı)
MLP (Multilayer Perceptron — Çok Katmanlı Algılayıcı), en az bir gizli katman içeren ileri beslemeli (feedforward) yapay sinir ağıdır. 1958'de Frank Rosenblatt tarafından tasarlanan tek katmanlı algılayıcı yalnızca doğrusal ayrılabilir verileri sınıflandırabilirken, gizli katmanların eklenmesiyle MLP; XOR problemi dahil karmaşık, doğrusal olmayan örüntüleri öğrenme kapasitesi kazandı. MLP üç ana bileşenden oluşur. Giriş katmanı ham veriyi ağa iletir; herhangi bir hesaplama yapmaz. Bir veya daha fazla gizli katman, önceki katmanın tüm nöronlarına tam bağlı (fully connected) nöronlar barındırır ve gerçek öğrenme burada gerçekleşir. Çıkış katmanı ise sınıflandırma problemlerinde sınıf sayısı kadar, regresyon problemlerinde genellikle tek nöronlu sonuç üretir. Her nöron şu işlemi uygular: girdilerin ağırlıklı toplamını hesaplar, bir sapma (bias) değeri ekler ve doğrusal olmayan bir aktivasyon fonksiyonundan (ReLU, Sigmoid ya da Tanh) geçirir. Doğrusal olmayan aktivasyon olmadan çok katmanlı bir ağ, matematiksel olarak tek katmanlı bir ağa indirgenirdi ve karmaşık örüntüleri öğrenemezdi. MLP'yi pratik hale getiren atılım, Rumelhart, Hinton ve Williams'ın 1986'da Nature dergisinde yayımladığı geri yayılım (backpropagation) algoritmasıdır. Algoritma, çıkış hatasını zincir kuralıyla katman katman geri yayarak her ağırlığın kayba olan katkısını hesaplar; ardından optimizör (genellikle SGD veya Adam) bu gradyanlarla ağırlıkları günceller. Bu döngü on binlerce kez tekrarlanarak model adım adım öğrenir. Evrişimsel Sinir Ağları (CNN) paylaşımlı ağırlıklarla görüntü verisini çok daha verimli işlerken, MLP'nin tam bağlantılı yapısı uzamsal ilişkileri doğal olarak yakalayamaz. Tekrarlayan Sinir Ağları (RNN) metin ve zaman serisi gibi ardışık veriler için gizli bir durum taşırken, MLP sabit boyutlu girdi üzerinde çalışır. 2021'de Google Brain'in tanıttığı MLP-Mixer mimarisi, öz-dikkat (self-attention) mekanizması yerine yalnızca MLP katmanlarıyla Vision Transformer'larla rekabetçi görüntü sınıflandırma sonuçları elde etti. Bu, doğru tasarımla saf MLP'lerin de güçlü görevler üstlenebileceğini kanıtladı. Günümüzde tablo verisi, özellik çıkarımı sonrası sınıflandırma ve büyük modellerin dahili bileşeni olarak MLP aktif kullanımını sürdürmektedir.
Multi-Head Attention (Çok Başlı Dikkat Mekanizması)
Çok başlı dikkat mekanizması (Multi-Head Attention), transformer modellerinin giriş dizisine aynı anda birden fazla farklı bakış açısından odaklanmasını sağlayan temel bir sinir ağı bileşenidir. 2017 yılında Google'ın "Attention is All You Need" makalesiyle tanıtılan bu mekanizma, modern büyük dil modellerinin (LLM) temel yapı taşını oluşturur. Klasik tek başlı dikkat mekanizması, bir cümledeki her token için yalnızca tek bir ilişki türünü yakalayabilirken, çok başlı dikkat h adet bağımsız "dikkat kafasını" paralel olarak çalıştırır. Her kafa, giriş gömme vektörünü üç farklı matrise dönüştürür: Sorgu (Q), Anahtar (K) ve Değer (V). Sorgu vektörü "ne arıyorum?" sorusunu, Anahtar vektörü "ne sunuyorum?" sorusunu, Değer vektörü ise "ilgili bilgi nedir?" sorusunu temsil eder. Her kafanın dikkat skoru, ölçeklenmiş nokta çarpımı formülüyle hesaplanır: softmax(QKᵀ / √d_k) × V. Buradaki √d_k ölçekleme faktörü, büyük iç çarpımların softmax'ı aşırı keskinleştirip gradyanların sıfıra yaklaşmasını önler. Her kafa, toplam model boyutunun (d_model) h'e bölünmesiyle elde edilen daha küçük bir alt uzayda çalışır; böylece toplam hesaplama maliyeti tek başlı dikkatle karşılaştırılabilir düzeyde kalır. Farklı kafalar farklı ilişki türlerini öğrenir: bir kafa sözdizimsel yapıyı, bir diğeri anlamsal benzerlikleri, bir üçüncüsü uzun menzilli bağımlılıkları yakalayabilir. Tüm kafalara ait çıktılar birleştirilerek tek bir doğrusal dönüşümden geçirilir ve modelin zengin, çok boyutlu bir bağlam temsili oluşturması sağlanır. Gerçek dünya modellerinde kafa sayısı büyük farklılıklar gösterir: BERT-Base her katmanda 12, GPT-3 ise 96 kafa kullanır. Araştırmalar, bazı kafaların eğitim sırasında belirli dilsel işlevlere uzmanlaştığını göstermektedir. Vision Transformer (ViT) gibi görsel modeller de aynı mekanizmayı görüntü yamalarına uygulayarak mekânsal ilişkileri öğrenir. GPT, LLaMA, Mistral, Gemma ve Claude gibi tüm modern modeller bu temel mekanizmaya dayanır.
Neural Network (Yapay Sinir Ağı)
Yapay sinir ağı (İngilizce adıyla neural network, kısaltmasıyla ANN yani Artificial Neural Network), insan beynindeki biyolojik nöronların birbirleriyle bilgi alışverişi yapma şeklinden ilham alınarak tasarlanmış bir makine öğrenimi modelidir. Veriler, ağın içinde birbirine bağlı yapay nöronlar (düğümler) üzerinden geçerken ağırlıklı toplamlar ve aktivasyon fonksiyonları gibi matematiksel işlemlere tabi tutulur; ağ, eğitim sırasında bu ağırlıkları güncelleyerek verideki örüntüleri kendi kendine öğrenir. Bu mimari, derin öğrenmenin (deep learning) yapıtaşıdır: görüntü tanımadan ses sentezine, makine çevirisinden ChatGPT gibi büyük dil modellerine kadar modern yapay zekanın neredeyse tüm yetenekleri sinir ağlarına dayanır. ANN'in geleneksel programlamadan temel farkı, kuralların insan tarafından yazılmaması, örneklerden çıkarılmasıdır. Klasik bir algoritmada "kediyi tanıma" kuralını satır satır kodlamanız gerekirken, bir sinir ağına binlerce kedi fotoğrafı gösterirsiniz; ağ, kenar, doku ve şekil gibi özellikleri katman katman kendisi keşfeder. Bu yaklaşım, elle kural yazmanın pratikte imkansız olduğu karmaşık problemlerde (yüz tanıma, konuşma anlama, protein yapısı tahmini) sinir ağlarını vazgeçilmez kılar. Pratikte sinir ağlarıyla en çok üç mimari ailesi üzerinden karşılaşılır: görüntü işleyen CNN'ler, sıralı verileri işleyen RNN'ler ve modern dil modellerinin temelini oluşturan Transformer'lar. Kavramın kökü 1943'teki McCulloch-Pitts nöron modeline ve 1958'deki Perceptron'a kadar uzanır; büyük veri ile GPU gücünün buluştuğu 2010'lu yıllarda ise derin sinir ağları alanın merkezine yerleşti ve o günden bu yana yapay zekadaki ilerlemenin ana motoru oldu.
Neural ODE (Nöral Adi Diferansiyel Denklem)
Neural ODE (Nöral Adi Diferansiyel Denklem), derin öğrenme modellerindeki gizli durumun (hidden state) değişimini ayrık katman geçişleri yerine sürekli bir diferansiyel denklemle tanımlayan yapay sinir ağı mimarisidir. Geleneksel derin ağlarda gizli durum h_{l+1} = h_l + f(h_l) biçiminde ayrık adımlarla güncellenir — bu yapı, Euler yöntemiyle çözülen bir ODE'nin ayrık yaklaşımına karşılık gelir. Neural ODE ise bu ayrık yapıyı dh/dt = f(h(t), t, θ) denklemiyle süreklilik boyutuna taşır ve çıkışı bir ODE çözücüsü (örn. Dormand–Prince, Runge-Kutta) yardımıyla hesaplar. 2018 NeurIPS konferansında Ricky T. Q. Chen, Yulia Rubanova, Jesse Bettencourt ve David Duvenaud tarafından tanıtılan bu mimari üç temel avantaj sunar. Birincisi bellek verimliliğidir: geri yayılım için adjoint (eşlenik) yöntemi kullanılır, bellek maliyeti katman sayısından bağımsız O(1) olarak kalır; geleneksel geri yayılımda bu maliyet katman sayısıyla doğrusal büyür. İkincisi uyarlanabilir derinliktir: ODE çözücüsü hata toleransına göre gereken kadar fonksiyon değerlendirmesi yapar, basit girdiler için daha az, karmaşık dinamikler için daha fazla hesaplama harcar. Üçüncüsü düzensiz örneklenmiş veriler için doğal uyumluluktur: klasik LSTM ve GRU gibi modeller eşit zaman aralığı varsayımına dayanırken Neural ODE herhangi bir t değerinde çözüme erişebildiğinden tıbbi sensör verisi, finans ve astrofizik gibi alanlarda doğrudan uygulanabilir. Öne çıkan varyantlar arasında hastalık ilerlemesini modelleyen Latent ODE ve yüksek boyutlu yoğunluk tahmini için ODE çerçevesini kullanan Sürekli Normalleştirici Akışlar (CNF) sayılabilir. Temel pratik kısıt, ODE çözücünün her ileri geçişte birden fazla ağ değerlendirmesi gerektirmesi ve sert (stiff) diferansiyel denklemlerin çözücü adımını büyük ölçüde artırabilmesidir. Bu nedenle hız öncelikli sistemlerde hâlâ ResNet ve Transformer mimarileri tercih edilmekte; Neural ODE ise fizik bilgili öğrenme, robotik ve biyomedikal veri analizi gibi niş ama önemli alanlarda güçlü bir araç olarak konumlanmaktadır.
Parameters (Parametreler)
Parametreler (parameters), makine öğrenmesi ve derin öğrenme modellerinde eğitim süreci boyunca optimizasyon algoritmaları tarafından güncellenen öğrenilebilir değerlerdir. Sinir ağlarında ağırlıklar (weights) ve biaslar (biases) en temel parametre türleridir; bu değerler, modelin girdiden çıktıya olan dönüşümü nasıl gerçekleştireceğini belirler. Model parametrelerinin sayısı, bir modelin kapasitesini ve ifade gücünü doğrudan etkiler. GPT-2 yaklaşık 117 milyon, GPT-3 ise 175 milyar parametreden oluşur; bu fark, modellerin dil anlama ve üretme kapasitelerindeki büyük uçurumu açıklar. Ancak parametre sayısı tek başına performansı garanti etmez; veri kalitesi, mimari tasarım ve eğitim stratejisi de kritik rol oynar. Parametreler, hiperparametrelerden farklıdır. Hiperparametreler (öğrenme hızı, batch boyutu, katman sayısı) eğitim öncesinde tasarımcı tarafından belirlenir ve eğitim sürecinde değişmez. Parametreler ise geri yayılım (backpropagation) algoritmasıyla her eğitim adımında güncellenir. Model büyüklüğünü ölçmek için kullanılan parametre sayısı, hesaplama maliyetini ve bellek gereksinimini de doğrudan etkiler. 7 milyar parametreli bir modelin tam hassasiyetle (FP32) yüklenmesi yaklaşık 28 GB bellek gerektirir; kuantizasyon teknikleri (INT8, INT4) büyük modelleri tüketici donanımında kullanılabilir kılmak için kritik önem taşır. Aktivasyon fonksiyonları, katman normalizasyonları ve dikkat mekanizmalarının ağırlıkları da birer parametredir. Transformer mimarilerinde dikkat başlıklarının sorgu, anahtar ve değer matrislerindeki ağırlıklar, modelin hangi bağlamsal bilgilere odaklanacağını öğrenir. Fine-tuning sırasında yalnızca belirli katmanların parametrelerini güncellemek (LoRA, prefix tuning gibi PEFT yöntemleri) hesaplama maliyetini dramatik biçimde düşürebilir; bu yaklaşımda modelin geri kalan parametreleri dondurulur (frozen) ve yalnızca küçük bir adaptasyon matrisi eğitilir. Parametre paylaşımı (parameter sharing), özellikle evrişimli sinir ağlarında (CNN) hafıza kullanımını azaltmak için başvurulan bir tekniktir; aynı filtre ağırlıkları görüntünün farklı bölgelerinde uygulanır. Mixture-of-Experts (MoE) mimarilerinde toplam parametre sayısı çok büyük olsa da her çıkarım adımında yalnızca küçük bir alt küme (uzman) aktif hâle gelir; bu yaklaşım hesaplama verimliliğini artırır. Örneğin Mixtral 8x7B modeli 46 milyar toplam parametreye sahip olsa da aktif parametre sayısı yalnızca 12 milyardır.
Positional Encoding (Konum Kodlama (Positional Encoding))
Konum Kodlama (Positional Encoding), Transformer mimarisinin temel bileşenlerinden biridir. Geleneksel Tekrarlayan Sinir Ağları (RNN) ve LSTM modelleri token'ları sırayla işleyerek doğal olarak konum bilgisini korur; Transformer modelleri ise tüm token'ları aynı anda paralel biçimde işler. Bu yaklaşım hesapsal açıdan büyük bir avantaj sunarken, modelin dizideki sıra bilgisini doğrudan elde edememesi anlamına gelir. Konum kodlama bu sorunu çözer: her token'ın öğrenilmiş embedding vektörüne, o token'ın dizideki konumunu temsil eden sayısal bir vektör eklenir. Örneğin "Kedi fareyi kovaladı" cümlesinde "kedi" kelimesi 1. konumda, "fareyi" 2. konumda yer alır; bu iki konumun farklı konum vektörleri sayesinde model sözcüklerin sıralamasını anlayabilir. Sinüzoidal Konum Kodlama, orijinal "Attention Is All You Need" makalesinde (Vaswani ve diğerleri, 2017) kullanılmış yöntemdir. Bu yaklaşımda her konum için sinüs ve kosinüs fonksiyonları hesaplanır: PE(pos, 2i) = sin(pos / 10000^(2i/d)) ve PE(pos, 2i+1) = cos(pos / 10000^(2i/d)). Farklı frekanstaki dalgalar sayesinde her konum benzersiz bir imzaya sahip olur; bu vektörler öğrenilmez, eğitim sırasında sabit kalır. BERT ve GPT-2 gibi modeller, konum bilgisini eğitim sırasında veri üzerinden öğrenir. Bu öğrenilmiş konum gömmeleri daha esnek bir yapı sunmakla birlikte eğitimde görülmemiş dizi uzunluklarına genelleme yapmakta zorlanabilir. RoPE (Rotary Position Embedding), LLaMA, Mistral, Gemma ve Qwen ailesi gibi modern dil modellerinin büyük çoğunluğunun tercih ettiği bir yöntemdir. RoPE, konum bilgisini döndürme matrisleri aracılığıyla dikkat mekanizmasına doğrudan entegre eder. Hem mutlak hem göreli konum bilgisini etkin biçimde kodlar; uzun bağlam uzunluklarına genelleme konusunda önceki yöntemlere kıyasla belirgin üstünlük gösterir. ALiBi (Attention with Linear Biases) ise dikkat puanlarına konum farkına dayalı doğrusal bir ceza ekler. Bu tasarım, modeli eğitimde hiç görmediği dizi uzunluklarına genellemeye yardımcı olur ve bellek açısından verimli bir çözüm sunar. Konum kodlamasının seçimi modelin bağlam penceresi boyutunu, çok dilli performansını ve hesapsal verimini doğrudan etkiler. Bu nedenle büyük dil modeli araştırmalarında, özellikle uzun bağlam penceresi geliştirme çalışmalarında, aktif olarak araştırılan bir alan olmayı sürdürmektedir.
Regularization (Düzenlileştirme)
Düzenlileştirme (Regularization), makine öğrenimi modellerinin eğitim verisine aşırı uyum sağlaması (overfitting) problemini önlemek için kayıp fonksiyonuna ek bir ceza terimi ekleyen teknikler ailesidir. Temel amaç, modelin eğitim setini ezberlemek yerine görülmemiş verilere genelleştirme kapasitesini artırmaktır. Aşırı öğrenme (overfitting), bir modelin eğitim verilerindeki gürültüyü ve ayrıntıları kapasitesi sayesinde öğrenmesi ama yeni veriye uygulandığında başarısız olması durumudur. Düzenlileştirme bu sorunu ağırlık değerlerini küçük tutmaya zorlayarak çözer: büyük ağırlıklar modelin tek veri noktalarına aşırı duyarlı olduğuna işaret eder; ceza terimi bu değerleri sıfıra yakın tutarak daha düz ve genelleşebilir bir karar sınırı öğretir. **L2 Düzenlileştirme (Ridge / Ağırlık Sönümlemesi)** en yaygın yöntemdir. Kayıp fonksiyonuna tüm ağırlıkların karelerinin toplamı λΣw² eklenir. Bu formülasyon büyük ağırlıkları cezalandırır ama hiçbirini tam sıfıra indirgemez; sonuç olarak tüm özellikler modelde küçük de olsa katkıda bulunur. Deep learning'de "weight decay" olarak da anılır ve PyTorch optimizer'larında `weight_decay` parametresiyle doğrudan kullanılır. **L1 Düzenlileştirme (Lasso)**, λΣ|w| ceza terimiyle bazı ağırlıkları tam sıfıra iter; bu sayede otomatik özellik seçimi gerçekleşir. Yüzlerce özellik içinden yalnızca birkaç kritik birinin önemli olduğu durumlar için idealdir. L1 ile L2'yi birleştiren Elastic Net, her iki avantajdan yararlanır. **Dropout**, derin sinir ağlarına özgü güçlü bir düzenlileştirme yöntemidir: eğitim sırasında her adımda nöronların rastgele bir oranı (ör. %20-50) devre dışı bırakılır. Model, belirli nöronlara güvenemeyeceği için farklı yollarla aynı sonuca ulaşmayı öğrenir; bu da ansambl etkisi yaratır. Çıkarım sırasında tüm nöronlar etkin olur ve ağırlıklar bırakma oranıyla ölçeklenir. **Erken Durdurma (Early Stopping)**, doğrulama kaybı artmaya başladığı noktada eğitimi kesen örtük bir düzenlileştirme yöntemidir. Model henüz eğitim setini ezberlemeye geçmeden öğrenme durdurulur. Uygulamada λ hiperparametresi kademeli grid search veya Bayesian optimizasyonla ayarlanır; çok büyük λ modeli yetersiz öğrenmeye (underfitting) iter.
ReLU (Doğrultulmuş Doğrusal Birim)
ReLU, yapay sinir ağlarında nöronların çıktısını belirleyen bir aktivasyon fonksiyonudur. Formülü basittir: girdi sıfırdan büyükse olduğu gibi geçer, sıfır veya altındaysa sıfır döner. Bu basitlik, derin ağlarda on yıl boyunca hâkim olan sigmoid ve tanh fonksiyonlarının yerini almasının asıl nedenidir. Sigmoid ve tanh, girdi değerleri çok büyüdüğünde ya da çok küçüldüğünde gradyanları neredeyse sıfıra yaklaştırır. Geri yayılım sırasında bu küçük gradyanlar katman katman çarpılır; on, yirmi katmanlı bir ağda en baştaki katmanlara ulaşan gradyan fiilen yokolur. Ağırlıklar güncellenemez, ağ öğrenemez. Bu soruna kaybolan gradyan problemi denir ve 1990'larda derin ağ araştırmalarının önündeki en büyük engellerden biriydi. ReLU bu problemi doğrudan çözer. Pozitif girdiler için gradyan her zaman 1'dir; çarpma işlemi değeri küçültmez. Bunun yanı sıra üs veya üstel fonksiyon gerektirmediğinden hesaplaması sigmoid ve tanh'a göre çok daha hızlıdır. GPU'larda paralel işlem yapıldığında bu fark büyük ağlarda ciddi zaman tasarrufuna dönüşür. Pratikteki etkisi 2012 AlexNet modeliyle belgelenmiştir. Krizhevsky ve ekibi, aynı mimaride sigmoid yerine ReLU kullanarak eğitim süresini altıda bire indirmiştir. O tarihten bu yana derin öğrenmede gizli katman aktivasyonu denildiğinde varsayılan seçenek ReLU olmuştur. Ancak ReLU kusursuz değildir. Negatif girdi alan nöronlar sürekli sıfır çıktısı üretir ve gradyanları sıfır olduğundan bir daha güncellenemezler. Buna ölü ReLU problemi denir. Yüksek öğrenme hızı kullanıldığında veya ağırlıklar olumsuz başlatıldığında ağdaki nöronların önemli bir kısmı bu duruma düşebilir. Bu soruna karşı geliştirilen varyantlar mevcuttur: Leaky ReLU negatif girdiler için küçük bir eğim (genellikle 0,01) kullanır. PReLU bu eğimi öğrenilebilir bir parametre haline getirir. ELU negatif bölgede üstel bir eğri kullanarak ortalama aktivasyonu sıfıra yaklaştırır. GELU ise girdiyi bir olasılık ağırlığıyla çarpar ve özellikle dil modellerinde (BERT, GPT) tercih edilir. ReLU bugün evrişimli sinir ağlarında, derin tam bağlantılı ağlarda ve görüntü sınıflandırma modellerinin büyük çoğunluğunda gizli katman aktivasyonu olarak kullanılmaktadır.
Reservoir Computing (Rezervuar Hesaplama)
Reservoir Computing (Rezervuar Hesaplama), tekrarlayan sinir ağlarının (RNN) eğitilmesindeki klasik güçlükleri aşmak için tasarlanmış bir hesaplama çerçevesidir. Yöntemin özü şudur: büyük, karmaşık ve rastgele bağlantılı bir "rezervuar" ağının ağırlıkları sabittir ve hiç güncellenmez; yalnızca çıkış katmanı (readout) eğitilir. Bu yaklaşım, geri yayılım boyunca zamanla çoğalan gradyan sorunlarını (vanishing/exploding gradient) tamamen ortadan kaldırır ve eğitimi basit bir doğrusal regresyon problemine indirger. Reservoir Computing'in iki temel mimarisi vardır. 2001 yılında Herbert Jäger tarafından geliştirilen Echo State Network (ESN), seyrek bağlantılı ve rastgele ağırlıklı tekrarlayan bir ağdan oluşur; girdi sinyali bu ağı sürer, ağın zengin iç durumları zaman içindeki dinamikleri yüksek boyutlu bir uzayda kodlar. 2002'de Wolfgang Maass ve ekibi tarafından önerilen Liquid State Machine (LSM) ise biyolojik sinir ağlarından ilham alarak spiking (çekirdek ateşlemeli) nöronları kullanan karşılaştırılabilir bir yaklaşımdır. Bir rezervuarın en kritik hiperparametresi spektral yarıçaptır: ağırlık matrisinin en büyük özdeğerinin mutlak değeri. Bu değer 1'den küçük olduğunda sistem 'echo state property'ye sahip olur; yani geçmiş girdilerin etkisi zaman içinde sönümlenir ve sistem kararlı kalır. Tipik değerler 0,9–0,99 arasındadır. Spektral yarıçap 1'i aşarsa sistem kaostan kaçamaz; çok küçük olursa geçmiş bilgiyi koruyamaz. Uygulama alanları geniştir: Lorenz attraktörü gibi kaotik sistem tahmini, zaman serisi öngörüsü, finansal veri modelleme, konuşma tanıma, robotik motor kontrolü ve biyomedikal sinyal işleme. Son yıllarda fotonik, optik ve kuantum ortamlarında gerçekleştirilen fiziksel rezervuar hesaplama, son derece düşük enerji tüketimiyle donanım seviyesinde gerçek zamanlı hesaplama olanağı sunmaktadır.
Residual Attention Ağı Nedir? (Artıksal Dikkat Ağı)
Residual Attention Ağı (Residual Attention Network — RAN), Fei Wang ve ekibinin CVPR 2017'de tanıttığı, ResNet'in artıksal öğrenme prensibiyle dikkat mekanizmasını harmanlayan bir evrişimli sinir ağı mimarisidir. Temel fikir, her dikkat modülünü iki paralel dalla çalıştırmaktır: özellik dönüşümü gerçekleştiren trunk branch ile bu özellikler üzerinde yumuşak uzamsal dikkat maskeleri üreten mask branch. Trunk branch standart evrişimsel katmanlardan oluşurken mask branch encoder-decoder yapısına sahiptir. Max-pooling ile özellik haritası aşamalı olarak küçültülür (downsampling); ardından bilinear üst örnekleme (upsampling) ile orijinal çözünürlüğe geri döner. Mask branch çıktısı sigmoid aktivasyonuyla [0,1] aralığına sıkıştırılarak yumuşak maske oluşturulur. Bu maske trunk çıktısıyla eleman çarpımı (element-wise multiplication) uygulanır: yüksek dikkat değeri taşıyan bölgeler güçlendirilirken düşük değerli gürültülü ya da alakasız bölgeler baskılanır. Artıksal bağlantı bu noktada kritik rol üstlenir: dikkat çıktısına orijinal trunk özelliği eklenir (H = F × M + F; burada F trunk özelliği, M ise maske). Bu formülasyon maskenin sıfıra yaklaştığı durumda bile ham trunk sinyalinin korunmasını güvence altına alır; dolayısıyla dikkat modülleri ağı degrade etmeden katman derinliği arttıkça birikimli dikkat öğrenilmesine izin verir. Orijinal çalışmada dikkat modülleri üç uzamsal çözünürlük aşamasında bağımsız olarak öğrenilir. Başarım açısından CIFAR-10'da %3.90, CIFAR-100'de %20.45 ve ImageNet Top-5 sınıflandırmasında %4.8 hata oranı elde edilerek dönemin referans sonuçlarının üzerine çıkılmıştır. Mimari etki açısından RAN, CBAM (Convolutional Block Attention Module, ECCV 2018), BAM (Bottleneck Attention Module) ve kanal dikkatini uzamsal dikkatle birleştiren birçok türev çalışmaya ilham vermiştir. Modern nesne tespiti mimarileri (YOLO serileri), U-Net türevi medikal görüntü segmentasyonu modelleri ve uydu görüntü işleme uygulamaları dikkat kapıları (attention gating) mekanizmasını doğrudan bu çalışmanın çizgisinden devşirmiştir. Türkiye'deki bilgisayarlı görü araştırma grupları patoloji görüntüsü analizi ve uzaktan algılama problemlerinde artıksal dikkat mimarilerini referans almaktadır.
Residual Network (ResNet) (Artık Ağ (ResNet))
Residual Network (ResNet), derin sinir ağlarındaki gradyan kaybı problemini atlama bağlantıları (skip connections) ile çözen ve yüzlerce katmanlı ağların eğitimini mümkün kılan derin öğrenme mimarisidir. 2015 yılında Kaiming He, Xiangyu Zhang, Shaoqing Ren ve Jian Sun tarafından Microsoft Research'te geliştirildi; "Deep Residual Learning for Image Recognition" makalesi 250 binden fazla atıfla derin öğrenme tarihinin en çok referans verilen çalışmalarından biridir. ResNet-152, ILSVRC 2015 (ImageNet) yarışmasını yüzde 3,57 top-5 hata oranıyla kazandı ve insan seviyesi kabul edilen yüzde 5 sınırının altına indi. ResNet'ten önce ağ derinleştikçe doğruluk artacağına düşüyordu: 56 katmanlı düz bir ağ, 20 katmanlı olandan hem eğitim hem test setinde daha kötü sonuç veriyordu. Bu bozunma (degradation) sorununun kaynağı, geri yayılım sırasında hata sinyalinin katmanlar boyunca üstel olarak küçülmesi, yani gradyan kaybıydı. ResNet'in temel fikri artık öğrenmedir (residual learning). Klasik bir katman hedef dönüşüm H(x)'i doğrudan öğrenmeye çalışır; ResNet bloğu ise yalnızca artığı, F(x) = H(x) − x farkını öğrenir ve çıktıyı F(x) + x toplamıyla üretir. Eklenen kimlik kısayolu (identity shortcut) ek parametre getirmez, gradyanın alt katmanlara engelsiz akmasına izin verir ve bir katmanın işlevsiz kalması gerektiğinde F(x)'in sıfıra itilmesini yeterli kılar. Varyantlar katman sayısıyla anılır: ResNet-18, 34, 50, 101 ve 152. ResNet-50'den itibaren 1×1 → 3×3 → 1×1 konvolüsyonlu bottleneck bloklar hesap yükünü düşürür; ResNet-50 yaklaşık 25,6 milyon parametre ve 4,1 GFLOP ile hız-doğruluk dengesinin endüstri standardı olmuştur. Artık bağlantı fikri bilgisayarla görmenin ötesine taştı: Transformer mimarisinin her katmanı, dolayısıyla GPT-5, Claude Opus 4.5 ve Gemini 3 gibi 2026'nın büyük dil modelleri aynı prensiple çalışan bir residual stream üzerine kuruludur. Nesne tespiti (Faster R-CNN, YOLO ailesi), anlamsal bölütleme, tıbbi görüntü analizi ve uydu görüntüsü işleme alanlarında ResNet omurgaları hâlâ referans modeldir.
Siamese Network (Siyam Ağı)
Siyam Ağı (Siamese Network), ağırlık paylaşan iki veya daha fazla özdeş alt ağ (branch) kullanarak girdi çiftleri ya da üçlüleri arasındaki benzerliği öğrenen derin öğrenme mimarisidir. Adını 19. yüzyılda ünlü ikiz Chang ve Eng Bunker'dan alan bu mimari, paralel dalların aynı parametre setini paylaşması nedeniyle farklı girdileri tutarlı bir gömülü uzay (embedding space) içine eşler: benzer öğeler bu uzayda birbirine yakın, farklı öğeler ise uzak noktalara yerleşir. Temel çalışma ilkesi şöyledir: iki girdi (örneğin iki yüz fotoğrafı) tamamen özdeş ağırlıklara sahip iki daldan geçerek birer özellik vektörüne dönüştürülür; ardından bu vektörler arasındaki Öklid ya da kosinüs mesafesi bir kayıp fonksiyonuyla optimize edilir. Yaygın kayıp fonksiyonları contrastive loss (benzer çiftlerin mesafesini küçültür, farklı çiftlerin mesafesini artırır) ve triplet loss'tur (bir "çapa" örneğin benzerine yakın, farklısına ise uzak kalması için cezalandırılır). Mimari ilk kez 1994'te Bromley ve arkadaşları tarafından el yazısı imza doğrulama için önerildi. Koch et al. (2015), bunu one-shot görüntü tanımaya uyarladı. Google'ın FaceNet modeli (Schroff et al., 2015), triplet loss ile eğitilmiş siyam benzeri mimarisini yüz tanımada insan performansını aşan sonuçlara ulaşmak için kullandı. Siyam ağları; yüz tanıma, biyometrik kimlik doğrulama, el yazısı ve imza doğrulama, görüntü benzerliği arama, belge eşleştirme ve tıbbi görüntü analizi gibi alanlarda özellikle değerlidir. Sınıf başına yalnızca birkaç eğitim örneği mevcutken bile çalışabildiğinden one-shot ve few-shot öğrenme senaryolarının tercih edilen mimarisidir. PyTorch ve TensorFlow'da paylaşımlı katman (shared weights) mekanizmasıyla kolayca uygulanır. Türkiye'de e-devlet biyometrik sistemleri, bankacılıkta imza doğrulama ve güvenlik kamerası tabanlı erişim kontrolünde siyam ağı temelli modeller aktif biçimde kullanılmaktadır.
Skip Connection Nedir? Atlama Bağlantısı ve Derin Öğrenme (Atlama Bağlantısı)
Skip connection (atlama bağlantısı), derin sinir ağı mimarilerinde bir katmanın girdisinin bir veya daha fazla katman atlanarak ileriki bir katmana doğrudan iletilmesi tekniğidir. 2015 yılında Microsoft Research ekibinin ResNet (Residual Network) mimarisinde popüler hale getirdiği bu yapı, derin öğrenme tarihinin en etkili mimari yeniliklerinden biri olarak kabul edilmektedir. Derin sinir ağlarının temel sorunu, gradyan kaybı (vanishing gradient) problemidir: geri yayılım (backpropagation) sırasında hata sinyali katmanlar boyunca üstel biçimde küçülerek iletilir ve en alt katmanlar öğrenme sürecinden yetersiz yararlanır. 2015 öncesinde 20-30 katmanı aşan ağlar pratikte eğitilemiyordu. Skip connection bu sorunu köklü biçimde çözer. Mathematiksel olarak bir skip connection bloğu şu şekilde ifade edilir: çıktı = F(x) + x. Burada F(x) katmanların öğrendiği artık (residual) dönüşümü, x ise doğrudan iletilen kimlik terimidir. Bu toplama işlemi, gradyanın hem dönüşüm yolundan hem de kesintisiz kimlik yolundan geriye akabilmesini sağlar. Ağ artık hedef çıktıyı sıfırdan öğrenmek yerine yalnızca neyin değişmesi gerektiğini öğrenir; bu da eğitimi hem hızlandırır hem de stabilize eder. Skip connection, yalnızca bilgisayarla görme alanında değil, modern yapay zeka ekosisteminin tamamında kalıcı bir iz bırakmıştır. Transformer mimarisi her encoder ve decoder bloğunda skip connection ile katman normalizasyonunu (layer normalization) birleştiren yapıyı kullanır. GPT, BERT, ViT ve LLaMA gibi büyük dil modelleri ile görüntü dönüştürücülerinde bu tasarım ilkesi temel bir bileşen haline gelmiştir. U-Net medikal görüntülemede encoder-decoder bağlantıları için, DenseNet ise yoğun bağlantı blokları için farklı skip connection türleri kullanır. Skip connection'ın önemi, 2015 ImageNet yarışmasında ResNet-152'nin insan düzeyini aşan yüzde 3.57 hata oranıyla birinci gelmesiyle somutlaşmıştır. Bu sonuç, derin öğrenme topluluğunun ağ derinliğine bakışını kökten değiştirmiş ve yüzlerce hatta binlerce katmanlı modellerin eğitilmesinin önünü açmıştır.
Softmax (Softmax Fonksiyonu)
Softmax fonksiyonu, yapay sinir ağlarında çok sınıflı sınıflandırma görevlerinde kullanılan temel matematiksel dönüşümdür. Ham model çıktıları olan logit vektörünü alır ve tüm elemanları (0, 1) aralığında, toplamı tam olarak 1'e eşit olan bir olasılık dağılımına dönüştürür. Matematiksel formülü σ(zᵢ) = exp(zᵢ) / Σⱼ exp(zⱼ) şeklindedir; her bileşen üstel fonksiyondan geçirilip normalize edilir. Fonksiyon, üstel doğası gereği büyük değerleri daha da büyütür, küçük değerleri bastırır. Bu sayede model en olası sınıfı ön plana çıkarır; sonuçlar doğrudan sınıf üyeliği olasılığı olarak yorumlanır. İkili sınıflandırma için kullanılan sigmoid fonksiyonunun her çıktıyı bağımsız olarak 0-1 aralığına sıkıştırmasından farklı olarak softmax, vektör düzeyinde çalışır ve sınıflar arasında rekabetçi normalizasyon yapar; toplamın daima 1 olması garantilendiğinden çıktılar doğru olasılık semantiği taşır. Sayısal kararlılık kritik bir konudur. Büyük logit değerlerinde exp(zᵢ) kayan nokta taşmasına yol açabilir. Standart çözüm, tüm bileşenlerden maksimum değeri çıkarmaktır: σ(zᵢ) = exp(zᵢ − max(z)) / Σⱼ exp(zⱼ − max(z)). Bu form matematiksel olarak özdeştir ama üstel değerleri kontrol altında tutar. PyTorch, TensorFlow ve NumPy bu optimizasyonu dahili olarak uygular. Sıcaklık ölçeklendirmesi (temperature scaling), fonksiyonun davranışını ayarlamak için kullanılır: Softmax(z / T). T = 1 standart çıktı, T büyüdükçe daha yayvan ve belirsiz bir dağılım, T küçüldükçe ise daha keskin ve kararlı bir dağılım ortaya çıkar. Bilgisinin damıtımı (knowledge distillation) tekniğinde yüksek sıcaklık kullanılarak öğretmen modelin logitleri yumuşatılır; öğrenci model sert etiketler yerine bu yumuşak hedefleri öğrenerek daha iyi genelleme yapar. Transformers mimarisindeki dikkat mekanizmasında da softmax merkezi bir rol üstlenir. Sorgu (Q) ve anahtar (K) matrislerinin nokta çarpımı hesaplanır; boyut ölçeklendirmesiyle √d_k'ya bölünür, ardından softmax uygulanarak her sorgu pozisyonu için dikkat ağırlıkları elde edilir: Attention(Q, K, V) = softmax(QK⊤ / √d_k) · V. Burada softmax iki işlevi bir arada yerine getirir: ağırlıkların toplamını 1'e normalize eder ve modelin seçici odaklanmasını destekler.
Spiking Neural Network (SNN) Nedir? (Atlayan Sinir Ağı)
Spiking Neural Network (SNN), beyin biyolojisinden ilham alınarak tasarlanmış üçüncü nesil yapay sinir ağı mimarisidir. Klasik derin öğrenme modellerinde nöronlar sürekli kayan noktalı aktivasyon değerleri iletirken, SNN'lerde nöronlar yalnızca yeterli uyarı biriktiğinde kısa süreli elektriksel atışlar (spike) gönderir. Bu olay tabanlı ve seyrek hesaplama paradigması biyolojik nöronların çalışma prensibini yansıtır; güç yalnızca spike üretildiğinde tüketilir ve klasik GPU'lara kıyasla dramatik enerji tasarrufu elde edilir. En yaygın SNN nöronu modeli Leaky Integrate-and-Fire'dır (LIF). Bu modelde nöron, gelen giriş sinyallerini bir membran potansiyeli olarak biriktirir; potansiyel bir eşik değerini (threshold) aştığında spike gönderir ve ardından sıfırlanır. Leaky özelliği, uyarı alınmadığında membran potansiyelinin zamanla azalmasını ifade eder; bu mekanizma biyolojik yorgunluk ve gürültü bastırma işlevine karşılık gelir. LIF'in yanı sıra daha karmaşık Hodgkin-Huxley modeli ve Adaptive Exponential Integrate-and-Fire (AdEx) modeli de araştırma ortamlarında kullanılır. SNN'lerin eğitimi temel bir zorluk içerir: spike fonksiyonu süreksiz ve türevlenemezdir; bu nedenle standart geri yayılım (backpropagation) doğrudan uygulanamaz. Bu sorunu çözmek için surrogate gradient yöntemi kullanılır: ileri geçişte gerçek spike fonksiyonu, geri geçişte ise sigmoid veya piecewise linear gibi yumuşak bir yaklaşım kullanılır. Spike Timing Dependent Plasticity (STDP) ise biyolojik ilhamlı yerel öğrenme kuralıdır; ön sinaps nöronun art sinaps nörondan önce ateşlenmesi bağlantıyı güçlendirir, tersine ateşlenmesi ise zayıflatır. Nöromorhik donanım, SNN'lerin yüksek verimlilikle çalıştığı özel işlemci mimarileridir. Intel'in Loihi 2 çipi, her bir nöronik çekirdeğin 8.192 nöronu eş zamanlı simüle edebildiği bir platformdur. IBM TrueNorth ise 4.096 çekirdek ve 1 milyon nöronu çok düşük güç bütçesiyle çalıştırır. 2025 yılında Nature Communications'ta yayımlanan bir çalışma, 28 nm nöromorhik mimarinin FP16 hassasiyetinde 1,05 TFLOPS/W enerji verimliliği elde ettiğini ve A100 GPU'ya kıyasla bellek erişimini yüzde 55-85 oranında azalttığını göstermektedir. Araştırma tarafında PyNN ve SpikingJelly Python çerçeveleri SNN geliştirme ortamı sunar; SpikingJelly, PyTorch üzerine inşa edilerek GPU hızlandırmasını surrogate gradient ile birleştirmektedir.
Transformer-XL (Transformer-XL (Uzun Bağlamlı Dönüştürücü Mimarisi))
Transformer-XL, Zihang Dai ve ekibinin 2019 yılında Google Brain ile Carnegie Mellon Üniversitesi iş birliğiyle geliştirdiği, standart Transformer mimarisinin sabit bağlam uzunluğu kısıtlamasını aşmaya yönelik bir dil modeli mimarisidir. "XL" kısaltması, "eXtra Long" (ekstra uzun) anlamına gelir ve modelin uzun mesafeli bağımlılıkları modelleyebilme kapasitesini yansıtır. Klasik Transformer modelleri metni sabit uzunlukta bölütlere (segment) böler ve her bölütü birbirinden tamamen bağımsız biçimde işler; bu durum bölüt sınırlarında bağlam kopukluğuna yol açar. Transformer-XL bu sorunu iki temel yenilikle çözer. İlk yenilik bölüt düzeyinde özyinelemedir (segment-level recurrence): Model, önceki bölütün her katmana ait gizli durum vektörlerini önbellekte tutar. Yeni bölüt işlenirken dikkat mekanizması hem mevcut bölütün hem de önbellekteki önceki bölütün temsillerine erişir. Bu sayede bilgi bölütler arasında aktarılabilir ve N katmanlı bir modelde etkili bağlam penceresi teorik olarak N × bölüt uzunluğuna kadar genişleyebilir. İkinci yenilik göreli konum kodlamasıdır (relative positional encoding): Standart Transformer'da mutlak konum kodlamaları kullanılır. Ancak önbelleğe alınan farklı bölütlerin token'ları aynı mutlak konum indeksini paylaşabilir ve bu durum anlam karışıklığına yol açar. Göreli kodlama, "bu token 5. konumdadır" yerine "bu token diğerinden 3 adım uzakta" bilgisini temsil eder; dikkat skoru dört ayrı bileşene ayrılarak öğrenilebilir ağırlıklarla hesaplanır. WikiText-103, enwiki8 ve One Billion Word kıyaslamalarında döneminin en iyi sonuçlarına ulaşan Transformer-XL, standart Transformer'a kıyasla yüzde 291 ile 447 daha uzun bağımlılıkları modelleyebildiğini kanıtlamıştır. Göreli konum kodlama şeması daha sonra XLNet, T5 ve DeBERTa gibi önemli modellerin temeline alınmıştır.
Vanishing Gradient Problem (Kaybolan Gradyan Problemi)
Kaybolan Gradyan Problemi (İngilizce: Vanishing Gradient Problem), derin sinir ağlarını geri yayılım (backpropagation) algoritmasıyla eğitirken ortaya çıkan temel bir optimizasyon sorunudur. Ağdaki gradyanlar, geri yayılım sırasında çıkış katmanından girişe doğru ilerlerken her katmanda küçük değerlerle çarpılır. Sonuç olarak gradyanlar üstel biçimde küçülür ve ağın ilk katmanlarına ulaştığında pratikte sıfıra yaklaşır. Bu durum ilk katmanların güncellenmemesine yol açar; ağın bu erken katmanları neredeyse öğrenmez hale gelir. Sorunun ana nedeni, sigmoid ve tanh gibi aktivasyon fonksiyonlarının türevlerinin oldukça dar bir aralıkta (0 ile 0.25 arasında) kalmasıdır. Geri yayılım zincirinde her katman için bu küçük türev değerleriyle çarpma işlemi yapıldığından, 10 katmanlı bir ağda gradyan kolaylıkla (0.25)^10 ≈ 0.000001 gibi ihmal edilebilir bir değere düşebilir. Tarihsel açıdan bu problem, 1991 yılında Sepp Hochreiter'ın diplomasında kapsamlı biçimde analiz edildi. Bu analiz, özellikle RNN mimarilerinde uzun vadeli bağımlılıkların öğrenilememesi sorununu da açıklamaktaydı; bu nedenle Hochreiter ve Schmidhuber 1997'de LSTM mimarisini geliştirdi. Modern derin öğrenmede bu problemi hafifletmek için çeşitli yöntemler kullanılmaktadır. ReLU aktivasyon fonksiyonu, pozitif bölgede türevi 1 olduğundan gradyan akışını korur. Batch Normalization, katman çıktılarını normalleştirerek gradyanları dengeli tutar. ResNet'in temelini oluşturan Skip Connection (artık bağlantı), gradyanın katmanları atlayarak doğrudan iletilmesini sağlar. Xavier ve He başlatması gibi ağırlık başlatma stratejileri başlangıç gradyan dağılımını stabilize eder. LSTM ve GRU, özel geçit mekanizmalarıyla uzun vadeli gradyan akışını korur. Kaybolan Gradyan Problemi, Patlayan Gradyan Problemi (Exploding Gradient Problem) ile zıt bir çift oluşturur: birinde gradyanlar sıfıra çökerken diğerinde kontrolsüzce büyür. İkisi de derin ağ eğitiminin temel dinamiklerini etkiler ve modern mimari tasarım kararlarını doğrudan şekillendirir.
Weights and Biases (Ağırlıklar ve Sapmalar)
Ağırlıklar (Weights) ve Sapmalar (Biases), bir yapay sinir ağındaki öğrenilebilir parametrelerin iki temel bileşenidir. Ağırlıklar, bir önceki katmandan gelen her girdinin çıktıya katkısının gücünü; sapmalar ise nöronun girdi sinyalinden bağımsız olarak tetiklenme eşiğini belirler. Model eğitimi bu iki parametre grubunun kayıp fonksiyonunu minimize edecek biçimde güncellenmesinden ibarettir. Matematiksel açıdan bir tam bağlantılı (fully connected) nöron şu işlemi gerçekleştirir: giriş vektörü x ile ağırlık matrisi W'nın iç çarpımı alınır, bias terimi b eklenir ve aktivasyon fonksiyonundan geçirilir: y = f(Wx + b). Ağırlıklar genellikle Xavier veya He başlatma yöntemleriyle rastgele, sapma değerleri ise sıfır veya küçük sabitlerle başlatılır; rastgele simetri kırma olmadan tüm nöronlar özdeş kalır. Eğitim sürecinde stokastik gradyan inişi (SGD) ve türevleri (Adam, AdamW, RMSProp) geri yayılım algoritmıyla hesaplanan gradyanlar yönünde parametreleri günceller. Öğrenme hızı (learning rate) bu adım büyüklüğünü kontrol eden kritik hiper parametredir; çok büyük öğrenme hızı kararsız eğitime, çok küçük öğrenme hızı ise yavaş yakınsamaya neden olur. Parametre sayısı model kapasitesini doğrudan belirler. GPT-3'ün 175 milyar, Llama 3.1 405B'nin ise 405 milyar parametresi mevcuttur. Bu parametrelerin tamamı çoğunlukla Float16 veya BF16 biçiminde depolanır; 7 milyar parametreli bir model FP16'da yaklaşık 14 GB VRAM gerektirir. L1 ve L2 düzenlileştirme (regularization) yöntemleri, ağırlıkların aşırı büyümesini cezalandırarak aşırı öğrenmeyi (overfitting) dizginler. Transferi öğrenme (transfer learning) bağlamında önceden eğitilmiş bir modelin ağırlıkları yeni bir görev için başlangıç noktası olarak kullanılır. Sadece son katmanların ağırlıkları güncellenmesi (fine-tuning), tüm modeli sıfırdan eğitmeye kıyasla çok daha az veri ve hesaplama gerektirir. LoRA (Low-Rank Adaptation) ise ağırlık matrislerini düşük ranklı matrislerle temsil ederek eğitilecek parametre sayısını dramatik biçimde azaltır; bu yöntem büyük dil modellerinin tüketici donanımında ince ayarlanmasını mümkün kılan temel tekniktir.
Word2Vec (Kelime-Vektör Gömme Modeli)
Word2Vec, Tomas Mikolov ve ekibi tarafından Google'da 2013 yılında geliştirilen ve büyük metin külliyatlarından yoğun kelime temsilleri öğrenen hafif bir sinir ağı modelidir. "Efficient Estimation of Word Representations in Vector Space" (arXiv 2013) makalesiyle tanıtılan Word2Vec, kelimeleri anlamsal ve sözdizimsel ilişkilerini yakalayan düşük boyutlu gerçek sayı vektörlerine dönüştürür. Word2Vec'in iki temel mimarisi vardır. CBOW (Continuous Bag of Words), bağlam penceresi içindeki komşu kelimelerden merkez kelimeyi tahmin eder; küçük veri kümelerinde daha hızlı eğitilir. Skip-gram ise tam tersine, merkez kelimeden bağlam kelimelerini tahmin eder ve seyrek kelimeler için daha iyi temsiller üretir. Her iki mimari de negatif örnekleme (negative sampling) veya hiyerarşik softmax ile verimli biçimde eğitilir; böylece milyarlarca kelimeli külliyatlar birkaç saat içinde işlenebilir. Word2Vec'in en çarpıcı özelliği, öğrendiği vektörlerin aritmetik işlemlere uymasıdır: "kral − erkek + kadın ≈ kraliçe" denklemi, modelin anlam ilişkilerini geometrik olarak kodladığını gösterir. Bu özellik, makine çevirisi, duygu analizi ve bilgi grafiği oluşturma gibi pek çok NLP görevinde güçlü bir temel oluşturur. Word2Vec, GloVe ve FastText gibi sonraki modellerin ilham kaynağı olmuş; BERT ve GPT gibi Transformer tabanlı gömme modellerinin yaygınlaşmasına zemin hazırlamıştır. Günümüzde Word2Vec, özellikle kaynak kısıtlı ortamlarda ve gerçek zamanlı uygulamalarda hâlâ kullanılmaktadır. Gensim kütüphanesi en popüler Python uygulamasıdır; milyonlarca kelimelik modeller birkaç yüz megabayt belleğe sığar ve CPU üzerinde saniyeler içinde çıkarım yapabilir. E-ticaret öneri sistemleri, benzer ürün keşfi ve doğal dil arama gibi üretim uygulamaları Word2Vec'i hâlâ tercih etmektedir.