tag Sinir Ağı
Batch Normalization (Toplu Normalleştirme)
Bu sayfada Sinir Ağı (Batch Normalization (Toplu Normalleştirme)) etiketi ile işaretlenmiş 13 yapay zeka kavramını bulabilirsiniz.
Batch Normalization (Toplu Normallesme), derin sinir aglarinin egitimi sirasinda her katmanin aktivasyonlarini mini-batch istatistiklerini kullanarak normalize eden ve bu sayede egitimi hizlandirip kararlilastiran bir tekniktir. 2015 yilinda Ioffe ve Szegedy tarafindan yayimlanan makale, BN'yi derin ogrenme camiasinin standart yontemlerinden biri haline getirdi. BN algoritmasini adim adim inceleyelim. Her mini-batch icin, hedef katmanda gelen aktivasyonlarin batch ortalamasisi ve varyansi hesaplanir. Bu istatistiklerle aktivasyonlar normalize edilir, yani ortalama 0, varyans 1 olur. Ardindan iki ogrenilir parametreyle (gama, beta) yeniden olcelkendirme yapilir: gama aktivasyonlarin olcegini, beta ise kaydirmasini belirler. Bu yeniden olceklendirme adimi, normalizasyonun modelin ifade gucunu kisitlamamasini saglar; model gerekirse orijinal dagilima benzer bir ciktiya geri donebilir. BN'nin en onemli pratik faydasi egitimin hizlanmasidir. Normallesme, gradyanlarin katmanlar arasinda daha tutarli bir buyuklukle akmasini saglar; bu cok daha yuksek learning rate kullanimi ve daha az epoch ile yakinsama anlamina gelir. Bazi deneyler BN'nin egitimi 5-10 kat hizlandirabildigini gostermistir. Mekanizma tartismali olsa da BN, "internal covariate shift" sorununu azalttigini iddia eden yaklasimla tanitilmistir. Derin ag egitiminde alt katmanlardaki agirlik guncellemeler, ust katmanlarin girdi dagilimini surdurur degistirir; bu degisim ogrenmeyi yavaslattir. BN her katmanin girdi dagilimini dengeleyerek bu sorunu azaltir. Transformer mimarisinin yayginlasmisiyla Layer Normalization (LayerNorm) on plana cikmiştir. LayerNorm batch boyutu yerine ozellik boyutu uzerinden normalizasyon yapar; tek ornekle de calistigindan RNN ve Transformer'larda tercih edilir. **Sik Sorulan Sorular** **Batch Normalization hangi konuma yerlestirilir?** Geleneksel olarak lineer katman veya evrisme katmani ile aktivasyon fonksiyonu arasina yerlestirilir. Ancak "pre-activation" yaklasiminda aktivasyondan once konumlandirma da kullanilir; performans farkli mimarilerde degisebilir. **Kucuk batch size'larda BN calisir mi?** Kucuk batch'lerde BN'nin istatistiksel tahminleri guvenilmez hale gelebilir. Bu durumda Group Normalization veya Layer Normalization daha kararlı alternatiflerdir. **BN neden inference'ta farkli davranir?** Egitimde mini-batch istatistikleri kullanilirken inference'ta egitim boyunca biriktirilen hareketli ortalama (running mean/variance) kullanilir. Bu model eval() ve train() modlari arasindaki farkliliktan kaynaklanir. **Transformer'lar neden LayerNorm kullanir?** Transformer'larin sekanslar ve self-attention yapilariyla calismasi, batch boyutuna bagli bir normalizasyonu pratik kilmaz. LayerNorm her ornegi bagimsiz normalize ettiginden bu mimariyle dogal bir uyum icindedir.
Batch Normalization (Toplu Normalleştirme)
Batch Normalization (Toplu Normallesme), derin sinir aglarinin egitimi sirasinda her katmanin aktivasyonlarini mini-batch istatistiklerini kullanarak normalize eden ve bu sayede egitimi hizlandirip kararlilastiran bir tekniktir. 2015 yilinda Ioffe ve Szegedy tarafindan yayimlanan makale, BN'yi derin ogrenme camiasinin standart yontemlerinden biri haline getirdi. BN algoritmasini adim adim inceleyelim. Her mini-batch icin, hedef katmanda gelen aktivasyonlarin batch ortalamasisi ve varyansi hesaplanir. Bu istatistiklerle aktivasyonlar normalize edilir, yani ortalama 0, varyans 1 olur. Ardindan iki ogrenilir parametreyle (gama, beta) yeniden olcelkendirme yapilir: gama aktivasyonlarin olcegini, beta ise kaydirmasini belirler. Bu yeniden olceklendirme adimi, normalizasyonun modelin ifade gucunu kisitlamamasini saglar; model gerekirse orijinal dagilima benzer bir ciktiya geri donebilir. BN'nin en onemli pratik faydasi egitimin hizlanmasidir. Normallesme, gradyanlarin katmanlar arasinda daha tutarli bir buyuklukle akmasini saglar; bu cok daha yuksek learning rate kullanimi ve daha az epoch ile yakinsama anlamina gelir. Bazi deneyler BN'nin egitimi 5-10 kat hizlandirabildigini gostermistir. Mekanizma tartismali olsa da BN, "internal covariate shift" sorununu azalttigini iddia eden yaklasimla tanitilmistir. Derin ag egitiminde alt katmanlardaki agirlik guncellemeler, ust katmanlarin girdi dagilimini surdurur degistirir; bu degisim ogrenmeyi yavaslattir. BN her katmanin girdi dagilimini dengeleyerek bu sorunu azaltir. Transformer mimarisinin yayginlasmisiyla Layer Normalization (LayerNorm) on plana cikmiştir. LayerNorm batch boyutu yerine ozellik boyutu uzerinden normalizasyon yapar; tek ornekle de calistigindan RNN ve Transformer'larda tercih edilir. **Sik Sorulan Sorular** **Batch Normalization hangi konuma yerlestirilir?** Geleneksel olarak lineer katman veya evrisme katmani ile aktivasyon fonksiyonu arasina yerlestirilir. Ancak "pre-activation" yaklasiminda aktivasyondan once konumlandirma da kullanilir; performans farkli mimarilerde degisebilir. **Kucuk batch size'larda BN calisir mi?** Kucuk batch'lerde BN'nin istatistiksel tahminleri guvenilmez hale gelebilir. Bu durumda Group Normalization veya Layer Normalization daha kararlı alternatiflerdir. **BN neden inference'ta farkli davranir?** Egitimde mini-batch istatistikleri kullanilirken inference'ta egitim boyunca biriktirilen hareketli ortalama (running mean/variance) kullanilir. Bu model eval() ve train() modlari arasindaki farkliliktan kaynaklanir. **Transformer'lar neden LayerNorm kullanir?** Transformer'larin sekanslar ve self-attention yapilariyla calismasi, batch boyutuna bagli bir normalizasyonu pratik kilmaz. LayerNorm her ornegi bagimsiz normalize ettiginden bu mimariyle dogal bir uyum icindedir.
Reservoir Computing (Rezervuar Hesaplama)
Reservoir Computing (Rezervuar Hesaplama), tekrarlayan sinir ağlarının (RNN) eğitilmesindeki klasik güçlükleri aşmak için tasarlanmış bir hesaplama çerçevesidir. Yöntemin özü şudur: büyük, karmaşık ve rastgele bağlantılı bir "rezervuar" ağının ağırlıkları sabittir ve hiç güncellenmez; yalnızca çıkış katmanı (readout) eğitilir. Bu yaklaşım, geri yayılım boyunca zamanla çoğalan gradyan sorunlarını (vanishing/exploding gradient) tamamen ortadan kaldırır ve eğitimi basit bir doğrusal regresyon problemine indirger. Reservoir Computing'in iki temel mimarisi vardır. 2001 yılında Herbert Jäger tarafından geliştirilen Echo State Network (ESN), seyrek bağlantılı ve rastgele ağırlıklı tekrarlayan bir ağdan oluşur; girdi sinyali bu ağı sürer, ağın zengin iç durumları zaman içindeki dinamikleri yüksek boyutlu bir uzayda kodlar. 2002'de Wolfgang Maass ve ekibi tarafından önerilen Liquid State Machine (LSM) ise biyolojik sinir ağlarından ilham alarak spiking (çekirdek ateşlemeli) nöronları kullanan karşılaştırılabilir bir yaklaşımdır. Bir rezervuarın en kritik hiperparametresi spektral yarıçaptır: ağırlık matrisinin en büyük özdeğerinin mutlak değeri. Bu değer 1'den küçük olduğunda sistem "Echo State Property"ye sahip olur; yani geçmiş girdilerin etkisi zaman içinde sönümlenir ve sistem kararlı kalır. Tipik değerler 0,9-0,99 arasındadır. Spektral yarıçap 1'i aşarsa sistem kaotik davranışa sürüklenir; çok küçük olursa geçmiş bilgiyi yeterince koruyamaz ve bellek kapasitesi düşer. Uygulama alanları geniştir: Lorenz attraktörü gibi kaotik sistem tahmini, zaman serisi öngörüsü, finansal veri modelleme, konuşma tanıma, robotik motor kontrolü ve biyomedikal sinyal işleme bu alanların başında gelir. Son yıllarda fotonik, optik ve kuantum ortamlarında gerçekleştirilen fiziksel rezervuar hesaplama, son derece düşük enerji tüketimiyle donanım seviyesinde gerçek zamanlı hesaplama olanağı sunan yeni bir araştırma yönü açmıştır. Geleneksel LSTM ve GRU mimarilerine kıyasla Reservoir Computing; çok daha hızlı eğitim, düşük veri gereksinimi ve kısıtlı donanımda çalışabilme avantajları sunmaktadır. Buna karşın rezervuar boyutu ve hiperparametre ayarı, sistemin performansını belirleyen kritik tasarım kararlarıdır. Eğitilebilir parametre sayısının görece azlığı, yüksek boyutlu ve büyük ölçekli veri kümelerinde kapasiteyi sınırlayabilir; bu nedenle derin öğrenme ve rezervuar yaklaşımları çoğu zaman tamamlayıcı olarak değerlendirilmektedir.
Radial Basis Function Network (Radyal Tabanlı Fonksiyon Ağı)
Radyal Tabanlı Fonksiyon Ağı (RBF Network), gizli katmanındaki nöronların doğrusal olmayan radyal tabanlı aktivasyon fonksiyonları kullandığı, üç katmanlı bir ileri beslemeli yapay sinir ağıdır. Ağ; bir giriş katmanı, RBF nöronlarından oluşan tek bir gizli katman ve doğrusal çıkış katmanından meydana gelir. RBF ağlarının temeli 1988 yılında Broomhead ve Lowe tarafından atılmıştır. Gizli katmandaki her nöron, bir merkez vektörü (μ) ve bir genişlik parametresi (σ) ile tanımlanır; girdi vektörünün bu merkeze olan Öklid uzaklığını bir aktivasyon değerine dönüştürür. En yaygın kullanılan aktivasyon fonksiyonu Gauss fonksiyonudur: φ(x) = exp(−‖x − μ‖² / 2σ²). Girdi merkeze yaklaştıkça aktivasyon 1'e, uzaklaştıkça 0'a yaklaşır. σ parametresi nöronun kapsama alanını belirler: küçük σ dar ve yerel bir etki bölgesi yaratırken büyük σ girdi uzayının daha geniş bir alanını etkiler. Eğitim süreci iki aşamada gerçekleşir. Birinci aşamada gizli katmanın merkez vektörleri k-ortalamalar algoritması gibi gözetimsiz yöntemlerle belirlenir; ağ, etiket gerektirmeksizin verinin geometrik yapısını keşfeder. İkinci aşamada çıkış katmanının ağırlıkları en küçük kareler yöntemiyle öğrenilir; bu aşama dışbükey bir optimizasyon problemidir ve tek bir global minimuma sahiptir. RBF ağları, çok katmanlı algılayıcı (MLP) yapısına göre birçok avantaj sunar: eğitim çok daha hızlıdır, yerel minimumlara takılma riski düşüktür ve her nöronun merkez noktası veri uzayında somut bir konumu temsil ettiğinden model yorumlanabilirdir. Gauss kernel kullanan Destek Vektör Makinesi (SVM), matematiksel olarak RBF ağının özel bir formu olarak görülebilir; bu bağlantı çekirdek yöntemleri ile klasik sinir ağları arasındaki köprüyü somutlaştırır. Fonksiyon yaklaşımı, zaman serisi tahmini, sınıflandırma, enterpolasyon ve kontrol sistemleri başlıca uygulama alanlarıdır. Öte yandan yüksek boyutlu giriş uzaylarında yeterli kapsama için merkez sayısının aşırı artması (boyutsallık laneti) ciddi bir kısıt oluşturur; bu tür problemlerde derin öğrenme mimarileri tercih edilmektedir.
Catastrophic Forgetting (Yıkıcı Unutma)
Yıkıcı Unutma (Catastrophic Forgetting ya da Catastrophic Interference), yapay sinir ağlarının yeni bir görev için eğitildiğinde önceki görevlerde öğrendikleri bilgileri ani ve büyük ölçüde yitirmesi olgusudur. İlk kez 1989'da McCloskey ve Cohen tarafından bağlantıcı modelleri inceleyen bir çalışmada tanımlanmış; Ratcliff (1990) ise olgunun teorik temellerini genişletmiştir. Temel mekanizma, geri yayılım (backpropagation) algoritmasının tüm ağırlıkları güncellemesinden kaynaklanır. Model yeni görev verisiyle eğitildiğinde ağırlık güncellemeleri, önceki görev için optimize edilmiş değerlerin doğrudan üzerine yazar. İnsan beyninin hipokampal konsolidasyon mekanizması sayesinde yeni bilgiyi eskiyi bozmadan entegre edebildiği düşünüldüğünde, standart yapay sinir ağlarının bu dezavantajı açıkça ortaya çıkar. Bu sorunu aşmak için üç temel strateji geliştirilmiştir. Düzenleme (regularization) tabanlı yöntemler, önceki görevler için kritik ağırlıkları belirleyerek bu ağırlıkların değişimini kısıtlar; en bilineni Elastic Weight Consolidation (EWC)'dir. EWC, Fisher bilgi matrisini kullanarak her ağırlığın önceki görev için ne kadar önemli olduğunu hesaplar ve buna göre L2 cezası uygular. Bellek tekrarı (memory replay) yöntemleri, geçmiş görevlerin örneklerini bir tampon bellekte saklar ya da üretici modeller aracılığıyla sentetik olarak yeniden oluşturarak yeni eğitimle karıştırır. Mimari genişleme yöntemleri ise her yeni görev için ağa ek parametreler ekler ve eski ağırlıkları dondurur; Progressive Neural Networks (PNN) ve PackNet bu yaklaşımın en bilinen örnekleridir. Yıkıcı unutma, büyük dil modellerinin güncellenmesi, robotik sistemlerin yeni beceriler kazanması ve kişiselleştirme uygulamalarında kritik bir engel oluşturmaktadır. 2020'lerin ortasında araştırmacılar, LoRA gibi parametre-verimli ince ayar yöntemleriyle EWC ve replay tekniklerini birleştiren hibrit yaklaşımlar geliştirerek bu sorunu LLM'ler bağlamında ele almaktadır. Yıkıcı unutmayı aşabilen sistemler, yapay genel zekaya (AGI) giden yolda zorunlu bir adım olarak kabul görmektedir.
Continual Learning (Sürekli (Ömür Boyu) Öğrenme)
Sürekli Öğrenme (Continual Learning / Lifelong Learning), bir yapay zeka modelinin art arda gelen görevleri zamanla öğrenirken önceki görevlerdeki performansını koruyabilmesini hedefleyen araştırma alanıdır. Bu alandaki temel zorluk "yıkıcı unutma" (catastrophic forgetting) olgusudur: standart sinir ağları yeni bir göreve ince ayarlandığında önceki görev için öğrenilmiş ağırlıklar üzerine yazar, bu durum eski bilginin silinmesine neden olur. İnsan beyninin nöroplastisitesi, yeni bilgiyi eski bilgiyi bozmadan entegre etme kapasitesi, sürekli öğrenme araştırmalarının biyolojik ilham kaynağıdır. Çözüm yaklaşımları üç temel kategoride toplanır. Regülasyon tabanlı yöntemler (EWC — Elastic Weight Consolidation), önceki görevler için kritik ağırlıklara yüksek esneklik kısıtı uygulayarak değişimlerini yavaşlatır. Bellek tekrar yöntemleri (Memory Replay), geçmiş görevlerden örnek tamponuna alınan verilerle veya bunları taklit eden üretici modellerle güncel eğitimi destekler. Mimari genişleme yöntemleri ise her yeni görev için ağa yeni nöron veya katman kapasitesi ekleyerek eski ağırlıklara dokunmadan büyümeyi sağlar. Pratik uygulamalar açısından sürekli öğrenme özellikle sürüklenme gösteren veri dağılımlarında (concept drift) kritiktir. Gerçek zamanlı anomali tespiti, kişiselleştirilmiş öneri sistemleri ve giyilebilir sağlık cihazları gibi alanlarda model yeniden eğitimi masraflı ve sık gereklidir; sürekli öğrenme bu süreçleri daha verimli kılar. Türkiye'de fintech şirketlerinin dolandırıcılık tespit modelleri ve e-ticaret kişiselleştirme sistemleri değişen kullanıcı davranışlarına uyum sağlama ihtiyacıyla sürekli öğrenme alanına ilgi duymaktadır. Akademik açıdan ise bu alan, yapay genel zekanın (AGI) vazgeçilmez koşullarından biri olarak kabul görmektedir. Federated continual learning, hem merkezi olmayan eğitim hem de zamanla değişen görevleri birleştirerek aygıt başına modellerin kişiselleşmesine olanak tanıyan ileri düzey bir paradigmadır. Class-incremental, task-incremental ve domain-incremental olmak üzere üç temel senaryo türü, sürekli öğrenme yöntemlerinin hangi koşullar altında karşılaştırılacağını belirleyen standart ölçüt çerçevesi haline gelmiştir.
Derin Öğrenme (Derin Öğrenme)
Derin öğrenme (Deep Learning), insan beyninin sinir ağı yapısından esinlenerek tasarlanmış, çok katmanlı yapay sinir ağlarını kullanan bir makine öğrenimi alt disiplinidir. "Derin" nitelemesi, girdi ile çıktı arasındaki gizli katman (hidden layer) sayısının fazlalığından gelir; bu katmanlar veriden hiyerarşik temsiller öğrenir. Alt katmanlar kenar ve doku gibi düşük düzey özellikleri yakalarken üst katmanlar nesne veya kavram gibi soyut özellikleri kodlar. Alanın dönüm noktası 2012'deki AlexNet'tir: GPU hızlandırma ve büyük veri birleşiminin derin ağları eğitilir kıldığını kanıtlayan bu model, ImageNet yarışmasında önceki rekorları kırarak derin öğrenmeyi ana akıma taşıdı. Temel yapı taşı olan yapay nöron, gelen değerleri ağırlıklı toplar ve ReLU, sigmoid gibi bir aktivasyon fonksiyonundan geçirir. Eğitimde geri yayılım (backpropagation) algoritması, çıktı hatasını katman katman geriye taşıyarak her ağırlığın güncellenmesini sağlar; gradyan inişi (gradient descent) ise bu güncellemeleri yönetir. Adam ve AdamW gibi uyarlamalı optimizatörler öğrenme hızını otomatik olarak ayarlar. Başlıca mimari aileler şunlardır: CNN (evrişimsel sinir ağları) görüntü ve video işlemede standarttır; Transformer 2017'den itibaren NLP'yi ve ardından çok modlu sistemleri domine etmektedir; RNN/LSTM zaman serisi modellemesinde kullanılır; Difüzyon Modelleri görüntü ve ses üretiminde devrim yaratmaktadır. Uygulama alanları geniştir: tıbbi görüntüleme (kanser tespiti), otonom araçlar (nesne algılama), doğal dil işleme (makine çevirisi, metin üretme), konuşma tanıma ve öneri sistemleri. Türkiye'de e-ticaret platformlarının kişiselleştirme motorları, bankacılık sektörünün dolandırıcılık tespit sistemleri ve Türkçe NLP projeleri derin öğrenmeye dayanmaktadır. Transfer öğrenme, milyonlarca örnekle önceden eğitilmiş modelleri yüzlerce ya da binlerce örnekle yeni görevlere uyarlar; bu yaklaşım derin öğrenmeyi küçük veri setlerinde de kullanılabilir kılmaktadır. PyTorch ve TensorFlow başlıca açık kaynak çerçevelerdir; Hugging Face ekosistemi binlerce hazır modele erişim sunar. Temel sınırlamalar arasında büyük veri ve yüksek hesaplama gereksinimi, yorumlanabilirlik eksikliği (kara kutu sorunu) ve dağılım kayması (distribution shift) yer almaktadır. Araştırmacılar bu sorunları ele almak için yorumlanabilir yapay zeka (XAI) teknikleri ve verimli mimari tasarımları geliştirmeyi sürdürmektedir.
MLP (Çok Katmanlı Algılayıcı)
MLP (Multilayer Perceptron — Çok Katmanlı Algılayıcı), en az bir gizli katman içeren ileri beslemeli (feedforward) yapay sinir ağıdır. 1958'de Frank Rosenblatt tarafından tasarlanan tek katmanlı algılayıcı yalnızca doğrusal ayrılabilir verileri sınıflandırabilirken, gizli katmanların eklenmesiyle MLP; XOR problemi dahil karmaşık, doğrusal olmayan örüntüleri öğrenme kapasitesi kazandı. MLP üç ana bileşenden oluşur. Giriş katmanı ham veriyi ağa iletir; herhangi bir hesaplama yapmaz. Bir veya daha fazla gizli katman, önceki katmanın tüm nöronlarına tam bağlı (fully connected) nöronlar barındırır ve gerçek öğrenme burada gerçekleşir. Çıkış katmanı ise sınıflandırma problemlerinde sınıf sayısı kadar, regresyon problemlerinde genellikle tek nöronlu sonuç üretir. Her nöron şu işlemi uygular: girdilerin ağırlıklı toplamını hesaplar, bir sapma (bias) değeri ekler ve doğrusal olmayan bir aktivasyon fonksiyonundan (ReLU, Sigmoid ya da Tanh) geçirir. Doğrusal olmayan aktivasyon olmadan çok katmanlı bir ağ, matematiksel olarak tek katmanlı bir ağa indirgenirdi ve karmaşık örüntüleri öğrenemezdi. MLP'yi pratik hale getiren atılım, Rumelhart, Hinton ve Williams'ın 1986'da Nature dergisinde yayımladığı geri yayılım (backpropagation) algoritmasıdır. Algoritma, çıkış hatasını zincir kuralıyla katman katman geri yayarak her ağırlığın kayba olan katkısını hesaplar; ardından optimizör (genellikle SGD veya Adam) bu gradyanlarla ağırlıkları günceller. Bu döngü on binlerce kez tekrarlanarak model adım adım öğrenir. Evrişimsel Sinir Ağları (CNN) paylaşımlı ağırlıklarla görüntü verisini çok daha verimli işlerken, MLP'nin tam bağlantılı yapısı uzamsal ilişkileri doğal olarak yakalayamaz. Tekrarlayan Sinir Ağları (RNN) metin ve zaman serisi gibi ardışık veriler için gizli bir durum taşırken, MLP sabit boyutlu girdi üzerinde çalışır. 2021'de Google Brain'in tanıttığı MLP-Mixer mimarisi, öz-dikkat (self-attention) mekanizması yerine yalnızca MLP katmanlarıyla Vision Transformer'larla rekabetçi görüntü sınıflandırma sonuçları elde etti. Bu, doğru tasarımla saf MLP'lerin de güçlü görevler üstlenebileceğini kanıtladı. Günümüzde tablo verisi, özellik çıkarımı sonrası sınıflandırma ve büyük modellerin dahili bileşeni olarak MLP aktif kullanımını sürdürmektedir.
Model Pruning (Model Budama)
Model budama (model pruning), milyarlarca parametreye sahip büyük sinir ağlarında performansı en az etkileyen ağırlıkları veya yapısal bileşenleri belirleyip kaldıran bir model optimizasyon yöntemidir. Temel fikir basittir: iyi eğitilmiş bir ağda parametrelerin önemli bir bölümü tahmin kalitesine minimum katkı sağlar ve bu parametreler olmadan model neredeyse aynı doğrulukla çalışmaya devam edebilir. **Budama Türleri** Yapısal budama (structured pruning), nöron, filtre veya katman gibi tüm yapısal birimleri kaldırır. Bu yaklaşım, standart CPU/GPU donanımında doğrudan bellek ve hız kazanımı sağlar; karmaşık özel donanım gerekmez. Buna karşın yapısal olmayan budama (unstructured pruning), bireysel ağırlıkları sıfırlayarak seyrek (sparse) bir matris üretir. Sıkıştırma oranı çok yüksek olabilir ancak bu seyrekliği işlemek için özel seyrek matris donanımı ya da yazılım desteği gerekir. **Büyüklük Tabanlı Budama** En yaygın yöntem büyüklük tabanlı (magnitude-based) budamadır: mutlak değerleri eşik değerin altındaki ağırlıklar sıfırlanır. Uygulaması kolaydır ve pek çok durumda yeterli sonuç verir. Daha gelişmiş gradyan tabanlı yaklaşımlar ise ağırlığın kayıp fonksiyonuna katkısını (saliency) hesaplayarak gerçekten önemsiz olanları seçer. **Yinelemeli Budama ve Lottery Ticket Hipotezi** Tek adımda agresif budama doğruluğu düşürebilir. Bu nedenle pratikte "budama, ince ayar (fine-tune) ve tekrar budama" döngüsü tercih edilir. 2019'da Frankle ve Carlin tarafından öne sürülen Lottery Ticket Hipotezi, büyük sinir ağlarında küçük ama etkili alt ağlar (winning tickets) gizlendiğini; bu alt ağların sıfırdan aynı doğrulukla eğitilebildiğini ileri sürer. Bu hipotez, budamanın neden bu kadar iyi çalıştığını teorik olarak açıklar. **Pratik Kullanım Alanları** Model budama özellikle kenar cihazlarda (akıllı telefon, IoT sensörü, gömülü sistem) büyük modelleri çalıştırmak için kritik önem taşır. GPT, LLaMA gibi büyük dil modellerini mobil uygulamalarda kullanılabilir hale getiren yöntemlerin başında gelir. Niceleme (quantization) ve bilgi damıtma (knowledge distillation) ile birlikte kullanıldığında model boyutu ve çıkarım gecikme süresi dramatik biçimde azaltılabilir.
Perceptron (Algılayıcı (Yapay Nöron))
Perceptron, 1957 yılında Frank Rosenblatt tarafından icat edilen ve biyolojik sinir hücresinden ilham alan en basit yapay sinir ağı birimidir. Modern derin öğrenmenin atası kabul edilir. Matematiksel açıdan perceptron; giriş değerlerini ağırlıklarla (weights) çarpıp topladıktan sonra bir aktivasyon eşiğine (threshold) göre çıktı üreten bir ikili sınıflandırıcıdır. Çalışma prensibi şu şekilde özetlenebilir: n adet giriş değeri (x₁, x₂, ..., xn) her biri bir ağırlıkla (w₁, w₂, ..., wn) çarpılır ve ağırlıklı toplamı hesaplanır. Bu toplamın bir bias terimi eklenerek aktivasyon fonksiyonundan (başlangıçta basamak fonksiyonu) geçirilmesiyle 0 veya 1 çıktısı üretilir. Öğrenme sürecinde yanlış sınıflandırılan örnekler için ağırlıklar perceptron öğrenme kuralına göre güncellenir. Perceptron öğrenme teoremi, doğrusal olarak ayrılabilir veri kümeleri için algoritmanın sonlu adımda yakınsayacağını kanıtlar. Ancak 1969'da Marvin Minsky ve Seymour Papert, perceptronun XOR gibi doğrusal olarak ayrılamayan problemleri çözemeyeceğini gösterdi. Bu kısıtlama "XOR problemi" olarak tarihe geçti ve yapay zeka araştırmalarında yaklaşık on yıl süren "Yapay Zeka Kışı"nı tetikledi. Çözüm, birden fazla perceptron katmanının birbirine bağlanmasıyla oluşturulan çok katmanlı algılayıcılarda (Multilayer Perceptron — MLP) bulundu. Her katman bir doğrusal olmayan aktivasyon fonksiyonu (ReLU, sigmoid, tanh) kullanarak önceki katmanın çıktılarını işler. Geri yayılım (backpropagation) algoritmasıyla bu ağlar eğitilebilir hale geldi ve modern derin öğrenmenin temeli atıldı. Günümüzde tek başına perceptron neredeyse hiç kullanılmaz; ancak her yapay nöron perceptronun modernize edilmiş bir versiyonudur. Transformer mimarisindeki dikkat (attention) mekanizmasından CNN'deki evrişim nöronlarına kadar tüm derin öğrenme yapıları perceptron ilkesini temel almaktadır. Bu anlamda perceptron, yapay zekanın köklerini anlamak için vazgeçilmez bir kavramdır. Donanım tarafında ise nöromorifik çipler, perceptron hesaplamasını biyolojik nörona daha yakın bir fiziksel modelle uygulamayı hedeflemektedir; bu alan yüksek enerji verimliliği gerektiren edge AI cihazları için araştırılmaya devam etmektedir.
Pruning (Sinir Ağı Budaması)
Sinir ağı budaması (neural network pruning), büyük ve karmaşık derin öğrenme modellerini daha küçük, hızlı ve verimli hale getirmek amacıyla modeldeki gereksiz ya da önemsiz parametreleri kaldıran bir model sıkıştırma yöntemidir. Bir insan beyninin yeni bağlantılar kurarken kullanılmayan sinaptik bağlantıları budadığı bilinmektedir; benzer bir ilkeden esinlenen bu teknik, yapay sinir ağlarına da uygulanır. Budama, çoğunlukla model eğitiminin ardından gerçekleştirilir; ancak eğitim sırasında veya eğitim öncesinde de uygulanabilen yöntemler araştırılmaktadır. Temel amacı, modelin doğruluk oranını kabul edilebilir düzeyde koruyarak parametre sayısını, bellek kullanımını ve hesaplama maliyetini önemli ölçüde düşürmektir. Budama teknikleri iki ana kategoriye ayrılır. Yapılandırılmamış budama (unstructured pruning), ağırlık matrisindeki bireysel bağlantıları kaldırır; seyrek matris yapısı oluşturur ancak standart donanımda gerçek hız kazanımı için özel kütüphane veya donanım desteği gerektirir. Yapılandırılmış budama (structured pruning) ise tüm filtreler, kanallar veya katmanlar gibi bütüncül yapıları bir bütün olarak siler; standart GPU ve CPU'larda doğrudan çıkarım hızı artışı ve model küçülmesi elde edilir. En yaygın yöntem büyüklük tabanlı budamadır (magnitude-based pruning): mutlak değeri en küçük ağırlıklar, modelin öğrendiği bilgiye katkısı az kabul edilerek kaldırılır. Ardından model, performansını yeniden kazanması için ince ayar (fine-tuning) sürecinden geçirilir. Bu "eğit → buda → ince ayar" döngüsü, hedef boyut ve doğruluk değerlerine ulaşılana kadar birkaç kez tekrarlanabilir. 2018'de Frankle ve Carlin tarafından öne sürülen Piyango Bileti Hipotezi (Lottery Ticket Hypothesis), büyük sinir ağlarının başlangıçtan beri eğitilebilir nitelikte küçük alt ağlar — "kazanan biletler" — barındırdığını ileri sürer. Bu alt ağlar, tam ağın yüzde 10 ile 20'si büyüklüğünde olmasına rağmen benzer doğruluk oranlarına ulaşabilmektedir. Budama; mobil uygulamalar, IoT cihazları ve kenar bilişim (edge computing) gibi hesaplama kapasitesinin sınırlı olduğu ortamlarda dağıtımı kolaylaştırır. Günümüzde budama çoğunlukla niceleme (quantization) ve bilgi damıtma (knowledge distillation) ile bir arada uygulanarak çok daha yüksek sıkıştırma oranlarına ulaşılır.
Siamese Network (Siyam Ağı)
Siyam Ağı (Siamese Network), ağırlık paylaşan iki veya daha fazla özdeş alt ağ (branch) kullanarak girdi çiftleri ya da üçlüleri arasındaki benzerliği öğrenen derin öğrenme mimarisidir. Adını 19. yüzyılda yaşamış Chang ve Eng Bunker isimli siyam ikizlerinden alan bu yapı, her iki dalda da tamamen aynı ağırlıkların kullanılmasını zorunlu kılar; bu durum iki girdinin aynı özellik uzayında karşılaştırılabilmesini güvence altına alır. Çalışma mekanizması şu biçimde özetlenebilir: her girdi kendi dalından geçerek sabit boyutlu bir özellik vektörüne (embedding) dönüştürülür. Ardından iki vektör arasındaki Öklid ya da kosinüs uzaklığı hesaplanır. Eğitim sırasında model, benzer çiftlerin gömülü vektörlerini birbirine yaklaştırırken farklı çiftlerin vektörlerini birbirinden uzaklaştıracak şekilde güncellenir. Bu öğrenme süreci contrastive loss veya triplet loss işlevleriyle yönlendirilir. Contrastive loss, benzer çiftlerin uzaklığını minimize ederken farklı çiftlerin uzaklığını belirli bir marjin üstüne iter ve ikili etiket gerektirir. Triplet loss ise bir çapa (anchor), bir pozitif (benzer) ve bir negatif (farklı) örnek üçlüsüyle çalışır; FaceNet ve modern yüz tanıma sistemlerinin büyük çoğunluğu bu yaklaşımı kullanır. Siyam ağlarının en güçlü özelliği, one-shot öğrenmedir. Klasik sınıflandırıcılar bir sınıfı tanımak için yüzlerce veya binlerce etiketli örnek isterken siyam ağları benzerlik ölçümünü doğrudan öğrendiğinden, test sırasında yeni bir sınıfın tek bir örneği verilse bile bu sınıfı diğerlerinden ayırt edebilir. Bu özellik etiketleme maliyetinin yüksek olduğu tıbbi görüntüleme ve adli bilişim gibi alanlarda büyük değer taşır. Öne çıkan uygulamalar şunlardır: Google FaceNet yüz doğrulama ve tanıma, imza doğrulama sistemleri, yazı karakter tanıma (Omniglot veri seti) ve tıbbi görüntülemede nadir hastalıkların tespiti. Siyam ağları, sınırlı veriyle yüksek doğruluk gerektiren her senaryoda tercih edilen bir mimari olmayı sürdürmektedir.
Weights and Biases (Ağırlıklar ve Sapmalar)
Ağırlıklar (Weights) ve Sapmalar (Biases), bir yapay sinir ağındaki öğrenilebilir parametrelerin iki temel bileşenidir. Ağırlıklar, bir önceki katmandan gelen her girdinin çıktıya katkısının gücünü; sapmalar ise nöronun girdi sinyalinden bağımsız olarak tetiklenme eşiğini belirler. Model eğitimi bu iki parametre grubunun kayıp fonksiyonunu minimize edecek biçimde güncellenmesinden ibarettir. Matematiksel açıdan bir tam bağlantılı (fully connected) nöron şu işlemi gerçekleştirir: giriş vektörü x ile ağırlık matrisi W'nın iç çarpımı alınır, bias terimi b eklenir ve aktivasyon fonksiyonundan geçirilir: y = f(Wx + b). Ağırlıklar genellikle Xavier veya He başlatma yöntemleriyle rastgele, sapma değerleri ise sıfır veya küçük sabitlerle başlatılır; rastgele simetri kırma olmadan tüm nöronlar özdeş kalır. Eğitim sürecinde stokastik gradyan inişi (SGD) ve türevleri (Adam, AdamW, RMSProp) geri yayılım algoritmıyla hesaplanan gradyanlar yönünde parametreleri günceller. Öğrenme hızı (learning rate) bu adım büyüklüğünü kontrol eden kritik hiper parametredir; çok büyük öğrenme hızı kararsız eğitime, çok küçük öğrenme hızı ise yavaş yakınsamaya neden olur. Parametre sayısı model kapasitesini doğrudan belirler. GPT-3'ün 175 milyar, Llama 3.1 405B'nin ise 405 milyar parametresi mevcuttur. Bu parametrelerin tamamı çoğunlukla Float16 veya BF16 biçiminde depolanır; 7 milyar parametreli bir model FP16'da yaklaşık 14 GB VRAM gerektirir. L1 ve L2 düzenlileştirme (regularization) yöntemleri, ağırlıkların aşırı büyümesini cezalandırarak aşırı öğrenmeyi (overfitting) dizginler. Transferi öğrenme (transfer learning) bağlamında önceden eğitilmiş bir modelin ağırlıkları yeni bir görev için başlangıç noktası olarak kullanılır. Sadece son katmanların ağırlıkları güncellenmesi (fine-tuning), tüm modeli sıfırdan eğitmeye kıyasla çok daha az veri ve hesaplama gerektirir. LoRA (Low-Rank Adaptation) ise ağırlık matrislerini düşük ranklı matrislerle temsil ederek eğitilecek parametre sayısını dramatik biçimde azaltır; bu yöntem büyük dil modellerinin tüketici donanımında ince ayarlanmasını mümkün kılan temel tekniktir.
Sigmoid Fonksiyonu (Sigmoid Fonksiyonu)
Sigmoid fonksiyonu, matematiksel gösterimi σ(x) = 1 / (1 + e^(-x)) olan ve her gerçel sayıyı 0 ile 1 arasındaki açık aralığa eşleyen S şekilli bir aktivasyon fonksiyonudur. Lojistik fonksiyon adıyla da anılan sigmoid, yapay sinir ağlarının ve klasik makine öğrenmesinin en eski yapı taşlarından biridir. Girdi eksi sonsuza giderken çıktı sıfıra, artı sonsuza giderken bire yaklaşır; x = 0 noktasında ise tam 0.5 değerini alır. Bu davranış, fonksiyonun çıktısını doğrudan bir olasılık gibi okumaya izin verir ve sigmoid'i ikili sınıflandırma problemlerinin çıkış katmanı için doğal bir seçim yapar: model, bir e-postanın spam olma ya da bir hastanın belirli bir tanıya sahip olma olasılığını tek bir sayıyla ifade edebilir. Fonksiyonun türevi σ'(x) = σ(x) · (1 - σ(x)) biçiminde, yani fonksiyonun kendi değeri üzerinden hesaplanır. Bu sadelik, 1986'da geri yayılım algoritmasının yaygınlaşmasıyla birlikte sigmoid'i sinir ağı eğitiminin standart aktivasyonu haline getirdi. 1990'ların ve 2000'lerin başındaki çok katmanlı algılayıcıların büyük bölümü gizli katmanlarında sigmoid kullanıyordu. Aynı türev, sigmoid'in en bilinen zayıflığını da açıklar. Türevin alabileceği en yüksek değer 0.25'tir ve |x| büyüdükçe hızla sıfıra iner. Derin bir ağda geri yayılım sırasında bu küçük türevler katman katman çarpıldığından, ilk katmanlara ulaşan gradyan neredeyse yok olur. Gradyan kaybı (vanishing gradient) olarak bilinen bu sorun, sigmoid tabanlı derin ağların eğitilmesini pratikte imkânsız hale getiriyordu. Ayrıca çıktının sıfır merkezli olmaması ağırlık güncellemelerinin hep aynı yönde ilerlemesine, üstel hesaplama ise ek işlem maliyetine yol açar. Bu nedenlerle modern derin öğrenme mimarileri gizli katmanlarda ReLU, GELU ve benzeri fonksiyonları tercih eder. Sigmoid ise varlığını üç önemli alanda sürdürür: ikili ve çok etiketli sınıflandırmanın çıkış katmanı, lojistik regresyonun olasılık dönüşümü ve LSTM ile GRU hücrelerindeki kapı mekanizmaları. Bu kapılar, bilginin ne kadarının hücre durumuna yazılacağını ya da silineceğini 0 ile 1 arasında bir katsayıyla belirler; tam da sigmoid'in ürettiği türden bir değer. Kısacası sigmoid, derin ağların gizli katmanlarından çekilmiş olsa da olasılık üretmenin gerektiği her yerde hâlâ vazgeçilmezdir.