tag Sinir Ağı
Batch Normalization (Toplu Normalleştirme)
Bu sayfada Sinir Ağı (Batch Normalization (Toplu Normalleştirme)) etiketi ile işaretlenmiş 11 yapay zeka kavramını bulabilirsiniz.
Batch Normalization (Toplu Normallesme), derin sinir aglarinin egitimi sirasinda her katmanin aktivasyonlarini mini-batch istatistiklerini kullanarak normalize eden ve bu sayede egitimi hizlandirip kararlilastiran bir tekniktir. 2015 yilinda Ioffe ve Szegedy tarafindan yayimlanan makale, BN'yi derin ogrenme camiasinin standart yontemlerinden biri haline getirdi. BN algoritmasini adim adim inceleyelim. Her mini-batch icin, hedef katmanda gelen aktivasyonlarin batch ortalamasisi ve varyansi hesaplanir. Bu istatistiklerle aktivasyonlar normalize edilir, yani ortalama 0, varyans 1 olur. Ardindan iki ogrenilir parametreyle (gama, beta) yeniden olcelkendirme yapilir: gama aktivasyonlarin olcegini, beta ise kaydirmasini belirler. Bu yeniden olceklendirme adimi, normalizasyonun modelin ifade gucunu kisitlamamasini saglar; model gerekirse orijinal dagilima benzer bir ciktiya geri donebilir. BN'nin en onemli pratik faydasi egitimin hizlanmasidir. Normallesme, gradyanlarin katmanlar arasinda daha tutarli bir buyuklukle akmasini saglar; bu cok daha yuksek learning rate kullanimi ve daha az epoch ile yakinsama anlamina gelir. Bazi deneyler BN'nin egitimi 5-10 kat hizlandirabildigini gostermistir. Mekanizma tartismali olsa da BN, "internal covariate shift" sorununu azalttigini iddia eden yaklasimla tanitilmistir. Derin ag egitiminde alt katmanlardaki agirlik guncellemeler, ust katmanlarin girdi dagilimini surdurur degistirir; bu degisim ogrenmeyi yavaslattir. BN her katmanin girdi dagilimini dengeleyerek bu sorunu azaltir. Transformer mimarisinin yayginlasmisiyla Layer Normalization (LayerNorm) on plana cikmiştir. LayerNorm batch boyutu yerine ozellik boyutu uzerinden normalizasyon yapar; tek ornekle de calistigindan RNN ve Transformer'larda tercih edilir. **Sik Sorulan Sorular** **Batch Normalization hangi konuma yerlestirilir?** Geleneksel olarak lineer katman veya evrisme katmani ile aktivasyon fonksiyonu arasina yerlestirilir. Ancak "pre-activation" yaklasiminda aktivasyondan once konumlandirma da kullanilir; performans farkli mimarilerde degisebilir. **Kucuk batch size'larda BN calisir mi?** Kucuk batch'lerde BN'nin istatistiksel tahminleri guvenilmez hale gelebilir. Bu durumda Group Normalization veya Layer Normalization daha kararlı alternatiflerdir. **BN neden inference'ta farkli davranir?** Egitimde mini-batch istatistikleri kullanilirken inference'ta egitim boyunca biriktirilen hareketli ortalama (running mean/variance) kullanilir. Bu model eval() ve train() modlari arasindaki farkliliktan kaynaklanir. **Transformer'lar neden LayerNorm kullanir?** Transformer'larin sekanslar ve self-attention yapilariyla calismasi, batch boyutuna bagli bir normalizasyonu pratik kilmaz. LayerNorm her ornegi bagimsiz normalize ettiginden bu mimariyle dogal bir uyum icindedir.
Batch Normalization (Toplu Normalleştirme)
Batch Normalization (Toplu Normallesme), derin sinir aglarinin egitimi sirasinda her katmanin aktivasyonlarini mini-batch istatistiklerini kullanarak normalize eden ve bu sayede egitimi hizlandirip kararlilastiran bir tekniktir. 2015 yilinda Ioffe ve Szegedy tarafindan yayimlanan makale, BN'yi derin ogrenme camiasinin standart yontemlerinden biri haline getirdi. BN algoritmasini adim adim inceleyelim. Her mini-batch icin, hedef katmanda gelen aktivasyonlarin batch ortalamasisi ve varyansi hesaplanir. Bu istatistiklerle aktivasyonlar normalize edilir, yani ortalama 0, varyans 1 olur. Ardindan iki ogrenilir parametreyle (gama, beta) yeniden olcelkendirme yapilir: gama aktivasyonlarin olcegini, beta ise kaydirmasini belirler. Bu yeniden olceklendirme adimi, normalizasyonun modelin ifade gucunu kisitlamamasini saglar; model gerekirse orijinal dagilima benzer bir ciktiya geri donebilir. BN'nin en onemli pratik faydasi egitimin hizlanmasidir. Normallesme, gradyanlarin katmanlar arasinda daha tutarli bir buyuklukle akmasini saglar; bu cok daha yuksek learning rate kullanimi ve daha az epoch ile yakinsama anlamina gelir. Bazi deneyler BN'nin egitimi 5-10 kat hizlandirabildigini gostermistir. Mekanizma tartismali olsa da BN, "internal covariate shift" sorununu azalttigini iddia eden yaklasimla tanitilmistir. Derin ag egitiminde alt katmanlardaki agirlik guncellemeler, ust katmanlarin girdi dagilimini surdurur degistirir; bu degisim ogrenmeyi yavaslattir. BN her katmanin girdi dagilimini dengeleyerek bu sorunu azaltir. Transformer mimarisinin yayginlasmisiyla Layer Normalization (LayerNorm) on plana cikmiştir. LayerNorm batch boyutu yerine ozellik boyutu uzerinden normalizasyon yapar; tek ornekle de calistigindan RNN ve Transformer'larda tercih edilir. **Sik Sorulan Sorular** **Batch Normalization hangi konuma yerlestirilir?** Geleneksel olarak lineer katman veya evrisme katmani ile aktivasyon fonksiyonu arasina yerlestirilir. Ancak "pre-activation" yaklasiminda aktivasyondan once konumlandirma da kullanilir; performans farkli mimarilerde degisebilir. **Kucuk batch size'larda BN calisir mi?** Kucuk batch'lerde BN'nin istatistiksel tahminleri guvenilmez hale gelebilir. Bu durumda Group Normalization veya Layer Normalization daha kararlı alternatiflerdir. **BN neden inference'ta farkli davranir?** Egitimde mini-batch istatistikleri kullanilirken inference'ta egitim boyunca biriktirilen hareketli ortalama (running mean/variance) kullanilir. Bu model eval() ve train() modlari arasindaki farkliliktan kaynaklanir. **Transformer'lar neden LayerNorm kullanir?** Transformer'larin sekanslar ve self-attention yapilariyla calismasi, batch boyutuna bagli bir normalizasyonu pratik kilmaz. LayerNorm her ornegi bagimsiz normalize ettiginden bu mimariyle dogal bir uyum icindedir.
Reservoir Computing (Rezervuar Hesaplama)
Reservoir Computing (Rezervuar Hesaplama), tekrarlayan sinir ağlarının (RNN) eğitilmesindeki klasik güçlükleri aşmak için tasarlanmış bir hesaplama çerçevesidir. Yöntemin özü şudur: büyük, karmaşık ve rastgele bağlantılı bir "rezervuar" ağının ağırlıkları sabittir ve hiç güncellenmez; yalnızca çıkış katmanı (readout) eğitilir. Bu yaklaşım, geri yayılım boyunca zamanla çoğalan gradyan sorunlarını (vanishing/exploding gradient) tamamen ortadan kaldırır ve eğitimi basit bir doğrusal regresyon problemine indirger. Reservoir Computing'in iki temel mimarisi vardır. 2001 yılında Herbert Jäger tarafından geliştirilen Echo State Network (ESN), seyrek bağlantılı ve rastgele ağırlıklı tekrarlayan bir ağdan oluşur; girdi sinyali bu ağı sürer, ağın zengin iç durumları zaman içindeki dinamikleri yüksek boyutlu bir uzayda kodlar. 2002'de Wolfgang Maass ve ekibi tarafından önerilen Liquid State Machine (LSM) ise biyolojik sinir ağlarından ilham alarak spiking (çekirdek ateşlemeli) nöronları kullanan karşılaştırılabilir bir yaklaşımdır. Bir rezervuarın en kritik hiperparametresi spektral yarıçaptır: ağırlık matrisinin en büyük özdeğerinin mutlak değeri. Bu değer 1'den küçük olduğunda sistem 'echo state property'ye sahip olur; yani geçmiş girdilerin etkisi zaman içinde sönümlenir ve sistem kararlı kalır. Tipik değerler 0,9–0,99 arasındadır. Spektral yarıçap 1'i aşarsa sistem kaostan kaçamaz; çok küçük olursa geçmiş bilgiyi koruyamaz. Uygulama alanları geniştir: Lorenz attraktörü gibi kaotik sistem tahmini, zaman serisi öngörüsü, finansal veri modelleme, konuşma tanıma, robotik motor kontrolü ve biyomedikal sinyal işleme. Son yıllarda fotonik, optik ve kuantum ortamlarında gerçekleştirilen fiziksel rezervuar hesaplama, son derece düşük enerji tüketimiyle donanım seviyesinde gerçek zamanlı hesaplama olanağı sunmaktadır.
Catastrophic Forgetting (Yıkıcı Unutma)
Yıkıcı Unutma (Catastrophic Forgetting ya da Catastrophic Interference), yapay sinir ağlarının yeni bir görev için eğitildiğinde önceki görevlerde öğrendikleri bilgileri ani ve büyük ölçüde yitirmesi olgusudur. İlk kez 1989'da McCloskey ve Cohen tarafından bağlantıcı modelleri inceleyen bir çalışmada tanımlanmış; Ratcliff (1990) ise olgunun teorik temellerini genişletmiştir. Temel mekanizma, geri yayılım (backpropagation) algoritmasının tüm ağırlıkları güncellemesinden kaynaklanır. Model yeni görev verisiyle eğitildiğinde ağırlık güncellemeleri, önceki görev için optimize edilmiş değerlerin doğrudan üzerine yazar. İnsan beyninin hipokampal konsolidasyon mekanizması sayesinde yeni bilgiyi eskiyi bozmadan entegre edebildiği düşünüldüğünde, standart yapay sinir ağlarının bu dezavantajı açıkça ortaya çıkar. Bu sorunu aşmak için üç temel strateji geliştirilmiştir. Düzenleme (regularization) tabanlı yöntemler, önceki görevler için kritik ağırlıkları belirleyerek bu ağırlıkların değişimini kısıtlar; en bilineni Elastic Weight Consolidation (EWC)'dir. EWC, Fisher bilgi matrisini kullanarak her ağırlığın önceki görev için ne kadar önemli olduğunu hesaplar ve buna göre L2 cezası uygular. Bellek tekrarı (memory replay) yöntemleri, geçmiş görevlerin örneklerini bir tampon bellekte saklar ya da üretici modeller aracılığıyla sentetik olarak yeniden oluşturarak yeni eğitimle karıştırır. Mimari genişleme yöntemleri ise her yeni görev için ağa ek parametreler ekler ve eski ağırlıkları dondurur; Progressive Neural Networks (PNN) ve PackNet bu yaklaşımın en bilinen örnekleridir. Yıkıcı unutma, büyük dil modellerinin güncellenmesi, robotik sistemlerin yeni beceriler kazanması ve kişiselleştirme uygulamalarında kritik bir engel oluşturmaktadır. 2020'lerin ortasında araştırmacılar, LoRA gibi parametre-verimli ince ayar yöntemleriyle EWC ve replay tekniklerini birleştiren hibrit yaklaşımlar geliştirerek bu sorunu LLM'ler bağlamında ele almaktadır. Yıkıcı unutmayı aşabilen sistemler, yapay genel zekaya (AGI) giden yolda zorunlu bir adım olarak kabul görmektedir.
Continual Learning (Sürekli (Ömür Boyu) Öğrenme)
Sürekli Öğrenme (Continual Learning / Lifelong Learning), bir yapay zeka modelinin art arda gelen görevleri zamanla öğrenirken önceki görevlerdeki performansını koruyabilmesini hedefleyen araştırma alanıdır. Bu alandaki temel zorluk "yıkıcı unutma" (catastrophic forgetting) olgusudur: standart sinir ağları yeni bir göreve ince ayarlandığında önceki görev için öğrenilmiş ağırlıklar üzerine yazar, bu durum eski bilginin silinmesine neden olur. İnsan beyninin nöroplastisitesi, yeni bilgiyi eski bilgiyi bozmadan entegre etme kapasitesi, sürekli öğrenme araştırmalarının biyolojik ilham kaynağıdır. Çözüm yaklaşımları üç temel kategoride toplanır. Regülasyon tabanlı yöntemler (EWC — Elastic Weight Consolidation), önceki görevler için kritik ağırlıklara yüksek esneklik kısıtı uygulayarak değişimlerini yavaşlatır. Bellek tekrar yöntemleri (Memory Replay), geçmiş görevlerden örnek tamponuna alınan verilerle veya bunları taklit eden üretici modellerle güncel eğitimi destekler. Mimari genişleme yöntemleri ise her yeni görev için ağa yeni nöron veya katman kapasitesi ekleyerek eski ağırlıklara dokunmadan büyümeyi sağlar. Pratik uygulamalar açısından sürekli öğrenme özellikle sürüklenme gösteren veri dağılımlarında (concept drift) kritiktir. Gerçek zamanlı anomali tespiti, kişiselleştirilmiş öneri sistemleri ve giyilebilir sağlık cihazları gibi alanlarda model yeniden eğitimi masraflı ve sık gereklidir; sürekli öğrenme bu süreçleri daha verimli kılar. Türkiye'de fintech şirketlerinin dolandırıcılık tespit modelleri ve e-ticaret kişiselleştirme sistemleri değişen kullanıcı davranışlarına uyum sağlama ihtiyacıyla sürekli öğrenme alanına ilgi duymaktadır. Akademik açıdan ise bu alan, yapay genel zekanın (AGI) vazgeçilmez koşullarından biri olarak kabul görmektedir. Federated continual learning, hem merkezi olmayan eğitim hem de zamanla değişen görevleri birleştirerek aygıt başına modellerin kişiselleşmesine olanak tanıyan ileri düzey bir paradigmadır. Class-incremental, task-incremental ve domain-incremental olmak üzere üç temel senaryo türü, sürekli öğrenme yöntemlerinin hangi koşullar altında karşılaştırılacağını belirleyen standart ölçüt çerçevesi haline gelmiştir.
Derin Öğrenme (Derin Öğrenme)
Derin Öğrenme (Deep Learning), çok sayıda işlem katmanından oluşan yapay sinir ağlarını kullanarak verilerden hiyerarşik temsiller öğrenen makine öğrenmesi alt dalıdır. 2012'de AlexNet'in ImageNet yarışmasını kazanmasıyla ana akıma giren derin öğrenme, görüntü tanıma, doğal dil işleme, ses sentezi ve oyun oynama gibi alanlarda insan performansını aşan sonuçlar üretmektedir. Temel yapı taşı yapay nörondur: gelen sinyallerin ağırlıklı toplamını bir aktivasyon fonksiyonundan (ReLU, sigmoid, tanh) geçirerek çıktı üretir. Yüzlerden binlerce nöronun art arda katmanlar oluşturması hiyerarşik özellik çıkarımını mümkün kılar. Erken katmanlar kenar ve doku gibi düşük seviye özellikleri, derin katmanlar yüz veya nesne gibi yüksek seviye soyutlamaları kodlar. Geri yayılım (backpropagation) ve stokastik gradyan inişi (SGD) bu ağırlıkları optimize eder; her adımda kayıp fonksiyonu tahmin hatasını ölçer ve parametre güncellenir. Mimari ailesi geniştir. Evrişimli sinir ağları (CNN) görüntü verisini işlemek için yerel bağlantı ve ağırlık paylaşımı kullanır; ResNet ve EfficientNet bu ailenin tanınan üyeleridir. Tekrarlayan sinir ağları (RNN) ve LSTM zaman serisi ile metin verisini sıralı olarak işler. Transformer mimarisi, öz-dikkat mekanizmasıyla paralel eğitim avantajı sunar ve GPT, BERT gibi büyük dil modellerinin temelini oluşturur. Üretici çekişmeli ağlar (GAN) ve difüzyon modelleri yeni içerik sentezler. Temel gereksinimler büyük veri ve yüksek işlem gücüdür; NVIDIA GPU'ları ve Google TPU'ları bu ihtiyacı karşılar. Aşırı uyum sorunuyla başa çıkmak için dropout, toplu normalizasyon ve veri artırma teknikleri yaygın biçimde uygulanır. Transfer öğrenme, önceden eğitilmiş modellerin yeni görevlere uyarlanmasını sağlar; böylece veri ve hesaplama maliyeti büyük ölçüde azalır. Pratik uygulamalar arasında tıbbi görüntü analizi, özerk araç algı sistemleri, gerçek zamanlı konuşma tanıma ve kişiselleştirilmiş öneri motorları öne çıkar. GPT, Claude ve Gemini gibi büyük dil modelleri ile Stable Diffusion ve Midjourney gibi görsel üretim sistemleri doğrudan derin öğrenme mimarileri üzerine inşa edilmiştir. Türkiye'de e-ticaret kişiselleştirme, bankacılık dolandırıcılık tespiti ve Türkçe NLP uygulamaları başlıca kullanım senaryoları arasındadır. 2026 itibarıyla çok-modlu mimariler ve ölçekleme yasaları derin öğrenmenin sınırlarını genişletmektedir.
MLP (Çok Katmanlı Algılayıcı)
MLP (Multilayer Perceptron — Çok Katmanlı Algılayıcı), en az bir gizli katman içeren ileri beslemeli (feedforward) yapay sinir ağıdır. 1958'de Frank Rosenblatt tarafından tasarlanan tek katmanlı algılayıcı yalnızca doğrusal ayrılabilir verileri sınıflandırabilirken, gizli katmanların eklenmesiyle MLP; XOR problemi dahil karmaşık, doğrusal olmayan örüntüleri öğrenme kapasitesi kazandı. MLP üç ana bileşenden oluşur. Giriş katmanı ham veriyi ağa iletir; herhangi bir hesaplama yapmaz. Bir veya daha fazla gizli katman, önceki katmanın tüm nöronlarına tam bağlı (fully connected) nöronlar barındırır ve gerçek öğrenme burada gerçekleşir. Çıkış katmanı ise sınıflandırma problemlerinde sınıf sayısı kadar, regresyon problemlerinde genellikle tek nöronlu sonuç üretir. Her nöron şu işlemi uygular: girdilerin ağırlıklı toplamını hesaplar, bir sapma (bias) değeri ekler ve doğrusal olmayan bir aktivasyon fonksiyonundan (ReLU, Sigmoid ya da Tanh) geçirir. Doğrusal olmayan aktivasyon olmadan çok katmanlı bir ağ, matematiksel olarak tek katmanlı bir ağa indirgenirdi ve karmaşık örüntüleri öğrenemezdi. MLP'yi pratik hale getiren atılım, Rumelhart, Hinton ve Williams'ın 1986'da Nature dergisinde yayımladığı geri yayılım (backpropagation) algoritmasıdır. Algoritma, çıkış hatasını zincir kuralıyla katman katman geri yayarak her ağırlığın kayba olan katkısını hesaplar; ardından optimizör (genellikle SGD veya Adam) bu gradyanlarla ağırlıkları günceller. Bu döngü on binlerce kez tekrarlanarak model adım adım öğrenir. Evrişimsel Sinir Ağları (CNN) paylaşımlı ağırlıklarla görüntü verisini çok daha verimli işlerken, MLP'nin tam bağlantılı yapısı uzamsal ilişkileri doğal olarak yakalayamaz. Tekrarlayan Sinir Ağları (RNN) metin ve zaman serisi gibi ardışık veriler için gizli bir durum taşırken, MLP sabit boyutlu girdi üzerinde çalışır. 2021'de Google Brain'in tanıttığı MLP-Mixer mimarisi, öz-dikkat (self-attention) mekanizması yerine yalnızca MLP katmanlarıyla Vision Transformer'larla rekabetçi görüntü sınıflandırma sonuçları elde etti. Bu, doğru tasarımla saf MLP'lerin de güçlü görevler üstlenebileceğini kanıtladı. Günümüzde tablo verisi, özellik çıkarımı sonrası sınıflandırma ve büyük modellerin dahili bileşeni olarak MLP aktif kullanımını sürdürmektedir.
Model Pruning Nedir? Sinir Ağlarında Budama (Model Budama)
Model budama (model pruning), milyarlarca parametreye sahip büyük sinir ağlarında performansı en az etkileyen ağırlıkları veya yapısal bileşenleri belirleyip kaldıran bir model optimizasyon yöntemidir. Temel fikir basittir: iyi eğitilmiş bir ağda parametrelerin önemli bir bölümü tahmin kalitesine minimum katkı sağlar ve bu parametreler olmadan model neredeyse aynı doğrulukla çalışmaya devam edebilir. **Budama Türleri** Yapısal budama (structured pruning), nöron, filtre veya katman gibi tüm yapısal birimleri kaldırır. Bu yaklaşım, standart CPU/GPU donanımında doğrudan bellek ve hız kazanımı sağlar; karmaşık özel donanım gerekmez. Buna karşın yapısal olmayan budama (unstructured pruning), bireysel ağırlıkları sıfırlayarak seyrek (sparse) bir matris üretir. Sıkıştırma oranı çok yüksek olabilir ancak bu seyrekliği işlemek için özel seyrek matris donanımı ya da yazılım desteği gerekir. **Büyüklük Tabanlı Budama** En yaygın yöntem büyüklük tabanlı (magnitude-based) budamadır: mutlak değerleri eşik değerin altındaki ağırlıklar sıfırlanır. Uygulaması kolaydır ve pek çok durumda yeterli sonuç verir. Daha gelişmiş gradyan tabanlı yaklaşımlar ise ağırlığın kayıp fonksiyonuna katkısını (saliency) hesaplayarak gerçekten önemsiz olanları seçer. **Yinelemeli Budama ve Lottery Ticket Hipotezi** Tek adımda agresif budama doğruluğu düşürebilir. Bu nedenle pratikte "budama, ince ayar (fine-tune) ve tekrar budama" döngüsü tercih edilir. 2019'da Frankle ve Carlin tarafından öne sürülen Lottery Ticket Hipotezi, büyük sinir ağlarında küçük ama etkili alt ağlar (winning tickets) gizlendiğini; bu alt ağların sıfırdan aynı doğrulukla eğitilebildiğini ileri sürer. Bu hipotez, budamanın neden bu kadar iyi çalıştığını teorik olarak açıklar. **Pratik Kullanım Alanları** Model budama özellikle kenar cihazlarda (akıllı telefon, IoT sensörü, gömülü sistem) büyük modelleri çalıştırmak için kritik önem taşır. GPT, LLaMA gibi büyük dil modellerini mobil uygulamalarda kullanılabilir hale getiren yöntemlerin başında gelir. Niceleme (quantization) ve bilgi damıtma (knowledge distillation) ile birlikte kullanıldığında model boyutu ve çıkarım gecikme süresi dramatik biçimde azaltılabilir.
Perceptron (Algılayıcı (Yapay Nöron))
Perceptron, 1957 yılında Frank Rosenblatt tarafından icat edilen ve biyolojik sinir hücresinden ilham alan en basit yapay sinir ağı birimidir. Modern derin öğrenmenin atası kabul edilir. Matematiksel açıdan perceptron; giriş değerlerini ağırlıklarla (weights) çarpıp topladıktan sonra bir aktivasyon eşiğine (threshold) göre çıktı üreten bir ikili sınıflandırıcıdır. Çalışma prensibi şu şekilde özetlenebilir: n adet giriş değeri (x₁, x₂, ..., xn) her biri bir ağırlıkla (w₁, w₂, ..., wn) çarpılır ve ağırlıklı toplamı hesaplanır. Bu toplamın bir bias terimi eklenerek aktivasyon fonksiyonundan (başlangıçta basamak fonksiyonu) geçirilmesiyle 0 veya 1 çıktısı üretilir. Öğrenme sürecinde yanlış sınıflandırılan örnekler için ağırlıklar perceptron öğrenme kuralına göre güncellenir. Perceptron öğrenme teoremi, doğrusal olarak ayrılabilir veri kümeleri için algoritmanın sonlu adımda yakınsayacağını kanıtlar. Ancak 1969'da Marvin Minsky ve Seymour Papert, perceptronun XOR gibi doğrusal olarak ayrılamayan problemleri çözemeyeceğini gösterdi. Bu kısıtlama "XOR problemi" olarak tarihe geçti ve yapay zeka araştırmalarında yaklaşık on yıl süren "Yapay Zeka Kışı"nı tetikledi. Çözüm, birden fazla perceptron katmanının birbirine bağlanmasıyla oluşturulan çok katmanlı algılayıcılarda (Multilayer Perceptron — MLP) bulundu. Her katman bir doğrusal olmayan aktivasyon fonksiyonu (ReLU, sigmoid, tanh) kullanarak önceki katmanın çıktılarını işler. Geri yayılım (backpropagation) algoritmasıyla bu ağlar eğitilebilir hale geldi ve modern derin öğrenmenin temeli atıldı. Günümüzde tek başına perceptron neredeyse hiç kullanılmaz; ancak her yapay nöron perceptronun modernize edilmiş bir versiyonudur. Transformer mimarisindeki dikkat (attention) mekanizmasından CNN'deki evrişim nöronlarına kadar tüm derin öğrenme yapıları perceptron ilkesini temel almaktadır. Bu anlamda perceptron, yapay zekanın köklerini anlamak için vazgeçilmez bir kavramdır. Donanım tarafında ise nöromorifik çipler, perceptron hesaplamasını biyolojik nörona daha yakın bir fiziksel modelle uygulamayı hedeflemektedir; bu alan yüksek enerji verimliliği gerektiren edge AI cihazları için araştırılmaya devam etmektedir.
Pruning (Sinir Ağı Budaması)
Sinir ağı budaması (neural network pruning), büyük ve karmaşık derin öğrenme modellerini daha küçük, hızlı ve verimli hale getirmek amacıyla modeldeki gereksiz ya da önemsiz parametreleri kaldıran bir model sıkıştırma yöntemidir. Bir insan beyninin yeni bağlantılar kurarken kullanılmayan sinaptik bağlantıları budadığı bilinmektedir; benzer bir ilkeden esinlenen bu teknik, yapay sinir ağlarına da uygulanır. Budama, çoğunlukla model eğitiminin ardından gerçekleştirilir; ancak eğitim sırasında veya eğitim öncesinde de uygulanabilen yöntemler araştırılmaktadır. Temel amacı, modelin doğruluk oranını kabul edilebilir düzeyde koruyarak parametre sayısını, bellek kullanımını ve hesaplama maliyetini önemli ölçüde düşürmektir. Budama teknikleri iki ana kategoriye ayrılır. Yapılandırılmamış budama (unstructured pruning), ağırlık matrisindeki bireysel bağlantıları kaldırır; seyrek matris yapısı oluşturur ancak standart donanımda gerçek hız kazanımı için özel kütüphane veya donanım desteği gerektirir. Yapılandırılmış budama (structured pruning) ise tüm filtreler, kanallar veya katmanlar gibi bütüncül yapıları bir bütün olarak siler; standart GPU ve CPU'larda doğrudan çıkarım hızı artışı ve model küçülmesi elde edilir. En yaygın yöntem büyüklük tabanlı budamadır (magnitude-based pruning): mutlak değeri en küçük ağırlıklar, modelin öğrendiği bilgiye katkısı az kabul edilerek kaldırılır. Ardından model, performansını yeniden kazanması için ince ayar (fine-tuning) sürecinden geçirilir. Bu "eğit → buda → ince ayar" döngüsü, hedef boyut ve doğruluk değerlerine ulaşılana kadar birkaç kez tekrarlanabilir. 2018'de Frankle ve Carlin tarafından öne sürülen Piyango Bileti Hipotezi (Lottery Ticket Hypothesis), büyük sinir ağlarının başlangıçtan beri eğitilebilir nitelikte küçük alt ağlar — "kazanan biletler" — barındırdığını ileri sürer. Bu alt ağlar, tam ağın yüzde 10 ile 20'si büyüklüğünde olmasına rağmen benzer doğruluk oranlarına ulaşabilmektedir. Budama; mobil uygulamalar, IoT cihazları ve kenar bilişim (edge computing) gibi hesaplama kapasitesinin sınırlı olduğu ortamlarda dağıtımı kolaylaştırır. Günümüzde budama çoğunlukla niceleme (quantization) ve bilgi damıtma (knowledge distillation) ile bir arada uygulanarak çok daha yüksek sıkıştırma oranlarına ulaşılır.
Siamese Network (Siyam Ağı)
Siyam Ağı (Siamese Network), ağırlık paylaşan iki veya daha fazla özdeş alt ağ (branch) kullanarak girdi çiftleri ya da üçlüleri arasındaki benzerliği öğrenen derin öğrenme mimarisidir. Adını 19. yüzyılda ünlü ikiz Chang ve Eng Bunker'dan alan bu mimari, paralel dalların aynı parametre setini paylaşması nedeniyle farklı girdileri tutarlı bir gömülü uzay (embedding space) içine eşler: benzer öğeler bu uzayda birbirine yakın, farklı öğeler ise uzak noktalara yerleşir. Temel çalışma ilkesi şöyledir: iki girdi (örneğin iki yüz fotoğrafı) tamamen özdeş ağırlıklara sahip iki daldan geçerek birer özellik vektörüne dönüştürülür; ardından bu vektörler arasındaki Öklid ya da kosinüs mesafesi bir kayıp fonksiyonuyla optimize edilir. Yaygın kayıp fonksiyonları contrastive loss (benzer çiftlerin mesafesini küçültür, farklı çiftlerin mesafesini artırır) ve triplet loss'tur (bir "çapa" örneğin benzerine yakın, farklısına ise uzak kalması için cezalandırılır). Mimari ilk kez 1994'te Bromley ve arkadaşları tarafından el yazısı imza doğrulama için önerildi. Koch et al. (2015), bunu one-shot görüntü tanımaya uyarladı. Google'ın FaceNet modeli (Schroff et al., 2015), triplet loss ile eğitilmiş siyam benzeri mimarisini yüz tanımada insan performansını aşan sonuçlara ulaşmak için kullandı. Siyam ağları; yüz tanıma, biyometrik kimlik doğrulama, el yazısı ve imza doğrulama, görüntü benzerliği arama, belge eşleştirme ve tıbbi görüntü analizi gibi alanlarda özellikle değerlidir. Sınıf başına yalnızca birkaç eğitim örneği mevcutken bile çalışabildiğinden one-shot ve few-shot öğrenme senaryolarının tercih edilen mimarisidir. PyTorch ve TensorFlow'da paylaşımlı katman (shared weights) mekanizmasıyla kolayca uygulanır. Türkiye'de e-devlet biyometrik sistemleri, bankacılıkta imza doğrulama ve güvenlik kamerası tabanlı erişim kontrolünde siyam ağı temelli modeller aktif biçimde kullanılmaktadır.
Weights and Biases (Ağırlıklar ve Sapmalar)
Ağırlıklar (Weights) ve Sapmalar (Biases), bir yapay sinir ağındaki öğrenilebilir parametrelerin iki temel bileşenidir. Ağırlıklar, bir önceki katmandan gelen her girdinin çıktıya katkısının gücünü; sapmalar ise nöronun girdi sinyalinden bağımsız olarak tetiklenme eşiğini belirler. Model eğitimi bu iki parametre grubunun kayıp fonksiyonunu minimize edecek biçimde güncellenmesinden ibarettir. Matematiksel açıdan bir tam bağlantılı (fully connected) nöron şu işlemi gerçekleştirir: giriş vektörü x ile ağırlık matrisi W'nın iç çarpımı alınır, bias terimi b eklenir ve aktivasyon fonksiyonundan geçirilir: y = f(Wx + b). Ağırlıklar genellikle Xavier veya He başlatma yöntemleriyle rastgele, sapma değerleri ise sıfır veya küçük sabitlerle başlatılır; rastgele simetri kırma olmadan tüm nöronlar özdeş kalır. Eğitim sürecinde stokastik gradyan inişi (SGD) ve türevleri (Adam, AdamW, RMSProp) geri yayılım algoritmıyla hesaplanan gradyanlar yönünde parametreleri günceller. Öğrenme hızı (learning rate) bu adım büyüklüğünü kontrol eden kritik hiper parametredir; çok büyük öğrenme hızı kararsız eğitime, çok küçük öğrenme hızı ise yavaş yakınsamaya neden olur. Parametre sayısı model kapasitesini doğrudan belirler. GPT-3'ün 175 milyar, Llama 3.1 405B'nin ise 405 milyar parametresi mevcuttur. Bu parametrelerin tamamı çoğunlukla Float16 veya BF16 biçiminde depolanır; 7 milyar parametreli bir model FP16'da yaklaşık 14 GB VRAM gerektirir. L1 ve L2 düzenlileştirme (regularization) yöntemleri, ağırlıkların aşırı büyümesini cezalandırarak aşırı öğrenmeyi (overfitting) dizginler. Transferi öğrenme (transfer learning) bağlamında önceden eğitilmiş bir modelin ağırlıkları yeni bir görev için başlangıç noktası olarak kullanılır. Sadece son katmanların ağırlıkları güncellenmesi (fine-tuning), tüm modeli sıfırdan eğitmeye kıyasla çok daha az veri ve hesaplama gerektirir. LoRA (Low-Rank Adaptation) ise ağırlık matrislerini düşük ranklı matrislerle temsil ederek eğitilecek parametre sayısını dramatik biçimde azaltır; bu yöntem büyük dil modellerinin tüketici donanımında ince ayarlanmasını mümkün kılan temel tekniktir.