category Derin Öğrenme
Derin Öğrenme kategorisi, yapay zeka ve makine öğrenimi alanındaki 78 temel terim ve kavramı kapsar: 3D Yeniden Yapılandırma, Activation Function, Attention (Dikkat Mekanizması), Audio Codec, Autoencoder, Backpropagation. Her terim için tanım, örnek ve ilgili kavramları bu sayfadan keşfedebilirsiniz.
3D Yeniden Yapılandırma (3D Yeniden Yapılandırma)
3D yeniden yapılandırma (3D Reconstruction), bir veya birden fazla 2B görüntüden, video akışından ya da derinlik sensörü verisinden üç boyutlu geometrik modeller elde etmeye yarayan bilgisayar görüşü ve yapay zeka alanıdır. Yapısal Hareket (Structure from Motion — SfM), Çok-Görüş Stereo (Multi-View Stereo — MVS) ve sinirsel ağ tabanlı derinlik tahmini gibi teknikler kullanarak gerçek dünyadaki nesnelerin ve ortamların dijital 3B kopyasını üretir. Klasik yaklaşımlarda SfM yöntemi, aynı sahnenin farklı açılardan çekilmiş görüntülerinde ortak anahtar noktaları (SIFT, ORB) tespit ederek kamera konumlarını ve 3B nokta bulutunu eş zamanlı tahmin eder. COLMAP gibi açık kaynak araçlar bu alanda standart haline gelmiştir. Çok-Görüş Stereo ise SfM çıktısı olan seyrek nokta bulutunu yoğunlaştırarak yüzey ağı (mesh) oluşturur ve çok daha ayrıntılı geometri elde edilmesini mümkün kılar. 2020 yılında tanıtılan Neural Radiance Fields (NeRF), sınırlı sayıda görüntüden fotogerçekçi 3B sahneleri hacimsel olarak öğrenen devrimci bir yaklaşım sundu. NeRF, aydınlatma ve görünümü de modelleyerek yeni kamera açılarından gerçekçi sentez yapabilmektedir. 2023 yılında geliştirilen 3D Gaussian Splatting (3DGS) ise NeRF'e kıyasla çok daha hızlı gerçek zamanlı render elde ederek mobil ve gömülü sistemlerde kullanımı mümkün kıldı. Tek bir görüntüden derinlik bilgisi çıkaran monoküler derinlik tahmini, akıllı telefonlar ve tek kameralı robotlar gibi sistemlerde 3B anlayışı mümkün kılmaktadır. MiDaS ve Depth Anything gibi büyük ölçekli veriyle ön-eğitilmiş modeller bu alanda yüksek genellenebilirlik ortaya koymuştur. 3D yeniden yapılandırma; artırılmış ve sanal gerçeklik içerikleri oluşturmak, otonom araçlarda çevre modelleme, tıbbi görüntülemede organ geometrisi elde etme, kültürel mirasın dijitalleştirilmesi, robotik tutma planlaması ve dijital ikiz sistemleri için yaygın biçimde kullanılmaktadır. Apple Vision Pro ve Meta Quest gibi cihazlardaki gelişmiş derinlik sensörleri, bu teknolojiyi tüketici ürünlerine taşımaktadır.
Activation Function (Aktivasyon Fonksiyonu)
Aktivasyon Fonksiyonu, yapay sinir ağlarında (YSA) her nöronun çıktısını belirleyen matematiksel bir dönüşüm fonksiyonudur. Biyolojik nöronların "ateşleme eşiğine" benzer şekilde, yapay bir nöronun aldığı ağırlıklı toplam sinyali alıp, bir sonraki katmana hangi değeri ileteceğini hesaplar. **Neden Gereklidir?** Aktivasyon fonksiyonu olmadan, ne kadar derin olursa olsun her yapay sinir ağı yalnızca doğrusal bir fonksiyon gibi davranır. Yani yüzlerce katmanlı bir ağ bile tek bir doğrusal dönüşüme indirgenebilir ve ağ karmaşık örüntüleri öğrenemez. Aktivasyon fonksiyonları, ağa *doğrusal olmayan* (non-linear) özellik kazandırarak görüntü tanıma, dil anlama ve ses işleme gibi gerçek dünya problemlerinin çözülmesini mümkün kılar. **Yaygın Türler** **ReLU (Rectified Linear Unit):** f(x) = max(0, x) formülüyle çalışır; negatif değerleri sıfırlar, pozitif değerleri olduğu gibi iletir. Hesaplama verimliliği ve "vanishing gradient" sorununu büyük ölçüde çözmesi sayesinde derin öğrenmede standart tercih haline gelmiştir. **Sigmoid:** Çıktıyı 0 ile 1 arasına sıkıştırır; olasılık yorumlaması için uygundur. Ancak derin ağlarda gradyanların küçülüp yok olmasına (vanishing gradient) yol açabilir. İkili sınıflandırma problemlerinin çıkış katmanında sıklıkla kullanılır. **Tanh (Hiperbolik Tanjant):** Sigmoid'e benzer ama çıktı aralığı –1 ile 1 arasındadır; sıfır merkezli yapısı gizli katmanlarda sigmoid'den daha iyi performans sağlar. **Softmax:** Çok sınıflı sınıflandırma görevlerinde çıkış katmanında kullanılır; tüm çıktıların toplamını 1'e eşitleyerek her sınıf için olasılık dağılımı üretir. **Leaky ReLU:** ReLU'nun "ölü nöron" (dying neuron) sorununu gidermek için negatif girdilere küçük bir eğim (genellikle 0.01) uygular; eğitimde nöronların kalıcı olarak susmamasını sağlar. **GELU (Gaussian Error Linear Unit):** GPT ve BERT gibi modern transformer modellerinin tercih ettiği fonksiyondur. Gaussian dağılımını temel alan yumuşak eşik mekanizması sayesinde özellikle büyük dil modellerinde yüksek performans gösterir. **Doğru Fonksiyon Nasıl Seçilir?** Gizli katmanlar için ReLU ailesi (ReLU, Leaky ReLU, ELU) genellikle ilk tercihtir. İkili sınıflandırma çıkışı için sigmoid, çok sınıflı çıkış için softmax idealdir. Regresyon görevlerinde çıkış katmanında genellikle aktivasyon uygulanmaz. GPT, BERT veya LLaMA gibi transformer tabanlı büyük dil modellerinde GELU veya SwiGLU gibi modern fonksiyonlar kullanılır. **Dikkat Edilmesi Gerekenler** Yanlış aktivasyon seçimi ağın öğrenememesine veya eğitimin çökmesine neden olabilir. Özellikle çok derin ağlarda sigmoid ve tanh kullanımı, geri yayılım (backpropagation) sırasında gradyanların sıfırlanmasına yol açarak eğitimi felç edebilir. PyTorch ve TensorFlow/Keras gibi modern derin öğrenme çerçeveleri tüm yaygın aktivasyon fonksiyonlarını hazır bileşen olarak sunar.
Attention (Dikkat Mekanizması) (Dikkat Mekanizması)
Attention (Dikkat Mekanizması), bir sinir ağının çıktı üretirken giriş dizisinin hangi bölümlerine ne ölçüde odaklanacağını dinamik olarak öğrenen nöral ağ bileşenidir. 2014'te makine çevirisi için önerilen temel dikkat mekanizması, 2017'de "Attention Is All You Need" makalesiyle Transformer mimarisinin çekirdeğine dönüştü ve modern yapay zekanın en dönüştürücü bileşeni haline geldi. Dikkat mekanizmasının temel sezgisi, insan dikkatini taklit etmektir: cümledeki her kelimeye eşit ağırlık vermek yerine, o anki tahmin için en ilgili kelimelere daha yüksek ağırlık vermek. Matematiksel olarak üç matris kullanılır: Sorgu (Query, Q), Anahtar (Key, K) ve Değer (Value, V). Q ile K'nın nokta çarpımı yumuşatılmış maksimum (softmax) fonksiyonundan geçirilerek dikkat ağırlıkları elde edilir; bu ağırlıklar V matrisinin ağırlıklı toplamını belirler: Attention(Q, K, V) = softmax(QK^T / √d_k) × V. Öz-dikkat (self-attention), bir dizinin kendi içindeki öğeler arasındaki bağımlılıkları modelleyerek çalışır; GPT ve BERT bu mekanizmayı kullanır. Çapraz dikkat (cross-attention) ise farklı iki dizinin öğelerini ilişkilendirir; kodlayıcı-çözücü modellerinde sorgu çözücüden, anahtar/değer çiftleri kodlayıcıdan gelir. Çok başlı dikkat (multi-head attention), birden fazla dikkat başını paralel çalıştırarak farklı ilişki alt uzaylarını eş zamanlı öğrenir. Dikkat mekanizması, konum bilgisini doğrudan içermez; bu nedenle Transformer'lara konumsal kodlama (positional encoding) eklenir. Flash Attention gibi bellek-etkin uygulamalar uzun bağlam pencerelerini mümkün kılarken kayan pencere dikkat (sliding window attention) yerel bağımlılıklara odaklanarak hesaplama karmaşıklığını düşürür. Dikkat mekanizması yalnızca dil modeliyle sınırlı kalmadı: Vision Transformer (ViT) görüntü yamalarını dizi olarak ele alarak öz-dikketi bilgisayarlı görüye uyarladı; Whisper ses tanıma, AlphaFold 2 protein yapısı tahmini de bu mekanizmaya dayanır. RNN ve LSTM'nin hâkim olduğu dönemde paralelleştirme kısıtlaması aşılamıyordu; dikkat mekanizması bu kısıtı ortadan kaldırarak GPT-4, Gemini ve Claude gibi modellerin 100.000+ token bağlam penceresiyle çalışmasını olanaklı kıldı.
Audio Codec (Audio Codec)
Audio codec (ses kodeki), analog veya dijital ses sinyallerini verimli biçimde kodlayan (sıkıştıran) ve çözümleyen yazılım ya da donanım bileşenidir. "Codec" sözcüğü "coder-decoder" kelimelerinin kısaltmasıdır. Ham ses, CD kalitesinde saniyede yaklaşık 1.4 Mbit veri üretir; codec bu veriyi saklanabilir ve aktarılabilir boyuta küçülterek insan kulağının algılayamayacağı frekans bileşenlerini atar. Geleneksel kodekler psikoakustik maskeleme ilkesini kullanır: insan işitme sistemi, güçlü seslerin yanındaki zayıf sesleri ayırt edemez; bu boşluk, bit bütçesini sadece kritik frekanslara yoğunlaştırarak sıkıştırma oranını artırır. MP3 (MPEG-1 Audio Layer III) bu yaklaşımın öncüsüdür: 1.4 Mbit/s ham sesi 128 kbps'e, yani yaklaşık 11 kat sıkıştırır. AAC (Advanced Audio Coding) aynı bant genişliğinde MP3'e kıyasla belirgin ses kalitesi iyileştirmesi sunar; Opus ise hem düşük gecikmeli iletişim hem de yüksek kaliteli müzik aktarımı için optimize edilmiştir. 2021'den itibaren sinir ağı tabanlı neural audio codec'ler bu alanı yeniden tanımladı. Google'ın SoundStream modeli, evrişimli kodlayıcı (encoder) ve çözücü (decoder) ile birleştirilmiş artık vektör niceleme (Residual Vector Quantization, RVQ) mimarisini ilk kez büyük ölçekte başarılı biçimde uygulayan sistem oldu. RVQ'da ses dalgası, birbiriyle kademeli olarak giderek azalan artıkları öğrenen kod kitaplarına (codebook) eşlenir; her kademe bir öncekinin hatasını kodlar. Bu yaklaşım, 3 kbps gibi son derece düşük bit hızlarında konuşmayı anlaşılır biçimde korumayı mümkün kılar. Meta'nın EnCodec modeli (2022), 1.5 kbps ile 24 kbps arasında çalışır; en-iyi-sınıf müzik ve konuşma kalitesi üretirken gizli temsillerini VALL-E ve MusicGen gibi üretici modellerin doğrudan girdisi olarak sunar. Descript Audio Codec (DAC, 2023) ise 44.1 kHz örnekleme frekansını destekleyerek stüdyo kalitesinde kodlama olanağı tanır. Yapay zeka uygulamalarında audio codec'ler kritik bir ara katman işlevi görür. Büyük dil modellerinin ses üretebilmesi için ham dalga biçimlerinin ayrık token dizilerine dönüştürülmesi gerekir; bu dönüşümü RVQ tabanlı codec'ler gerçekleştirir. AudioLM ve SoundStorm modelleri codec tokenlerini bir sonraki token olasılığını tahmin eden transformatör mimarisiyle işler. Microsoft'un VALL-E modeli, konuşmacı sesini yalnızca 3 saniyelik ses örneğiyle kopyalayan sıfır-atış (zero-shot) TTS üretmek için aynı yaklaşımı benimser. Müzik üretiminde MusicLM ve Stable Audio'nun temelinde de benzer codec altyapıları yatar.
Autoencoder (Oto-Kodlayıcı)
Autoencoder, girdi verisini daha dusuk boyutlu bir ara temsile (latent uzay veya bottleneck) sikistiran bir encoder ve bu temsili orijinal boyuta geri donusturebilen bir decoder birlesiminden olusan sinir agi mimarisidir. Egitim hedefi ciktiyi girdiyle olabildigince ozdes kilanmaktir; bu basit hedef, modelin veri icerisindeki en onemli yapilari ogrenmesini zorlar. Autoencoder tamamen denetimsiz bir ogrenme yaklasimidur: etikete ihtiyac duymaz, hata sinyali yalnizca girdinin ne kadar iyi geri olusturuldugunu olcer. Bu ozellik onu buyuk etiketlenmemis veri kumelerinde ozellik cikarma ve boyut indirgeme icin degerli kilar. Temel bilesenler encoder (daraltici aglar), latent uzay (dar boyutlu ara temsil) ve decoder'dir (genisletici aglar). Latent uzayin boyutu ne kadar kucuk olursa model o kadar guclu sikilstirma ogrenmek zorunda kalir; ne kadar buyuk olursa geri olusturma kolaylasor ama ogrenilen ozellikler daha az kompakt olur. Pratik uygulamalar genis bir yelpazede yer alir. Goruntu gürültü giderme icin autoencoder, gurultulu goruntu girdi olarak alip temizini olusturmak uzere egitilir. Anomali tespitinde yalnizca normal veriyle egitilmis bir autoencoder, egitim dagiliminin disindaki ornekleri yuksek rekonstruksiyon hatasi ile tanir. Onerilim sistemlerinde kullanicilarin davranislarinin latent temsillerini ogrenmede kullanilir. Variational Autoencoder (VAE), klasik autoencoderin uretici bir versiyonudur. Latent uzaya belirleyici bir nokta degil bir olasilik dagilimi ogrenir: her girdi ornek icin bir ortalama ve varyans vektoru hesaplanir ve latent uzaydan ornekleme yapilir. Bu olasiliksal temsil, latent uzay uzerinde anlayisli interpolasyon ve ornekleme yapmayi mumkun kilar; bu ozellik VAE'yi goruntu sentezi, muzik uretimi ve drug design gibi alanlarda kullanilan temel uretici model yaklasimlarindan biri haline getirir. **Sik Sorulan Sorular** **Autoencoder ile PCA arasindaki fark nedir?** PCA dogrusal donusumler kullanir. Autoencoder dogrusal olmayan aktivasyon fonksiyonlariyla cok daha karmasik, dogrusal olmayan boyut indirgeme ogrenebilir; bu onu yuksek boyutlu goruntu ve ses verisi icin daha guclu kilar. **Latent boyut nasil secilir?** Goreve baglidir: ne kadar kompakt bir temsil gerektigine gore ayarlanir. Genellikle farkli latent boyutlarda denenip rekonstruksiyon kalitesi ve asagi akis gorevi performansi incelenerek secim yapilir. **Autoencoder overfitting yapabilir mi?** Evet. Latent uzay cok genis olursa model verinin her ayrıntısini ezberleyerek siradan bir kopya cikarmasi ogrenir; boyut indirgeme veya ozellik ogrenimine zori kalmaz. Dropout veya regularizasyon bunu onler. **VAE ile GAN arasindaki fark nedir?** VAE kapsamli latent uzay tanimlayan ve gercek dagilimi maksimum olabilirlikle optimize eden bir uretici modeldir. GAN ise bir uretici ve bir ayirt edici ag arasindaki rekabetci oyunla egitilir; GAN gorselleri genellikle daha keskin olur ancak egitimi daha istikrarsizdir.
Backpropagation (Geri Yayılım Algoritması)
Backpropagation (geri yayılım), bir yapay sinir ağının kayıp fonksiyonunun her ağırlığa göre kısmi türevini zincir kuralıyla çıkış katmanından giriş katmanına doğru hesaplayan eğitim algoritmasıdır. 1986'da Rumelhart, Hinton ve Williams'ın Nature makalesiyle yaygınlaşan yöntem, çok katmanlı ağların büyük ölçekte öğrenmesini mümkün kıldı ve derin öğrenmenin matematiksel omurgası oldu. Algoritma iki geçişle çalışır. İleri geçişte (forward pass) giriş verisi katman katman işlenir: her katmanda z = Wx + b doğrusal dönüşümü ve a = f(z) aktivasyonu hesaplanır, ara değerler bellekte tutulur. Üretilen tahmin gerçek etiketle karşılaştırılıp kayıp hesaplanır — sınıflandırmada çapraz entropi, regresyonda MSE tipik seçimlerdir. Geri geçişte (backward pass) ∂L/∂W = ∂L/∂a · ∂a/∂z · ∂z/∂W zinciri katman katman çözülür; her ağırlığın toplam hataya katkısı (gradyanı) bulunur ve SGD, Adam veya AdamW gibi bir optimizör W ← W − η·∂L/∂W kuralıyla güncelleme yapar. Verimliliği çarpıcıdır: gradyanı sonlu farklarla ölçmek N parametreli ağda N ayrı ileri geçiş gerektirirken, backpropagation tek geri geçişte tüm gradyanları verir. Bir geri geçişin maliyeti kabaca ileri geçişin iki katıdır; bu yüzden 100 milyar parametreli bir modelin eğitim adımı bile tek grafik geçişinde tamamlanır. GPT-5, Claude, Gemini ve Llama ailesi dahil 2026'nın tüm büyük modelleri, trilyonlarca token üzerinde bu döngüyü milyonlarca kez tekrarlayarak eğitildi; ön eğitimden sonra gelen RLHF ve DPO gibi hizalama aşamaları da gradyanlarını yine backpropagation ile hesaplar. Kavramın kökleri 1986'dan da eskiye gider: ters mod otomatik türevi 1970'te Seppo Linnainmaa formalize etti, Paul Werbos 1974 doktora tezinde sinir ağlarına uygulamayı önerdi. 1986 makalesi yöntemi geniş kitleye taşıdı; 2012'de AlexNet'in GPU üzerinde backpropagation ile ImageNet yarışmasını açık farkla kazanması ise derin öğrenme patlamasını başlattı. O günden bu yana algoritmanın kendisi neredeyse hiç değişmedi — değişen şey ölçek, donanım ve etrafındaki mühendislik oldu. Pratik zorlukları da vardır. Kaybolan gradyan (vanishing gradient) probleminde sigmoid/tanh gibi doyuma giren aktivasyonlar derin ağlarda gradyanı sıfıra yaklaştırır ve erken katmanlar öğrenemez; ReLU/GELU aktivasyonları, He/Xavier ağırlık başlangıcı, artık bağlantılar (ResNet, 2015) ve katman normalizasyonu bu sorunu büyük ölçüde çözdü. Patlayan gradyanda ise gradyan kırpma (gradient clipping) standart önlemdir. Bellek tarafında, ileri geçişte saklanan ara aktivasyonlar uzun dizilerde ana darboğaz olur; gradient checkpointing bu aktivasyonların bir kısmını silip geri geçişte yeniden hesaplayarak belleği hesap gücüyle takas eder. Modern çerçeveler — PyTorch autograd, TensorFlow GradientTape, JAX grad — hesaplama grafiğini otomatik kurar ve loss.backward() tek çağrısıyla tüm türevleri üretir; geliştirici zincir kuralını elle yazmaz. Dağıtık eğitimde binlerce GPU kendi mini-batch'inin gradyanını hesaplar, all-reduce ile ortalamalar senkronize edilir; ZeRO/FSDP gibi teknikler gradyan ve optimizör durumunu cihazlara bölerek trilyon parametreli eğitimleri mümkün kılar. Yine de algoritmanın matematiğini bilmek, öğrenme hızı seçimi, mimari tasarımı, karma hassasiyet (mixed precision) ayarları ve NaN kaynaklı hata ayıklamada belirleyici bir avantajdır. Kısacası bugün üretimde çalışan neredeyse her derin öğrenme modelinin altında aynı 40 yıllık fikir yatar: hatayı geriye yay, sorumluluğu ağırlıklara paylaştır, küçük adımlarla düzelt.
Batch Size (Yığın (Küme) Boyutu)
Batch size (yığın boyutu), bir yapay sinir ağının eğitiminde her gradyan güncellemesinde aynı anda işlenen eğitim örneği sayısını belirleyen hiperparametredir. Model tüm veri setini tek seferde hafızaya almak yerine veriyi küçük gruplara böler; batch size 32 ise ağırlıklar her 32 örnekte bir güncellenir. 10.000 örneklik bir veri setinde bu, epoch başına yaklaşık 313 güncelleme adımı demektir. Bu tek sayının önemi iki eksende toplanır: donanım ve öğrenme dinamiği. Donanım tarafında batch; model ağırlıkları, optimizer durumları ve ara aktivasyonlarla birlikte GPU belleğine (VRAM) sığmak zorundadır. Değer büyüdükçe bellek tüketimi yaklaşık orantılı artar, sınır aşıldığında Out of Memory (OOM) hatası alınır. Öğrenme tarafında ise küçük batch'ler gürültülü ama düzenleyici etki yapan gradyan tahminleri üretir ve genellemeyi iyileştirebilir; büyük batch'ler daha kararlı gradyanlar ve yüksek GPU verimliliği sunar ama keskin minimumlara (sharp minima) takılıp test performansını düşürme riski taşır. Pratikte üç yaklaşım ayırt edilir: batch size 1 ile çalışan stochastic gradient descent (SGD), tüm veriyi tek seferde işleyen full batch ve ikisinin ortasındaki mini-batch. Modern derin öğrenmede standart, 32-256 aralığındaki mini-batch değerleridir; "batch size" dendiğinde çoğunlukla bu kastedilir. Batch size tek başına değil, learning rate ile birlikte ayarlanır: batch büyütüldüğünde öğrenme hızı da genellikle orantılı artırılır (linear scaling rule) ve warmup uygulanır. Ölçek büyüdükçe kavram şekil değiştirir: büyük dil modeli ön eğitiminde global batch örnek sayısıyla değil token sayısıyla ifade edilir. Llama 3 405B'nin ön eğitiminde global batch 16 milyon token'a kadar çıkarılmıştır; bu ölçek tek GPU'ya sığmadığı için gradient accumulation ve data parallel dağıtım zorunludur. Günlük pratikte ise VRAM yetmediğinde gradient accumulation ile büyük sanal batch simüle edilir, bf16 mixed precision ve gradient checkpointing bellek ihtiyacını ciddi ölçüde azaltır. Doğru batch size veri setine, mimariye ve donanıma göre deneysel seçilir; 32 veya 64 ile başlayıp validation loss izleyerek ayarlamak en yaygın yöntemdir.
BFloat16 (Brain Float16)
BFloat16 (Brain Float16), Google'ın TPU'ları için geliştirdiği ve derin öğrenme eğitiminde yaygınlaşan 16 bitlik kayan nokta sayı formatıdır. Standart Float16 ile aynı toplam bit genişliğini (16 bit) paylaşır; ancak bu bitlerin dağılımı farklıdır: Float16, 1 işaret + 5 üs + 10 mantis bitinden oluşurken BFloat16 1 işaret + 8 üs + 7 mantis bitiyle yapılandırılmıştır. Bu farkın pratik önemi büyüktür. BFloat16'nın 8 bitlik üs alanı, Float32 ile birebir aynı dinamik sayı aralığını (yaklaşık 10^-38 ile 10^38 arası) sunar. Bu sayede eğitim sırasında sık karşılaşılan sayısal taşma (overflow) ve altaşma (underflow) sorunları büyük ölçüde azalır. Float16'nın yalnızca 5 bit üs alanına sahip olması, gradyan patlaması ve gradyan yok olması gibi sayısal kararsızlıklara daha açık bir format olduğu anlamına gelir. BFloat16'nın 7 bit mantis alanından kaynaklanan hafif hassasiyet kaybı ise derin öğrenme gradyanlarının doğası gereği gürültülü olduğu gerçeği nedeniyle pratikte önemsizdir. Karma hassasiyetli (mixed-precision) eğitim bağlamında BFloat16, Float32 ile birlikte kullanılır: ileri ve geri geçişler BFloat16'da, ağırlık güncellemeleri ise Float32'de tutulur. Bu yaklaşım, bellek tüketimini ve bant genişliği gereksinimini yaklaşık iki katı azaltırken eğitim doğruluğunu neredeyse değiştirmez. NVIDIA Ampere (A100) ve sonraki GPU mimarileri, BFloat16 için özel donanım hızlandırıcılar içerir; bu sayede FP32'ye kıyasla matris çarpımı işlemlerinde 2× ile 4× arasında teorik verimlilik artışı elde edilir. Büyük dil modelleri (LLM) bağlamında BFloat16 fiilî standart hâline gelmiştir. GPT-3, PaLM, LLaMA ve bunların türevleri BFloat16 ile eğitilmiş; Hugging Face Transformers ve vLLM gibi çıkarım çerçeveleri de varsayılan hassasiyet olarak BFloat16 benimsenmiştir. FP8 (8 bit kayan nokta) formatının giderek yaygınlaşmasıyla birlikte BFloat16'nın yerini 2024-2025 itibarıyla H100 ve Blackwell GPU'larında FP8 almaya başlamıştır; ancak BFloat16 ürün stabilitesi gerektiren çıkarım senaryolarında tercih edilen format olmaya devam etmektedir.
Boltzmann Machine (Boltzmann Makinesi)
Boltzmann Makinesi, 1985 yılında Geoffrey Hinton ve Terry Sejnowski tarafından geliştirilen, enerji tabanlı bir stokastik üretken sinir ağı modelidir. Model, görünür (visible) birimler ve gizli (hidden) birimler olmak üzere iki tür ikili stokastik nörondan oluşur; tüm birimler birbirine simetrik ağırlıklı bağlantılarla bağlıdır. Sistemin temel prensibi enerji minimizasyonuna dayanır. Her ağırlık konfigürasyonunun bir enerji değeri vardır; model, Boltzmann dağılımına göre düşük enerjili durumları yüksek olasılıkla örnekleyerek eğitim verisinin olasılık dağılımını öğrenir. Bu öğrenme süreci Contrastive Divergence (CD) algoritmasıyla gerçekleştirilir; tam Gibbs örneklemesi yerine k adımlı yaklaşım kullanılarak hesaplama yükü azaltılır. Tam bağlantılı Boltzmann Makinesi'nin eğitimi son derece yavaş olduğundan pratikte Kısıtlı Boltzmann Makinesi (Restricted Boltzmann Machine, RBM) tercih edilir. RBM'de görünür birimler yalnızca gizli birimlere bağlıdır; görünür-görünür ve gizli-gizli bağlantılar yoktur. Bu kısıtlama, katmanlar arasında paralel Gibbs örneklemesine olanak tanır ve eğitimi önemli ölçüde hızlandırır. RBM'ler 2006-2012 yılları arasında derin öğrenmenin öncü uygulamalarında kritik rol üstlenmiştir. Hinton'ın 2006 makalesinde sunulan Derin İnanç Ağları (Deep Belief Networks, DBN), birden fazla RBM katmanını açgözlü bir biçimde önceden eğiterek derin mimarilerin başarıyla eğitilebileceğini göstermiş ve modern derin öğrenme çağının kapısını aralamıştır. Aynı dönemde Netflix Ödülü yarışmasında işbirlikçi filtreleme amacıyla da başarıyla uygulanmıştır. Günümüzde VAE (Değişimsel Öz-Kodlayıcı), GAN ve difüzyon modelleri gibi daha güçlü ve ölçeklenebilir üretken yaklaşımların yaygınlaşmasıyla Boltzmann Makinesi'nin pratik kullanımı büyük ölçüde geride kalmıştır. Ancak enerji tabanlı modelleme konsepti modern yapay zeka mimarilerini kavramak için önemli bir teorik temel sunmaya devam etmektedir. Geoffrey Hinton, bu çalışmanın da dahil olduğu derin öğrenme katkıları nedeniyle 2024 Nobel Fizik Ödülü'ne layık görülmüştür. Model, yapay zeka tarihinde hem kavramsal hem de pratik açıdan derin izler bırakmış, günümüzün gelişmiş mimarilerine giden yolun önemli taşlarından birini oluşturmuştur.
Computer Vision (Bilgisayarlı Görü)
Bilgisayarlı görü (Computer Vision), yapay zekanın dijital görüntü, video ve kameralardan gelen ham piksel verilerini anlayarak anlamlı kararlar üretmesini sağlayan dalıdır. İnsan görsel korteksinin nesne tanıma, derinlik algısı ve hareket takibi gibi yeteneklerini yazılım ve donanım kombinasyonuyla taklit etmeyi hedefler. Temel işlem hattı üç aşamada özetlenebilir: görüntü edinimi (kamera, uydu, tıbbi tarayıcı), özellik çıkarma (kenarlar, dokular, şekiller veya derin öğrenme ile öğrenilmiş gizli temsiller) ve karar verme (sınıflandırma, konumlama, segmentasyon). 2012'de AlexNet'in ImageNet yarışmasında hata oranını yüzde yirmi altıdan on altıya düşürmesi alandaki derin öğrenme devrimini başlattı. Modern bilgisayarlı görü iki ana mimari yoldan ilerler: ResNet ve EfficientNet gibi konvolüsyonel sinir ağları (CNN) görsel özellik çıkarmada standart haline gelirken, 2020'de Google Brain tarafından tanıtılan Vision Transformer (ViT) dikkat mekanizmasını görsel görevlere uyarlayarak büyük veri setlerinde CNN'lere rakip sonuçlar verdi. YOLO (You Only Look Once) serisi tek geçişli mimarisiyle gerçek zamanlı nesne tespitinde endüstri standardı konumundadır. 2023'te Meta'nın yayımladığı SAM (Segment Anything Model) sıfır atışlı segmentasyonla foundation model dönemini bilgisayarlı görüye taşıdı; CLIP (OpenAI, 2021) ise metin-görüntü çift eğitimiyle sıfır atışlı görüntü sınıflandırmasının önünü açtı. GPT-4V ve Gemini Vision gibi büyük dil modelleriyle entegre çok modlu sistemler 2024-2026 döneminde ana akıma girdi. 2026 itibarıyla SAM 2 video segmentasyonunu, Depth Anything v2 tek kamerayla piksel düzeyinde üç boyutlu derinlik çıkarmayı ve YOLO World açık-kelime nesne tespitini mümkün kılmaktadır. Pazar araştırmaları alanın 2030'a kadar yıllık yüzde yirmi beşi aşan bir büyüme oranıyla ilerleyeceğini öngörüyor. AB Yapay Zeka Yasası, kamuya açık alanlarda gerçek zamanlı biyometrik yüz tanımayı yüksek riskli yapay zeka olarak sınıflandırarak sektörde etik denetim çıtasını önemli ölçüde yükseltti.
Convolutional Neural Network (CNN) (Evrişimli Sinir Ağı)
CNN (Convolutional Neural Network - Evrisimsel Sinir Agi), goruntu ve uzamsal verilerden hiyerarsik ozellikler cikartan bir derin ogrenme mimarisidir. Evrisme islemi sayesinde modelin her neron'unun tum girdiyle degil yalnizca yerel bir bolgeyle baglantili olmasi, parametre sayisini drastik bicimde azaltir ve uzamsal kaliplari gormek icin idealize edilmis bir yapi olusturur. CNN'in temel yapi tasi evrisme katmanidir. Bu katmanda kucuk bir filtre (kernel), genellikle 3x3 veya 5x5 boyutunda, girdi haritasi uzerinde kayan pencereyle carpma islemi uygular. Her filtre, kenar, doku veya renk gecisi gibi belirli bir uzamsal kaliba duyarlidir. Derin bir CNN'de ilk katmanlar basit kenarlar ogrenirken sonraki katmanlar bu kenarlari birlesitirerek sekiller, nesneler ve nihayet tum nesne kategorileri ogrenir. Havuzlama (pooling) katmanlari evrisme ciktilarinin uzamsal boyutunu kucultmektedir. Max-pooling, belirli bir bolgedeki en buyuk aktivasyon degerini secer; bu sayede model konum degisimlerine karsi olcude direncli hale gelir. Kuculen ozellik haritalari sonraki evrisme katmanlarinin daha genis bir alani gormeyi mumkun kilar. Mimari tarihinde CNN'in yeri kritiktir. Yann LeCun 1989'da el yazisi rakam tanima icin LeNet'i tasarladi. 2012'de Alex Krizhevsky ve ekibi ImageNet yarismmasinda AlexNet ile o zamana kadar gorulmemis bir suc orani saglamasi, derin ogrenme alaninin patlamasini tetikledi. Ardından VGGNet, GoogLeNet, ResNet ve EfficientNet gibi mimariler gorunteden anlama icin yeni standartlar belirledi. Kalan baglantili (residual) katmanlar mimarilerin cok daha derin ancak egitimi kolay hale gelmesini mumkun kildi. CNN'ler goruntu siniflandirma, nesne tespiti (YOLO, SSD), semantik segmentasyon, yuz tanima ve tibbi goruntu analizi gibi alanlarda yayginca kullanilmaktadir. Dil modelleme icin transformer mimarisinin yukselisiyle CNN'in NLP'deki rolu azalmis olsa da gorsel veri icin hala temel mimari olma ozelligini korumaktadir. **Sik Sorulan Sorular** **CNN ile tam baglantili (dense) aglar arasindaki fark nedir?** Tam baglantili aglar her neuronu tum girdiyle baglar; bu parametre patlamasi ve uzamsal bilgi kaybi demektir. CNN yerel baglanti ve agirlik paylasimi ile parametre ekonomisi saglar ve uzamsal kaliplari verimli ogrenilir. **Kucuk veri kumesiyle CNN egitmek mumkun mudur?** Transfer ogrenme ile evet. ImageNet uzerinde onegitim gormis bir CNN'in son katmanlari, kucuk bir ozgun veri kumesiyle ince ayar yapilarak kullanilabilir; bu yaklasim ozelliklede gorsel siniflandirma gorevlerinde yaygindir. **CNN'ler metin icin de kullanilabilir mi?** 1D evrisme katmanlari metin siniflandirma ve sentiment analizinde kullanilmistir. Ancak Transformer mimarisi uzun mesafe bagimliklarini daha iyi modelledigi icin NLP'de CNN'lerin populerligini buyuk olcude assmistir. **GPU CNN egitimini neden bu kadar hizlandiriyor?** Evrisme islemi buyuk olcekli paralel matris carpimlarindan olusur; GPU'larin binden fazla islem cekirdegi bu tip isleri CPU'ya gore onlarca kat daha hizli yurutmek icin optimize edilmistir.
Cross-Attention (Çapraz Dikkat Mekanizması)
Cross-Attention (Çapraz Dikkat Mekanizması), 2017 yılında Google Brain ekibinin "Attention is All You Need" makalesiyle tanıttığı Transformer mimarisinin temel bileşenlerinden biridir. Self-Attention'dan farklı olarak iki ayrı dizinin birbirine dikkat etmesini sağlar: sorgu (Query) vektörleri alıcı diziden, anahtar (Key) ve değer (Value) vektörleri ise bağlam dizisinden üretilir. Matematiksel formülü self-attention ile aynı çekirdeği paylaşır: Attention(Q, K, V) = softmax(QK^T / √d_k) · V. Ancak Q, K ve V üç ayrı kaynaktan türetilir. Boyutsal ölçekleme faktörü √d_k, nokta çarpım değerlerinin patlamasını önler; gradyanlar bu yolla kararlı kalır. Orijinal Transformer mimarisinde cross-attention, kodlayıcı-kod çözücü (encoder-decoder) yapısında çalışır: kod çözücü katmanları Q vektörlerini kendi çıktısından üretirken K ve V vektörlerini kodlayıcının son katman çıktısından alır. Makine çevirisinde bu yapı, hedef dildeki her kelimenin kaynak dildeki tüm kelimelerle dinamik bağlantı kurmasını sağlar; model neye dikkat etmesi gerektiğini bağlama göre öğrenir. 2020'lerin başından itibaren cross-attention, metin-görüntü modellerinde kritik bir rol üstlendi. Stable Diffusion ve DALL-E gibi difüzyon modellerinde metin gömme vektörleri K ve V olarak kullanılırken görüntü gizil uzayındaki temsiller Q vektörü sağlar. Bu çapraz bağlantı aracılığıyla "gece yarısı şehrinde neon ışıklı bir kedi" gibi bir metin açıklaması ilgili görsel bölgelerle eşleştirilir. 2025-2026 döneminde çok modlu büyük dil modelleri (GPT-4o, Gemini 2.0, Claude 3.5 Sonnet), cross-attention mekanizmalarını ses, görüntü ve metin gibi farklı modaliteleri tek bir model içinde birleştirmek için genişletti. Flash Attention 3 ve Grouped Query Attention (GQA) gibi verimlilik teknikleri, uzun bağlamlarda cross-attention hesaplama maliyetini önemli ölçüde düşürdü. LoRA gibi parametre-verimli ince ayar yöntemleri de çoğunlukla cross-attention katmanlarındaki Q ve V matrislerini hedefleyerek model uyarlamasını yapar.
Deep Reinforcement Learning (DRL) (Derin Pekiştirmeli Öğrenme)
Derin pekiştirmeli öğrenme (deep reinforcement learning, DRL), klasik pekiştirmeli öğrenmenin karar verme çerçevesini derin sinir ağlarının güçlü temsil öğrenme kapasitesiyle birleştiren bir yapay zeka paradigmasıdır. Ajan, çevresiyle etkileşimler aracılığıyla ödüller toplayarak en yüksek uzun vadeli ödülü elde edecek politikayı öğrenir; derin sinir ağları ise ham piksel veya yüksek boyutlu girdilerden doğrudan değer fonksiyonları ya da politikalar üretir. DRL tarihinde dönüm noktası, DeepMind'in 2013'te yayımladığı DQN (Deep Q-Network) çalışmasıdır. DQN, Atari oyunlarını ham piksel girdisiyle oynayarak birçok oyunda insan seviyesini aştı. Deneyim tekrarı (experience replay) ve hedef ağ (target network) mekanizmalarını birleştiren bu mimari, o dönemde ölçeklenebilir derin RL eğitiminin önündeki temel engelleri aştı. Ardından A3C, PPO, DDPG, SAC ve TD3 gibi algoritmalar hem sürekli eylem uzaylarında hem de stokastik ortamlarda DRL'i daha kararlı ve ölçeklenebilir hâle getirdi. Model tabanlı ve model bağımsız olmak üzere iki ana yaklaşım mevcuttur. Model bağımsız yöntemler çevresiyle doğrudan etkileşim kurarak politikayı günceller. Model tabanlı yöntemler ise çevrenin içsel bir modelini öğrenerek planlama yapar; bu yaklaşım veri verimliliğini artırır ancak model hataları politikayı bozabilir. DRL'in başarısı; robotik manipülasyon, otonom araç sürüşü, oyun oynama (AlphaGo, AlphaStar), ilaç keşfi ve veri merkezi soğutma optimizasyonu gibi geniş bir alanda kendini kanıtlamıştır. OpenAI Five, beş DRL ajanıyla 180 yıllık simüle deneyim üzerinden eğitilerek Dota 2 dünya şampiyonlarını yenerek çok ajanlı koordinasyon problemlerinde ne denli güçlü olduğunu gösterdi. Google, veri merkezi soğutma sistemlerini DRL ile optimize ederek enerji tüketimini yüzde kırka yakın azalttı. DRL, büyük örnekleme verimsizliği, ödül mühendisliği güçlüğü ve gerçek dünya ile simülasyon arasındaki aktarım açığı (sim-to-real gap) gibi zorluklarla boğuşmaktadır. Keşif ve sömürü dengesi (exploration-exploitation tradeoff) ile seyrek ödül ortamlarında öğrenme hâlâ aktif araştırma alanlarıdır. Büyük dil modellerinin RLHF ile eğitiminde PPO algoritmasının yaygınlaşması, DRL yöntemlerini yapay zeka hizalama çalışmalarının merkezine taşımaktadır.
Depth Estimation (Derinlik Tahmini)
Depth estimation (derinlik tahmini), bir yapay zeka modelinin tek veya çift kameralı iki boyutlu görüntülerden sahnedeki her noktanın kameraya olan uzaklığını otomatik olarak tahmin etmesidir. Çıktı olarak her pikselin mesafeye karşılık geldiği bir derinlik haritası (depth map) üretilir: yakın nesneler açık tonlarla, uzak nesneler koyu tonlarla temsil edilir. İnsan görme sistemi iki göz arasındaki parallax farkından derinlik algılar; ancak tek kameralı dijital görüntüler bu bilgiyi doğrudan içermez. Modeller gölge, perspektif, boyut ve odak bulanıklığı gibi görsel ipuçlarını öğrenerek ve büyük ölçekli derinlik veri setleri üzerinde eğitilerek bu eksikliği kapatır. Derinlik tahmini üç ana yaklaşımla gerçekleştirilir. Monoküler yöntemler tek bir RGB görüntüsünden derinlik çıkarır; denetimli eğitim için LiDAR etiketi, öz denetimli eğitim için video çerçeve çiftleri kullanılır ve en esnek yaklaşımdır. Stereo yöntemler iki paralel kameradan alınan görüntü çiftleri arasındaki piksel kaymasını (disparity) üçgenleme ile derinliğe dönüştürür; fabrika otomasyonu ve endüstriyel robotik için tercih edilir. LiDAR füzyon ise kamera görüntüsünü aktif sensör verisiyle birleştirerek en yüksek kesinliği sunar; ancak sensör maliyeti yüksektir. MiDaS ve Depth Anything v2 gibi transformer tabanlı modeller büyük ölçekli ve çok kaynaklı verilerle eğitilerek geniş ortam koşullarına genellenebilir hale gelmiştir. Apple Depth Pro tek görüntüden mutlak metrik derinlik değerleri üretebilmektedir. Otonom araçlar, artırılmış gerçeklik, robotik navigasyon ve üç boyutlu sahne yeniden yapılandırma başlıca uygulama alanlarıdır. Doğruluk için AbsRel, RMSE ve delta eşik doğruluğu (δ < 1.25) kullanılır. Gerçek zamanlı uygulamalarda NVIDIA Jetson ve Apple Neural Engine gibi özel donanım hızlandırıcılar tercih edilir. Derinlik haritaları ayrıca 3B nokta bulutu oluşturmak ve sanal nesneleri gerçek ortama yerleştirmek için de kullanılmaktadır.
Derin Öğrenme (Derin Öğrenme)
Derin öğrenme (Deep Learning), insan beyninin sinir ağı yapısından esinlenerek tasarlanmış, çok katmanlı yapay sinir ağlarını kullanan bir makine öğrenimi alt disiplinidir. "Derin" nitelemesi, girdi ile çıktı arasındaki gizli katman (hidden layer) sayısının fazlalığından gelir; bu katmanlar veriden hiyerarşik temsiller öğrenir. Alt katmanlar kenar ve doku gibi düşük düzey özellikleri yakalarken üst katmanlar nesne veya kavram gibi soyut özellikleri kodlar. Alanın dönüm noktası 2012'deki AlexNet'tir: GPU hızlandırma ve büyük veri birleşiminin derin ağları eğitilir kıldığını kanıtlayan bu model, ImageNet yarışmasında önceki rekorları kırarak derin öğrenmeyi ana akıma taşıdı. Temel yapı taşı olan yapay nöron, gelen değerleri ağırlıklı toplar ve ReLU, sigmoid gibi bir aktivasyon fonksiyonundan geçirir. Eğitimde geri yayılım (backpropagation) algoritması, çıktı hatasını katman katman geriye taşıyarak her ağırlığın güncellenmesini sağlar; gradyan inişi (gradient descent) ise bu güncellemeleri yönetir. Adam ve AdamW gibi uyarlamalı optimizatörler öğrenme hızını otomatik olarak ayarlar. Başlıca mimari aileler şunlardır: CNN (evrişimsel sinir ağları) görüntü ve video işlemede standarttır; Transformer 2017'den itibaren NLP'yi ve ardından çok modlu sistemleri domine etmektedir; RNN/LSTM zaman serisi modellemesinde kullanılır; Difüzyon Modelleri görüntü ve ses üretiminde devrim yaratmaktadır. Uygulama alanları geniştir: tıbbi görüntüleme (kanser tespiti), otonom araçlar (nesne algılama), doğal dil işleme (makine çevirisi, metin üretme), konuşma tanıma ve öneri sistemleri. Türkiye'de e-ticaret platformlarının kişiselleştirme motorları, bankacılık sektörünün dolandırıcılık tespit sistemleri ve Türkçe NLP projeleri derin öğrenmeye dayanmaktadır. Transfer öğrenme, milyonlarca örnekle önceden eğitilmiş modelleri yüzlerce ya da binlerce örnekle yeni görevlere uyarlar; bu yaklaşım derin öğrenmeyi küçük veri setlerinde de kullanılabilir kılmaktadır. PyTorch ve TensorFlow başlıca açık kaynak çerçevelerdir; Hugging Face ekosistemi binlerce hazır modele erişim sunar. Temel sınırlamalar arasında büyük veri ve yüksek hesaplama gereksinimi, yorumlanabilirlik eksikliği (kara kutu sorunu) ve dağılım kayması (distribution shift) yer almaktadır. Araştırmacılar bu sorunları ele almak için yorumlanabilir yapay zeka (XAI) teknikleri ve verimli mimari tasarımları geliştirmeyi sürdürmektedir.
Die Stacking (Die Yığma)
Die stacking (die yığma veya 3B entegre devre), birden fazla yarı iletken çip katmanının (die) dikey olarak üst üste istiflendiği ve Through-Silicon Via (TSV) ya da hibrit bağlama yöntemiyle birbirine bağlandığı ileri bir paketleme teknolojisidir. Bu teknik sayesinde çipler arasındaki iletişim mesafesi dramatik biçimde kısalır; sinyal gecikmeleri azalır, bant genişliği artar ve bit başına enerji tüketimi düşer. Die stacking'in en yaygın örneği HBM (High Bandwidth Memory) bellektir. HBM'de 4-12 DRAM katmanı dikey olarak üst üste istiflenip bir interposer üzerinde GPU veya AI işlemcisiyle yan yana konumlandırılır. NVIDIA H100'deki HBM3 bellekler 3,35 TB/s'ye varan bant genişliği sunarak yapay zeka modellerinin eğitimindeki bellek darboğazını büyük ölçüde ortadan kaldırır. AMD 3D V-Cache teknolojisi, TSMC'nin SoIC (System-on-Integrated-Chip) hibrit bağlama prosesiyle SRAM katmanlarını doğrudan CPU üzerine istifler. 9 µm pitch ile gerçekleştirilen bu bağlantı, geleneksel yöntemlere göre 15 kat daha yoğun bir ara yüz sunar ve L3 önbellek kapasitesini 2-3 katına çıkarır. Intel'in Foveros teknolojisi ise farklı süreç düğümlerinde üretilmiş katmanları—örneğin 7 nm hesap die'ı ile 22 nm G/Ç die'ını—tek paket içinde birleştirerek heterojen entegrasyona olanak tanır. TSMC SoIC ve Intel Foveros Direct gibi modern çözümler, yapay zeka hızlandırıcı tasarımının temel bileşeni hâline gelmektedir. Die stacking'in önemi yalnızca performansla sınırlı değildir; güç verimliliği açısından da belirleyici bir rol oynar. Geleneksel PCB üzerindeki yatay hat bağlantılarına kıyasla TSV tabanlı dikey bağlantılar, bellek-işlemci arası veri transferinde watt başına bant genişliğini önemli ölçüde artırır. Bu durum özellikle enerji kısıtlı veri merkezi ortamlarında ve uç (edge) yapay zeka uygulamalarında kritik avantaj sunar. Gelecek nesil AI çipleri için Çekmece Tipi Bellek (CXL tabanlı) ve monolitik 3D entegrasyon gibi yaklaşımlar bu teknolojinin evrimini şekillendirecektir.
Echo State Network (Yankı Durum Ağı)
Echo State Network (ESN), Reservoir Computing (Rezervuar Hesaplama) paradigmasına ait bir tekrarlayan yapay sinir ağı türüdür. 2001 yılında Herbert Jaeger tarafından Fraunhofer Enstitüsü'nde geliştirilen ESN, üç temel bileşenden oluşur: giriş katmanı, büyük ve sabit rastgele bağlantılı tekrarlayan bir rezervuar (tank) ve yalnızca bu rezervuarın çıktısının eğitildiği okuma (readout) katmanı. Geleneksel tekrarlayan sinir ağlarından (RNN) ve LSTM'lerden farklı olarak ESN'de giriş ve rezervuar bağlantı ağırlıkları rastgele belirlenir ve sabit tutulur; yalnızca çıkış ağırlıkları basit bir lineer regresyon yöntemiyle eğitilir. Bu yaklaşım eğitim sürecini dramatik biçimde hızlandırır ve derin ağlarda sıkça karşılaşılan gradyan kaybolması ile gradyan patlaması sorunlarını tamamen ortadan kaldırır. ESN'nin temel prensibi olan Yankı Durumu Özelliği (Echo State Property), ağın geçmiş girdi sinyallerinin etkisini zamanla unutarak mevcut girdi sinyaline bağımlı hale gelmesini garantiler. Bu özelliğin matematiksel güvencesi, rezervuarın spektral yarıçapının (en büyük özdeğerin mutlak değerinin) 1'den küçük tutulmasıdır. Bu koşul sağlandığında, farklı başlangıç durumlarından başlayan iki ESN, aynı girdi dizisi verildiğinde zamanla aynı rezervuar durumuna yakınsar. Pratik bir ESN, tipik olarak 100 ile 5000 arasında değişen nörondan oluşan bir rezervuar barındırır. Rezervuarın bağlantı yoğunluğu ve giriş ölçekleme (input scaling) gibi hiperparametreler görev tipine göre manuel olarak ayarlanırken yalnızca çıkış ağırlıkları fit edilir. Bu asimetrik eğitim stratejisi büyük ölçekli geri yayılım hesaplamalarını tamamen devre dışı bırakır. 2024-2025 döneminde katmanlı rezervuar mimarileri (Deep-ESN) hem bellek kapasitesini hem de hesaplama verimliliğini önemli ölçüde artırmıştır. Fotonik ESN deneyleri enerji tüketimi açısından yazılım tabanlı RNN'lere kıyasla büyük avantaj sunarken ReservoirPy gibi Python kütüphaneleri scikit-learn uyumlu iş akışlarına kolay entegrasyon imkânı tanımaktadır. Echo State Network, zaman serisi tahmininde, konuşma tanımada, kaotik sistemlerin modellemesinde ve robotik kontrolde tercih edilen bir mimaridir. Liquid Neural Network ve Spiking Neural Network gibi biyolojik ilhamlı yaklaşımlarla birlikte dinamik hesaplama araştırmalarının önemli bir parçasını oluşturmaktadır.
Epoch (Epoch (Eğitim Döngüsü))
Epoch (Epok ya da Eğitim Döngüsü), makine öğrenimi ve derin öğrenme modellerinin eğitiminde kullanılan temel bir zaman birimidir. Bir epoch; modelin tüm eğitim veri setini baştan sona tam olarak bir kez işlemesi, yani her örnek üzerinde hem ileri yayılım (forward pass) hem de geri yayılım (backward pass) gerçekleştirmesi anlamına gelir. Makine öğrenimi modellerini eğitirken, yalnızca bir epoch genellikle yeterli olmaz. Model, karmaşık kalıpları ve ilişkileri kavrayabilmek için aynı veriler üzerinde defalarca geçiş yapmak zorundadır. Bu nedenle modeller onlarca, yüzlerce hatta binlerce epoch boyunca eğitilebilir. Büyük dil modellerinin (LLM) eğitimi milyarlarca token üzerinde birden fazla epoch uygulanarak gerçekleştirilir; görüntü sınıflandırma gibi daha küçük görevlerde ise 10-100 epoch sıkça kullanılır. Epoch ve Batch İlişkisi Her epoch, büyük veri setini daha küçük parçalara (batch) bölerek işler. Bir epoch içindeki güncelleme sayısı, veri seti boyutunun batch boyutuna bölünmesiyle hesaplanır. Örneğin 10.000 örnekli bir veri seti 100'lük batch boyutuyla işleniyorsa, her epoch 100 ağırlık güncellemesi (iterasyon) içerir. Her iterasyonda gradyan hesaplanır ve model ağırlıkları güncellenir; böylece model adım adım öğrenir. Overfitting ve Erken Durdurma Epoch sayısının doğru seçilmesi kritik öneme sahiptir. Çok az epoch modelin yeterince öğrenememesine (underfitting) yol açar; model verinin altında yatan örüntüleri kavramaz ve hem eğitim hem de test verisinde kötü performans gösterir. Öte yandan, çok fazla epoch modelin eğitim verisini mekanik olarak ezberlemeye (overfitting) başlamasına neden olabilir. Bu durumda model eğitim setinde mükemmel sonuçlar verirken yeni verilerde başarısız olur. Bu dengesizliği çözmek için "Early Stopping" (Erken Durdurma) tekniği uygulanır: model her epoch sonunda doğrulama (validation) seti üzerinde değerlendirilir ve doğrulama kaybı iyileşmemeye başladığında eğitim otomatik olarak durdurularak en iyi ağırlıklar korunur. Eğitim ve doğrulama kaybının birbirinden ayrışmaya başlaması (divergence), overfitting'in erken belirtisidir. Epoch Sayısını Belirlemek Kaç epoch kullanılacağı, modelin karmaşıklığına, veri setinin büyüklüğüne ve görevin zorluğuna bağlıdır. Küçük veri setlerinde genellikle daha fazla epoch gerekir çünkü model her geçişte sınırlı miktarda örneğe maruz kalır. Büyük veri setlerinde ise tek bir epoch bile çok sayıda güncelleme içerdiğinden az epoch ile tatmin edici sonuçlar alınabilir. Epoch sayısı, öğrenme hızı (learning rate) ve model mimarisiyle birlikte hiperparametre optimizasyonunun temel bileşenlerinden biridir.
Float16 / BFloat16 (Float16 / BFloat16)
Float16 (FP16 veya yarı duyarlıklı kayan nokta), IEEE 754 standardında tanımlanan ve 16 bit (1 işaret + 5 üs + 10 mantis) kullanarak gerçek sayıları temsil eden sayı biçimidir. Standart Float32'ye (32 bit, tekli duyarlık) kıyasla bellek kullanımını yarıya indirir ve modern GPU'ların tensör çekirdeği (tensor core) donanımıyla çok daha yüksek hesaplama verimi sağlar. Derin öğrenmede Float16'nın önemi büyüktür. GPU belleği (VRAM) model eğitimindeki en sık karşılaşılan darboğazlardan biridir; modelin ağırlıklarını ve aktivasyonlarını FP16'da tutmak aynı GPU'da iki kat daha büyük modeller ya da iki kat daha büyük batch boyutları çalıştırmayı mümkün kılar. NVIDIA'nın 2018'de tanıttığı Tensor Core teknolojisi, FP16 matris çarpımlarını FP32 karşısında 4-8× hızlandırmaktadır. Ancak FP16'nın sayı aralığı (yaklaşık ±65504) ve duyarlığı FP32'den çok daha kısıtlıdır. Bu nedenle eğitimde "karma duyarlık" (mixed precision) yaklaşımı tercih edilir: ileri geçiş (forward pass) ve geri yayılım (backward pass) FP16'da, ağırlık güncellemeleri ve kayıp ölçekleme (loss scaling) ise FP32'de tutulur. PyTorch'ta torch.cuda.amp.autocast() ve TensorFlow'da tf.keras.mixed_precision API'si bu işlemi otomatik yönetir. BF16 (Brain Float16), Google tarafından geliştirilen alternatif bir 16-bit formattır: 8 üs biti kullanarak FP32 ile aynı sayı aralığını korur ancak mantis duyarlığı FP16'dan düşüktür. TPU ve NVIDIA Ampere/Hopper GPU'lar BF16'yı doğal olarak destekler; büyük dil modeli eğitiminde BF16, FP16'nın yerini giderek almaktadır. INT8 ve INT4 niceleme, model çıkarım aşamasında daha da küçük bit genişlikleri kullanarak VRAM tasarrufunu daha da ileri götürür. GPTQ, AWQ ve bitsandbytes kütüphaneleri tüketici GPU'larında büyük dil modellerini çalıştırmak için INT4 nicelemeyi yaygınlaştırmıştır. Niceleme miktarı arttıkça modelin doğruluğu düşebilir; bu ödünleşimi ölçmek için perplexity metriği kullanılır. Türkiye'de LLM araştırmacıları ve açık kaynak topluluk üyeleri, sınırlı VRAM'e sahip tüketici GPU'larında Llama ve Mistral modellerini çalıştırmak için bu tekniklere sıklıkla başvurmaktadır.
Foundation Model (Temel Model)
Foundation model (temel model), trilyonlarca token metin, görüntü, ses ve kod verisi üzerinde öz denetimli öğrenme (self-supervised learning) ile önceden eğitilen ve prompt mühendisliği, ince ayar (fine-tuning) veya RAG ile çok sayıda farklı göreve uyarlanabilen büyük ölçekli yapay zeka modelidir. Terimi 2021'de Stanford HAI (Institute for Human-Centered AI) ortaya attı; bugün GPT-5, Claude Opus 4.5, Gemini 3, Llama 4 ve DeepSeek-R1 gibi modeller bu kategorinin güncel örnekleridir. Foundation model yaklaşımından önce her görev için ayrı model eğitilirdi: çeviri için ayrı, duygu analizi için ayrı, görüntü sınıflandırma için ayrı. Temel model bu parçalı yapıyı tersine çevirdi. Tek bir model, devasa ve çeşitli veriyle bir kez eğitilir; ardından tıp, hukuk, yazılım geliştirme veya müşteri hizmetleri gibi alanlara birkaç örnekle (few-shot) ya da küçük bir ek eğitimle uyarlanır. "Bir kez eğit, binlerce göreve uyarla" ilkesi, modern üretken yapay zekanın ekonomik temelini oluşturur. Ölçek bu tanımın merkezindedir. Güncel sınır modelleri yüz milyarlarca ile trilyonlarca parametre taşır; eğitim maliyeti tek model için 100 milyon doları aşabilir (Epoch AI, Gemini Ultra eğitimini ~190M USD hesaplama maliyetiyle tahmin eder). Ölçek büyüdükçe çok adımlı akıl yürütme, kod üretimi ve az örnekle öğrenme gibi "emergent" yetenekler gözlenir — kimi araştırmacılar bunun ölçüm metriğine bağlı bir görünüm olduğunu savunsa da pratik etkisi tartışmasızdır. Kavram LLM ile eş anlamlı değildir: her büyük dil modeli bir foundation model'dir, ancak CLIP (görüntü-metin), Whisper (ses), AlphaFold 3 (protein yapısı) ve SAM 2 (görüntü segmentasyonu) gibi dil dışı temel modeller de vardır. 2026 itibarıyla sınır, metin-görüntü-ses-videoyu tek modelde işleyen natively multimodal mimarilere kaydı; Gemini 3 ve GPT-5 bu sınıfın örnekleridir. Düzenleyici çerçeve de bu kavram üzerine kuruludur: AB Yapay Zeka Yasası, foundation model'leri "genel amaçlı yapay zeka modeli" (GPAI) olarak tanımlar ve Ağustos 2025'ten itibaren eğitim verisi özeti, telif uyumu ve 10^25 FLOP üzeri modeller için sistemik risk yükümlülükleri getirir. Kurumsal tarafta seçim genellikle kapalı API (GPT-5, Claude, Gemini) ile kendi sunucunda çalıştırılabilen açık ağırlıklı model (Llama 4, Qwen3, Mistral, DeepSeek) arasında maliyet, gizlilik ve KVKK/GDPR uyumu ekseninde yapılır.
Gaussian Splatting (Gaussian Splatting)
3D Gaussian Splatting (3DGS), SIGGRAPH 2023'te Inria araştırmacılarının (Kerbl vd.) sunduğu, üç boyutlu sahneleri milyonlarca elipsoidal Gauss primitifi aracılığıyla gerçek zamanlı olarak işleyen ve bilgisayarlı görü tarihinde NeRF dönemini kapatan çığır açıcı bir teknolojidir. Nöral ağ tabanlı implicit temsil yerine açık (explicit) ve düzenlenebilir bir geometrik temsil kullanır. Her Gauss birimi beş temel özellikle tanımlanır: 3D konumu (μ), şekil ve yönelimi belirleyen kovaryans matrisi (Σ), opaklık değeri (α) ve görüş açısına bağlı rengi kodlayan Küresel Harmonik (Spherical Harmonics, SH) katsayıları. Tipik bir sahnede 3 ila 6 milyon Gaussian kullanılır. Bu parametreler SSIM ile L1 kayıp fonksiyonlarının birleşimi kullanılarak gradient inişiyle optimize edilir. Eğitim süreci, COLMAP (Structure-from-Motion) ile elde edilen seyrek nokta bulutundan başlar. Adaptive Density Control mekanizması eğitim boyunca Gaussianları yoğun bölgelerde ikiye böler veya klonlar, seyrek bölgelerde ise budanmış olanları kaldırır; bu sayede temsil kalitesi aşamalı olarak artar. 30 ila 45 dakikada tamamlanan eğitim süresi, NeRF'e kıyasla onlarca kat daha hızlıdır. Render aşamasında GPU üzerinde döşeme tabanlı (tile-based) rasterizer devreye girer: tüm Gaussianlar derinlik sırasına göre sıralanır ve alfa-karışım (alpha-blending) ile ekrana yansıtılır. Sonuç: 1080p çözünürlükte saniyede 100+ kare işleme hızı ve 25-33 dB PSNR görsel kalitesi. NeRF'in yalnızca 5-10 FPS sunabildiği düşünüldüğünde bu 20 kata varan hızlanma gerçek zamanlı uygulamalar için devrimsel bir atılımdır. Bununla birlikte 3DGS'in bazı kısıtlamaları da mevcuttur: sahne başına depolama boyutu 100-700 MB arasında değişebilir; dinamik nesneler ve hareketli sahneler orijinal formatta sınırlı kalmaktadır; ayrıca kamera kapsamı dışına çıkıldığında görsel eserler (artifact) belirginleşebilir. Uygulama alanları arasında oyun motorlarına sahne entegrasyonu, AR/VR içerik üretimi, film VFX, dijital ikiz oluşturma ve robotik algı sistemleri yer alır. Dinamik 3DGS video sahnelerini, GaussianAvatars insan vücudu modellemesini, LangSplat ise dil özelliklerinin 3D sahnelere entegrasyonunu destekler. 2024 itibarıyla 3DGS ve türevleri, sahne temsil araştırmalarının fiili başlangıç noktası haline gelmiştir.
Generative Pre-trained Transformer (Üretken Ön-eğitimli Dönüştürücü)
GPT (Generative Pre-trained Transformer), OpenAI tarafından geliştirilen ve Transformer mimarisinin yalnızca decoder (kod çözücü) bloğunu kullanan büyük dil modeli ailesidir. Adındaki üç sözcük mimariyi tam olarak tanımlar: "Generative" (üretici), modelin yeni metin ürettiğini; "Pre-trained" (önceden eğitilmiş), devasa bir metin korpusu üzerinde denetimsiz öğrenimle hazırlandığını; "Transformer", kullanılan sinir ağı mimarisini ifade eder. GPT modelleri, bir sonraki kelimeyi tahmin etme (next-token prediction) görevi üzerinden eğitilir. Model, milyarlarca metin örneğini gördükten sonra dil bilgisi, mantık yürütme, kod yazma ve yaratıcı üretim gibi yetenekleri örtük biçimde edinir; bu sürece "emergent capability" (beliren yetenek) denir. GPT serisi 2018'de GPT-1 ile başlamıştır: 117 milyon parametreli bu model, dil modellemesinde büyük bir sıçrama olmakla birlikte dönemin BERT modeliyle kıyaslandığında sınırlı kaldı. 2019'da yayımlanan GPT-2 (1,5 milyar parametre), o kadar güçlü bir metin üretimi sergiledi ki OpenAI modeli başlangıçta tam sürümüyle kamuya açmaktan kaçındı. GPT-3 (2020, 175 milyar parametre) az örnekli öğrenme (few-shot learning) alanında çığır açtı: Model, yalnızca birkaç örnek gördükten sonra görev genellemesi yapabiliyor, ince ayar (fine-tuning) gerekmiyordu. GPT-3.5 ve ardından 2023'te duyurulan GPT-4, çok modlu (multimodal) girişi ve güçlendirilmiş mantık yeteneklerini bünyesine kattı. GPT-4o ise metin, ses ve görüntüyü tek bir modelde birleştirerek gerçek zamanlı çok modlu diyaloğu mümkün kıldı. GPT modellerinin eğitimi iki ana aşamadan oluşur. İlk aşamada denetimsiz ön eğitim (unsupervised pre-training) ile model internet metinleri, kitaplar ve kod içeren geniş bir veri kümesi üzerinde eğitilir. İkinci aşamada ise RLHF (Reinforcement Learning from Human Feedback — İnsan Geri Bildiriminden Pekiştirmeli Öğrenme) kullanılarak model insan tercihlerine hizalanır; bu süreç güvenli, yararlı ve dürüst yanıtlar üretmeyi hedefler. GPT'nin temel gücü, bağlamsal dil anlama ve üretmedeki esnekliğidir. Farklı sektörlerde müşteri hizmetleri, kod tamamlama, tıbbi yazışma özeti, hukuki belge analizi ve eğitim içeriği üretimi gibi kullanım alanları mevcuttur. ChatGPT, GPT modellerinin bir chat arayüzüyle sunulan versiyonudur ve GPT'nin kendisi ile aynı şey değildir; ChatGPT bir ürün, GPT ise altta yatan model ailesidir.
GNN (Çizge Sinir Ağı) (GNN (Çizge Sinir Ağı))
GNN (Graph Neural Network — Çizge Sinir Ağı), düğümler ve kenarlardan oluşan graf yapısındaki veriler üzerinde mesaj geçişi mekanizmasıyla öğrenen derin öğrenme mimarisidir. CNN ve RNN gibi klasik modeller, piksel matrisleri veya sözcük dizileri biçiminde düzenlenmiş ızgara veriyle çalışırken, GNN'ler sosyal ağlar, moleküler yapılar, bilgi grafları ve trafik ağları gibi düzensiz topolojilerdeki ilişkisel veriyi doğrudan işleyebilir. Mesaj geçişi üç adımda gerçekleşir: Her düğüm komşularından özellik vektörleri alır (mesaj üretimi), bu vektörleri toplama veya ortalama gibi permütasyona duyarsız bir işlevle birleştirir ve ardından bir sinir ağı katmanıyla kendi temsilini günceller. Her GNN katmanında tekrarlanan bu döngü, k katmanla k-komşuluk yarıçapındaki bilgiyi yakalar; derin ağlar geniş mahallelerin bilgisini sentezler. Başlıca GNN mimarileri farklı toplama stratejileri kullanır. GCN (Kipf & Welling, 2017), spektral konvolüsyonu uzaysal alana yaklaştırarak sabit graflar üzerinde verimli çalışır. GAT, her komşuya öğrenilebilir dikkat ağırlıkları atayarak heterojen graflarda daha iyi genelleme yapar. GraphSAGE, büyük graflarda örneklem tabanlı komşu toplama yöntemiyle ölçeklenebilirliği artırır ve eğitim dışı düğümlere genelleyebilir. Graph Transformer ise dikkat mekanizmasını konum kodlamasıyla birleştirerek uzun menzilli ilişkileri yakalar; AlphaFold 2'nin protein katlanma tahmini bu yaklaşımdan yararlanır. GNN'ler kritik alanlarda yaygın biçimde kullanılır: ilaç keşfinde moleküler bağ tahminini gerçekleştirir, trafik modellemesinde Google Maps'in varış süresi sistemine katkıda bulunur, finansal sahtekârlık tespitinde işlem graflarını analiz eder ve öneri sistemlerinde kullanıcı-içerik ilişkilerini modeller. Pinterest'in PinSage modeli ve Meta'nın içerik öneri altyapısı GNN tabanlı sistemlerin öne çıkan örnekleridir. Geliştirme için PyTorch Geometric ve Deep Graph Library (DGL) en yaygın çerçevelerdir; her ikisi de hazır GNN katmanları ve büyük graflarda mini-batch öğrenmesi sunar. Open Graph Benchmark (OGB) ise standart değerlendirme veri setleri ve lider tablolarıyla araştırma kıyaslamalarına zemin hazırlar.
Görüntü Segmentasyonu (Görüntü Segmentasyonu)
Görüntü segmentasyonu, bir dijital görseli anlamlı bölgelere veya nesnelere ayıran, yapay zeka ve bilgisayarlı görü alanının temel işlemlerinden biridir. Ham piksel verisi üzerinde çalışan bu işlem, her pikseli belirli bir sınıfa ya da nesne örneğine atar; böylece bir görüntü içindeki farklı nesne ve yüzeylerin sınırları hassas biçimde belirlenir. Segmentasyon, yalnızca nesne tespitinin (object detection) ötesine geçer: sınırlayıcı kutu (bounding box) yerine nesnenin tam piksel maskesini üretir. Üç ana segmentasyon türü mevcuttur. Semantik segmentasyon, her pikseli bir sınıf etiketiyle işaretler; aynı sınıftaki tüm nesneler tek bir bölge olarak ele alınır. Örneğin bir sokak sahnesinde tüm arabalar tek renk, tüm yayalar başka bir renk ile gösterilir. Instance segmentasyon ise bu yaklaşımı bir adım ileri taşır: aynı sınıftan her nesneyi ayrı bir örnek olarak ayırt eder. İki araba yan yana dursa bile her biri kendi maskesine sahip olur. Panoptik segmentasyon ise semantik ve instance segmentasyonu birleştirerek hem sayılabilen nesnelere (araba, insan) hem de arka plan bölgelerine (yol, gökyüzü) piksel düzeyinde etiket atar. Modern segmentasyon mimarileri derin öğrenmeye dayanır. FCN (Fully Convolutional Network) ile başlayan süreç, U-Net ve SegNet gibi encoder-decoder mimarileriyle olgunlaşmıştır. Transformer tabanlı SegFormer ve Mask2Former, dikkat mekanizmalarını kullanarak küresel bağlamı daha iyi modelleyerek önceki CNN yaklaşımlarını geride bırakmıştır. Meta tarafından geliştirilen SAM (Segment Anything Model) ise herhangi bir nesneyi sıfır görüntüyle (zero-shot) segmente edebilen evrensel bir model olarak alanda çığır açmıştır. Görüntü segmentasyonu; tıbbi görüntülemede tümör ve organ sınırlarının tespiti, otonom araçlarda yol ve engel ayrımı, uydu görüntülerinde arazi örtüsü sınıflandırması, artırılmış gerçeklikte arka plan kaldırma ve endüstriyel kalite kontrolünde kusur tespiti gibi kritik uygulamalarda kullanılmaktadır. Performans ölçütü olarak mIoU (mean Intersection over Union) ve Dice katsayısı yaygın şekilde benimsenmektedir.
Hidden Layer (Gizli Katman)
Gizli katman (hidden layer), yapay sinir aginin girdi ile cikti katmanlari arasında yer alan ve ham veriyi anlamlı temsillere donusturmekle sorumlu ara katmanlardır. "Gizli" kelimesi, bu katmanlarin egitim verisinde dogrudan gözlemlenemeyen ic temsillerini ifade eder; ne giris ne de cikis olmadigi icin bu adi almistir. Bir gizli katman birden fazla noron icermektedir. Her noron, onceki katmandaki tum noronların ciktilarinin agirlikli toplamını alir, bir bias ekler ve sonucu bir aktivasyon fonksiyonundan gecirir. ReLU (Rectified Linear Unit), Sigmoid ve Tanh en yaygin aktivasyon fonksiyonlarindandir. ReLU, gunumuzde sinir agları icin varsayilan tercih haline gelmistir; hesaplama basit ve gradyan yok olma problemi azdir. Gizli katmanlarin derinligi ve genisligi (noron sayisi), modelin kapasite ve ogrenme kapasitesini dogrudan belirler. Tek gizli katmanli ag teorik olarak her sureçli fonksiyonu yaklastiirabilir (Evrensel Yaklastirim Teoremi), ancak gercekte bu, astronomik boyutlarda noron sayisi gerektirebilir. Derin aglar (cok gizli katman), aynı kapasiteyi cok daha verimli sekilde saglayabilir. Her gizli katman, verinin farkli soyutlama duzeyini temsil eder. Goruntu taniyan bir CNN'de ilk gizli katmanlar kenar ve kose gibi dusuk seviye ozellikler; orta katmanlar doku ve sekil; derin katmanlar yuz veya nesne gibi yuksek seviye kavramlar ogrenebilir. Bu hiyerarsik ozellik ogrenimi, derin ogrenmenin en guclu ozelliklerinden biridir. Gizli katmanların sayısı ve boyutu model mimarisinin en kritik hiperparametreleri arasındadır. Az katman sığ temsil kapasitesi anlamına gelirken, fazla katman aşırı öğrenme (overfitting) riskini artırır. Modern derin öğrenme frameworkleri olan PyTorch ve TensorFlow, bu katmanları nn.Linear veya Dense sınıflarıyla kolayca tanımlamayı ve geri yayılım ile otomatik gradyan hesaplamasını destekler. Büyük dil modellerinde (GPT, BERT) gizli katmanlar milyarlarca parametre barındırarak dilin karmaşık yapısını kodlar.
Human Pose Estimation (İnsan Poz Tahmini)
Human Pose Estimation (İnsan Poz Tahmini), görüntüler veya video karelerindeki insan vücudunu oluşturan eklem noktalarını (omuzlar, dirsekler, bilekler, kalça, dizler, ayak bilekleri ve baş) tespit ederek bütüncül bir iskelet temsili ortaya koyan bilgisayarlı görü görevidir. Her iskelet, anatomik bağlantılarla birleştirilmiş anahtar nokta koordinatlarından (x, y ve güven skoru) oluşur. Temel mimariler iki kategoride incelenir. Yukarıdan aşağıya (top-down) yaklaşımda önce görüntüdeki her birey bir nesne dedektörüyle belirlenir, ardından her kişi için bağımsız poz tahmini çalıştırılır; bu yöntem yüksek doğruluk sağlar ancak hesaplama maliyeti kişi sayısıyla orantılı biçimde artar. Aşağıdan yukarıya (bottom-up) yaklaşımda ise tüm anahtar noktalar tek geçişte tespit edilip ardından bireylere eşleştirilir; OpenPose (CMU, 2017) bu kategorinin öncüsüdür ve Parça Yakınlık Alanları (Part Affinity Fields) adlı yenilikçi teknikle eklem noktalarını doğru kişilere bağlar. Teknik açıdan modeller, her keypoint için olasılık ısı haritaları (heatmap) üretir; haritadaki yüksek değerler eklemin o konumda bulunma olasılığını gösterir. DeepPose (Google, 2014) bu göreve derin öğrenmeyi taşıyan ilk çalışmaydı. 2022'de yayımlanan ViTPose, CNN omurgaları yerine Vision Transformer (ViT) mimarisini kullanarak MS COCO karşılaştırma setinde AP 80,9 ile yeni bir başarı çıtası oluşturdu ve alanın CNN baskınlığından Transformer çağına geçişini simgeledi. Uygulama alanları oldukça geniştir: spor analitiğinde futbol, basketbol ve yüzme dallarında oyuncu hareket analizi; fitness ve sağlıkta yoga/gym antrenmanlarında doğru form denetimi ve fizyoterapi takibi; artırılmış/sanal gerçeklikte gerçek zamanlı avatar kontrolü ve mocap alternatifi; işaret dili tanıma ve jest tabanlı insan-bilgisayar etkileşimi; güvenlik sistemlerinde davranış izleme ve anomali tespiti. Temel zorluklar arasında vücut parçalarının örtülmesi (occlusion), kalabalık sahnelerde çok kişili tahmin ve mobil/uç cihazlarda gerçek zamanlı işlem gereksinimleri sayılabilir.
Hypernetwork (Hiper Ağ)
Hypernetwork, başka bir sinir ağının (ana ağın) ağırlıklarını dinamik olarak üreten küçük bir yardımcı sinir ağıdır. 2016 yılında David Ha, Andrew Dai ve Quoc Le tarafından önerilen ve ICLR 2017 konferansında yayımlanan bu mimari, geleneksel derin öğrenmede sabit tutulan model parametrelerini koşullamaya duyarlı biçimde üretmeyi mümkün kılar. Klasik derin öğrenmede her katmanın ağırlıkları geri yayılım (backpropagation) ile öğrenilir ve eğitim tamamlandığında değişmez hale gelir. Hypernetwork yaklaşımında iki bileşenli bir yapı kullanılır: küçük hiper ağ, bir koşullama girdisi (görev kimliği, stil vektörü, gizli durum vb.) alarak ana ağın belirli katmanlarına ait ağırlık matrislerini hesaplar. Ana ağ bu ağırlıkları doğrudan kullanır; farklı koşullamalar için farklı parametre setleri anında elde edilir. Eğitim sırasında her iki ağ da aynı anda optimize edilir ve gradyanlar hem ana ağın kayıp fonksiyonundan hem de hiper ağ çıktısından hesaplanır. Bu mimari, çok sayıda görevi tek bir model çatısı altında toplamaya imkân tanır. Hiper ağ farklı koşullamalar için parametreler ürettiğinden milyonlarca parametreyi ayrı ayrı ezberlemek yerine üretme yolu tercih edilir; bu da parametre verimliliğini önemli ölçüde artırır. Modern derin öğrenmede hypernetwork kavramı, LoRA (Low-Rank Adaptation) gibi parametre etkin ince ayar teknikleriyle kavramsal açıdan yakın ilişkidedir. LoRA'nın delta ağırlıklarını düşük ranklı çarpanlara ayırması, bir hypernetwork'ün kompakt bir gizli vektörden ağırlık üretmesiyle örtüşen bir yaklaşımdır. Nöral mimari arama (NAS) uygulamalarında hiper ağ, farklı mimari konfigürasyonların ağırlıklarını paylaşarak büyük arama uzaylarını hızla değerlendirmeye yarar. 2023 yılından itibaren çok modlu (multimodal) sistemlerde de kullanım alanı genişleyen hypernetwork mimarisi, görüntü koşullamasıyla metin üreticinin parametre davranışının anlık olarak değiştirilebildiği modellerin temelini oluşturmaktadır. Bu yapı; meta-öğrenme, federe öğrenme ve sürekli öğrenme alanlarında güçlü sonuçlar vermektedir. Özellikle birden fazla görevi tek bir model mimarisinde yönetmek, hızlı adaptasyon ve görevler arası bilgi paylaşımı gerektiren uygulamalarda hypernetwork yaklaşımı araştırmacılar tarafından değerli bir araç olarak görülmektedir.
Image Captioning (Görüntü Altyazılama)
Image Captioning (Görüntü Altyazılama), bir görüntünün içeriğini otomatik olarak doğal dilde açıklayan çok modlu (multimodal) yapay zeka tekniğidir. Erişilebilirlik alt metni üretmekten e-ticaret ürün açıklamasına, güvenlik kamerası analizinden tıbbi görüntü raporlamasına uzanan geniş bir kullanım yelpazesine sahiptir. Teknik açıdan modern sistemler encoder-decoder çerçevesine dayanır. Görüntü encoder'ı (ViT, CNN veya bunların birleşimi), piksel matrisini yoğun bir özellik vektörüne sıkıştırır. Metin decoder'ı (genellikle transformer tabanlı bir dil modeli), bu vektörü koşul olarak alarak sözcük sözcük açıklamayı üretir. Eğitim için görüntü-metin çifti veri setleri kullanılır: MS-COCO (her görüntü için 5 farklı insan referansı), Flickr30K ve Conceptual Captions başlıca kaynaklardır. 2022'de Salesforce'un yayımladığı BLIP (Bootstrapping Language-Image Pre-Training), web'den derlenen gürültülü görüntü-altyazı çiftlerini kendi kendine filtreleyerek eğitim kalitesini artırdı. Microsoft'un GIT (Generative Image-to-Text) modeli, her decoder katmanına görsel özellik enjekte ederek metinsel bağlamı korur. Google DeepMind'ın Flamingo modeli büyük dil modelini görsel girdi ile koşullandırarak few-shot image captioning'de yeni referanslar belirledi. BLIP-2, LLaVA ve Qwen-VL gibi daha yeni sistemler ise görüntü altyazılamanın ötesine geçerek görsel soru yanıtlama (VQA) ve yönerge takibini tek mimaride birleştirmektedir. Değerlendirmede BLEU, METEOR ve ROUGE gibi metin benzerliği metrikleri yanı sıra, image captioning'e özgü CIDEr (Consensus-based Image Description Evaluation) ve SPICE metrikleri kullanılır. CIDEr, insan referans açıklamalarıyla konsensüse dayalı n-gram benzerliğini ölçer; SPICE ise sahne grafiği (scene graph) ayrıştırması yaparak anlamsal doğruluğu değerlendirir. Türkiye'de erişilebilirlik mevzuatı (Ekim 2023'ten itibaren kamu web sitelerinde WCAG 2.1 AA zorunluluğu) görüntü altyazılama teknolojisine kurumsal talebi artırmaktadır. E-ticaret platformları görsel ürün kataloğunu metin olarak indeksleyerek arama motorlarında görünürlük elde etmekte; medya ve yayın arşivleri tarihî fotoğrafları otomatik etiketlemek için bu teknikten yararlanmaktadır.
In-Memory Computing (Bellek-İçi Hesaplama)
In-Memory Computing (Bellek-İçi Hesaplama), verilerin geleneksel disk tabanlı depolama yerine doğrudan RAM veya yüksek bant genişlikli bellek (HBM) üzerinde işlenmesi paradigmasıdır. Geleneksel mimaride CPU veya GPU, hesaplama yaparken model ağırlıklarını ve aktivasyonları bellekten defalarca okumak zorundadır; bu veri transferi, özellikle büyük dil modellerinin (LLM) çıkarım aşamasında ciddi bir darboğaz oluşturur. İşlemcinin bekleyerek geçirdiği bu süre, toplam çıkarım gecikmesinin büyük bölümünü oluşturur. Processing-in-Memory (PIM) ya da Near-Memory Computing olarak da bilinen bu yaklaşımda, hesaplama mantığı doğrudan bellek çipleri içine entegre edilir. Böylece veri işlemciye taşınmak yerine, işlemci verinin bulunduğu yerde çalışır. Bir LPDDR5 DRAM çipinin harici G/Ç bant genişliği yaklaşık 51,2 GB/s ile sınırlıyken, dahili all-bank bant genişliği 409,6 GB/s'ye ulaşabilir; bu yaklaşık 8 katlık artış, verinin yanında hesaplama yapmanın sağladığı temel avantajdır. Samsung (AxDIMM/HBM-PIM), SK Hynix (AiM — Accelerator-in-Memory) ve UPmem gibi şirketler, AI iş yüklerine özgü ticari PIM çözümleri geliştirmektedir. GPU+HBM-PIM entegrasyonu, yalnızca GPU mimarisine kıyasla LLM çıkarımında 3,24 kat hızlanma ve yüzde 60 enerji tasarrufu sağlayabilmektedir. Transformer mimarilerindeki matris-vektör çarpımı (GEMV) ve dikkat mekanizmaları, hesaplama kapasitesinden çok bellek bant genişliğine duyarlıdır; bu nedenle bellek-içi hesaplama bir sonraki nesil AI donanımının temel bileşeni olmaya adaydır. Edge AI cihazlarında ise RISC-V tabanlı PIM modülleri, nöral ağ çıkarımını düşük güç bütçesiyle gerçekleştirmeyi mümkün kılar. Bellek-içi hesaplama paradigması, yalnızca AI iş yüklerini değil veri analitiği ve genomik gibi bellek-bağımlı alanlarda da dönüşüm yaratmaktadır. UPmem'in DIMM modülleri, DNA dizi hizalama algoritmalarında CPU'ya kıyasla 18 kata varan hızlanma bildirmiştir. Bu geniş uygulama yelpazesi, PIM'in yalnızca bir AI donanım optimizasyonu değil, hesaplama mimarisinin köklü bir yeniden tanımlanması olduğunu ortaya koymaktadır. HBM3 ve HBM3e ile entegre PIM çözümlerinin 2025-2026 yıllarında veri merkezi uygulamalarına girmesiyle birlikte bu paradigmanın endüstriyel ölçekte benimsenmesi hızlanması beklenmektedir.
Instruction Tuning (Komut Ayarı)
Instruction Tuning (Komut Ayarı veya Talimat İnce Ayarı), önceden eğitilmiş dil modellerini insan yazılı talimat-yanıt çiftleriyle ince ayar yaparak modelin çeşitli görevleri takip etme becerisini geliştiren bir eğitim yöntemidir. 2021'de Google'ın FLAN modeli ve Stanford'un Alpaca çalışmasıyla popülerleşen bu teknik, bugün neredeyse tüm kullanıcıya dönük LLM'lerin eğitim süreçlerinin temel ve ayrılmaz bir parçasıdır. Instruction tuning'den önce dil modelleri yalnızca sonraki tokeni tahmin etmek üzere eğitilirdi; bu modeller doğrudan kullanıcı talimatlarını takip etmekte yetersiz kalırdı. Instruction tuning, çok sayıda ve çeşitli görevleri kapsayan veri setiyle modeli fine-tune eder: özetleme, soru yanıtlama, çeviri, sınıflandırma, kod yazma. Böylece model yeni, görülmemiş görevleri sıfır-atış (zero-shot) veya az-atış (few-shot) biçiminde takip edebilir hâle gelir. Bu yetenek, bir asistan ile ham bir dil modeli arasındaki en temel farkı oluşturur; eğitim maliyetinin küçük bir kesimiyle büyük kullanılabilirlik artışı elde edilir. Kaliteli instruction tuning için veri kalitesi, çeşitliliği ve talimat-yanıt uyumluluğu kritiktir. LIMA çalışması, 1000 yüksek kaliteli örnek bile yeterince çeşitliyse güçlü instruction following kapasitesi elde edilebileceğini kanıtlamıştır. Günümüzde büyük ölçekli modeller için hem insan yazılı hem de LLM ile sentetik olarak üretilmiş instruction veri setleri kullanılmaktadır. WizardLM, ShareGPT ve OpenAssistant gibi açık veri setleri, topluluğun bu tekniği demokratikleştirmesinde önemli bir rol üstlenmektedir. Instruction tuning sonrası RLHF (İnsan Geri Bildiriminden Pekiştirme Öğrenmesi) veya DPO (Doğrudan Tercih Optimizasyonu) uygulaması, modeli daha güvenli ve kullanıcı dostu bir konuma taşır. Multitask instruction tuning, modelin tek bir görev yerine onlarca farklı talimat türünü öğrenmesini destekleyerek genel amaçlı asistan yeteneklerini güçlendirir. GPT-4, Claude ve Gemini gibi modern sohbet modellerinin temelinde bu çok katmanlı fine-tuning hattı yatmaktadır. 2024-2026 döneminde instruction tuning, LoRA ve QLoRA gibi parametre-verimli yöntemlerle tüketici donanımında da uygulanabilir hâle gelmiştir. Tıp, hukuk ve finans gibi alana özgü instruction tuning çalışmaları, genel amaçlı modellerin yetersiz kaldığı özel bağlamlardaki boşlukları kapatmaktadır. Self-Instruct yöntemi ise modelin kendi ürettiği talimat-yanıt çiftleriyle özyinelemeli olarak eğitilmesine olanak tanıyarak pahalı insan etiketleme maliyetini düşürmüştür. Türkçe instruction veri setlerinin gelişmesiyle birlikte Türkçe asistan modellerinin doğruluğu ve tutarlılığı hızla artmaktadır.
Jacobian Matrix (Jacobian Matrisi)
Jacobian Matrisi, birden fazla değişkene bağlı olan vektör değerli bir fonksiyonun birinci dereceden kısmi türevlerini düzenli biçimde gösteren matematiksel yapıdır. f: Rⁿ → Rᵐ türünde bir fonksiyon için Jacobian, m×n boyutunda bir matristir; her (i,j) girişi ∂fᵢ/∂xⱼ kısmi türevine eşittir. Bu matris, bir noktanın yakınında fonksiyonun nasıl değiştiğini lineer olarak özetler. Tarihsel köken açısından Jacobian, 19. yüzyılda Alman matematikçi Carl Gustav Jacob Jacobi tarafından çok değişkenli integrallerde koordinat dönüşümlerini incelemek amacıyla geliştirilmiştir. Çok boyutlu koordinat değişimlerinde "Jacobian determinantı" alan ölçekleme faktörü olarak ortaya çıkar ve integralin doğru hesaplanmasını sağlar. Derin öğrenmedeki rolü bakımından Jacobian, geri yayılım (backpropagation) algoritmasının matematiksel çekirdeğinde yer alır. Bir sinir ağı katmanı y = f(x) dönüşümü gerçekleştirdiğinde, kayıp fonksiyonunun x'e göre gradyanı zincir kuralıyla şöyle hesaplanır: ∂L/∂x = Jᵀ · (∂L/∂y). Pratikte tam Jacobian matrisi belleğe sığmayabilir; büyük mimarilerde giriş ve çıkış boyutları milyonları aşar. Bu nedenle modern otomatik türev kütüphaneleri (PyTorch autograd, JAX) gerçekte Jacobian matrisini oluşturmaz — yalnızca Jacobian-vektör çarpımlarını (JVP, ileri mod) veya vektör-Jacobian çarpımlarını (VJP, geri mod) hesaplar. İleri mod otomatik türevleme JVP kullanır ve küçük giriş — büyük çıkış durumlarında verimlidir. Geri mod (reverse-mode) ise VJP kullanır ve PyTorch'un backward() çağrısının temelidir; büyük giriş — tek kayıp skaleri durumlarında (tipik sinir ağı eğitimi) tercih edilir. Diğer uygulamalar arasında şunlar sayılabilir: normalizing flow modellerinde olasılık yoğunluğu hesabı için Jacobian determinantı kullanılır; meta-öğrenme algoritması MAML'ın iç döngü gradyanları Jacobian zincirlemesi gerektirir; robotik kol kinematiklerinde eklem açılarından uç-efektör konumuna dönüşüm Jacobian aracılığıyla ifade edilir. Kaybolan gradyan sorununu (vanishing gradient) anlamak için de Jacobian spektrumu incelenir: Jacobian'ın özdeğerleri 1'den küçükse gradyanlar katmanlar boyunca sıfıra yaklaşır.
Kapsül Ağı (Kapsül Ağı Nedir? Uzaysal Hiyerarşiyi Koruyan Sinir Ağı Mimarisi)
Kapsul agi (capsule network), geleneksel Evrisimsel Sinir Aglarindaki (CNN) skaler aktivasyon birimlerinin yerine "kapsul" adli vektor birimleri kullanan bir derin ogrenme mimarisidir. Her kapsul, yalnizca bir ozelligi tespitini degil o ozelligi ile ilgili yonelim, boyut ve konum gibi pose bilgisi iceren bir vektor ciktisi uretir. Bu temel fark kapsul aglarini geleneksel CNN'lerden ayrilan ve uzamsal hiyerarsiyi daha eksiksiz modellemelerini saglayan bir yapi kilar. Bu fikrin mimari babasi Geoffrey Hinton'dur; kapsul aglarinin temelini yıllarca oncesinden atmış olsa da 2017 yilındaki "Dynamic Routing Between Capsules" (Sabour, Frosst, Hinton) makalesi modern kapsul agi arastirmasinin baslangic noktasi sayilmaktadir. Geleneksel CNN'lerin max pooling katmani, bir nesnenin bir bolumde olup olmadigını algılar ama nerede oldugunu veya nasil yonlendirildigini atar. Hinton bu yaklasimi insan beyninin parcalar arasindaki iliskiyi anlamadaki becerisini modelleyemedigini one surmuş; kapsullerin bu eksikligi gidereceğini savunmustur. Dynamic routing, kapsul aglarinin merkezi hesaplama mekanizmasidur. Her alt kapsul, ust kapsullar icin potansiyel katkiyi tahmin eder ve bu katkinin ust kapsulun fiili ciktisiyla ne kadar uyuştuğuna bakarak baglantiyi iteratif sekilde gunceller. Anlasma (agreement) yuksekse baglanti guclenir; dusukse zayiflar. Bu dongusal islem, max pooling'in yaptigi basit maksimum alma yerine anlamli uzamsal iliskileri kodlar. Kapsul aglarinin pratik sinirliliklari da mevcuttur. MNIST gibi kucuk ve temiz veri kumelerinde umut verici sonuclar gosterirken ImageNet gibi buyuk olcekli karmasik veri kumelerinde standart CNN'lerle rekabet etmek hem hesaplama maliyeti hem dogruluk acisindan zordir. Alanin hala aktif arastirma konu olmakla birlikte ana akım uretim sistemlerinde standart CNN ve Transformer mimarisi hakimiyetini korumaktadir. **Sik Sorulan Sorular** **Kapsul aglari neden ana akima giremedi?** Buyuk olcekli veri kumelerinde standart CNN'lerle rekabet edemez; dynamic routing hesaplama maliyeti ve olcekleme guclugu ana akım benimsenmemesinin baslica nedenidir. **Kapsul aglari Transformer'larla karsilastirılabilir mi?** Her iki mimari de uzamsal iliskiler modelleme acisindan geleneksel CNN'den farkli; ancak farkli mekanizmaları kullanmaktadır. Transformer'larin buyuk olcekli veride basarisi, kapsul aglarinin araştirma etkisini kısmen golgede birakmiştir. **Kapsul aglari goruntu disinda kullanilabilir mi?** Prensipte evet; noktabultaji ve ses gibi alanlarda denemeler yapilmistir. Ancak buyuk olcekli goruntulerle bile zorlanan mimari, diger modalitelerde az incelenmiştir. **Kapsul aglari gunumuzde kullanılıyor mu?** Arastirma laboratuvarlarinda aktif calismalar surdurulmekte; ancak uretim sistemlerinde neredeyse hi kullanimazdir. Vision Transformer (ViT) ve benzeri mimariler buyuk olcekli gorsel algida hakimiyeti ele gecirmistir.
Kayan Pencere Dikkati (Sliding Window Attention)
Kayan Pencere Dikkati (Sliding Window Attention, SWA), transformer mimarisinde her tokenın bütün diziye değil yalnızca belirli bir pencere boyutundaki komşu tokenlara dikkat ettiği verimli bir attention yöntemidir. Klasik tam dikkat (full self-attention) O(n²) bellek ve hesaplama karmaşıklığına yol açarken, kayan pencere yaklaşımı bunu O(n·w) düzeyine indirir; burada w pencere boyutunu gösterir. Tam dikkat mekanizmasında n uzunluğundaki bir dizi için n² çift dikkat hesaplamak gerekir; bu, 8.192 token uzunluğunda bile yaklaşık 67 milyon hesaplama anlamına gelir. Kayan Pencere Dikkati'nde her token yalnızca kendi konumunun w/2 soluna ve sağına dikkat eder. Pencere dizi boyunca kaydırılır ve bellek tüketimi sabit kalır. Mistral 7B bu mekanizmayı temel attention katmanlarında benimseyerek hem çıkarım hızını artırmış hem de uzun bağlam işleme kapasitesini genişletmiştir. Longformer ise yerel kayan pencereyi, belgelerin tamamını temsil eden global dikkat tokenleriyle birleştirerek soru-cevap ve özetleme görevlerinde başarılı sonuçlar elde etmiştir. BigBird modeli de benzer bir yaklaşımla yerel, global ve rastgele dikkat kombinasyonunu kullanır. Kayan Pencere Dikkati, uzak tokenlara doğrudan erişimi kısıtladığından bazı görevlerde tam dikkate kıyasla dezavantaj yaratabilir. Bu sınırlamayı aşmak için genellikle dönüşümlü katmanlar kullanılır: modelin bazı katmanları tam dikkat, bazıları ise kayan pencere dikkati uygular. Mistral bu stratejiyi benimseyerek hesaplama verimliliğini korurken uzun menzilli bağımlılıkları yönetme kapasitesini de sürdürür. Uzun bağlamlı uygulamaların giderek yaygınlaşmasıyla birlikte — hukuk belgeleri analizi, uzun kod tabanları, bilimsel makaleler — Kayan Pencere Dikkati ve benzeri verimlilik teknikleri (Flash Attention, GQA) LLM altyapısının temel bileşenleri haline gelmiştir. GPT-4 Turbo ve Claude'un 200K token desteği gibi örnekler, bu tür verimlilik mekanizmalarının önkoşulluğunu ortaya koymaktadır. Hukuk belgesi analizi, kod tabanı inceleme ve uzun bilimsel raporların özetlenmesi bu mekanizmanın doğrudan yararlı olduğu alanlardır.
KL Divergence (KL Iraksaması (Kullback-Leibler Divergence))
KL Iraksaması (Kullback-Leibler Divergence — KL Sapması), iki olasılık dağılımı arasındaki farkı ölçen bir bilgi-teorik metriktir. P olasılık dağılımını Q ile yaklaşık olarak ifade etmenin "maliyetini" — bilgi kaybını — ölçer. Formülü: KL(P‖Q) = Σ P(x) log(P(x)/Q(x)). Değerin sıfır olması iki dağılımın özdeş olduğu anlamına gelir; sıfırdan büyük değerler ise iki dağılımın ne kadar farklılaştığını gösterir. Solomon Kullback ve Richard Leibler metriği 1951'de "On Information and Sufficiency" başlıklı çalışmalarında bilgi teorisi çerçevesinde türettiler. Shannon entropisinin bir uzantısıdır: H(P,Q) = H(P) + KL(P‖Q); yani çapraz entropi, özsel entropinin ve KL ıraksama teriminin toplamıdır. KL iraksaması simetrik değildir: KL(P‖Q) ≠ KL(Q‖P). Bu asimetri farklı kullanım senaryolarını doğurur. "Forward KL" (P‖Q) modelin gerçek dağılımı P'yi küçümsememesini zorlar; kütle kaplayan (mean-seeking) bir yaklaşım üretir ve tüm modları kapsayan geniş bir tahmin tercih edilir. "Reverse KL" (Q‖P) ise belirli modlara konsantre olma eğilimindedir ve mod-arayan (mode-seeking) davranış sergiler; değişkence Bayes ve ELBO optimizasyonu bu yönü kullanır. Makine öğrenmesinde KL iraksamasının kritik kullanım alanları şunlardır: Bilgi damıtmada öğretmen ve öğrenci modelin olasılık dağılımları arasındaki KL kaybı, ham etiket bilgisinden çok daha zengin bir eğitim sinyali sunar. Değişkence otokodlayıcılarda (VAE) posterior dağılım q(z|x) ile prior p(z) arasındaki KL terimi, ELBO'nun düzenlileştirici bileşeni olarak gizli uzayı düzenli tutar. RLHF ve PPO'da politika modelinin referans modelden çok uzaklaşmamasını sağlayan KL ceza terimi β çarpanıyla ödül korsanlığını önler. Dağılım kayması tespitinde ise üretim verisinin eğitim dağılımından sapmasını izlemek için başvurulan temel metrik haline gelmiştir. KL her zaman negatif olmayan bir değer üretir — Gibbs eşitsizliği bunu garantiler. Simetri gerektiğinde Jensen-Shannon (JS) iraksaması tercih edilir: JSD(P,Q) = ½ KL(P‖M) + ½ KL(Q‖M), M = (P+Q)/2. JS her zaman sonlu bir değer verir ve [0,1] aralığıyla kısıtlıdır. Pratikte PyTorch'ta torch.nn.KLDivLoss, JAX'ta optax.kl_divergence ve NumPy/SciPy'da scipy.special.rel_entr fonksiyonları ile hesaplanır.
Knowledge Distillation (Bilgi Damıtma)
Knowledge Distillation (Bilgi Damıtma), büyük ve güçlü bir öğretmen modelin bilgisini daha küçük ve verimli bir öğrenci modele aktarma sürecidir. Öğrenci model, doğrudan ham etiketlerden değil; öğretmenin yumuşak olasılık çıktılarından (soft labels) öğrenerek eğitim veri kümesindeki sinyallerin ötesine geçen genelleme yeteneği kazanır. Tekniğin temeli 2015 yılında Geoffrey Hinton, Oriol Vinyals ve Jeff Dean'in yayımladığı "Distilling the Knowledge in a Neural Network" başlıklı makaledir. Hinton, öğretmenin softmax çıktılarının ham etiketlere kıyasla çok daha zengin bir öğrenme sinyali taşıdığını ortaya koydu: bir görüntü sınıflandırıcısının "kedi" olasılığı %90 iken "köpek" olasılığının %7 olması, modelin sınıflar arasındaki benzerlik yapısını kodladığını gösterir ve öğrenci bu yapıyı devralır. Teknik açıdan distilasyon iki kayıp teriminin ağırlıklı toplamını minimize eder: öğrencinin öğretmen çıktılarına ne kadar yaklaştığını ölçen KL Divergence tabanlı distilasyon kaybı ve standart çapraz entropi kaybı. Sıcaklık (temperature) parametresi softmax dağılımını yumuşatarak sınıflar arası ilişkileri belirginleştirir; tipik değerler 2-5 arasındadır. Pratik uygulamalarda distilasyon, üretim ortamları için belirleyici bir teknik haline gelmiştir. DistilBERT orijinal BERT modelinin %97 performansını %40 daha küçük ve %60 daha hızlı biçimde yeniden üretir. TinyBERT hem öğretmen çıktısından hem de ara katman temsil bilgisinden öğrenir; MobileBERT ise mobil cihaz kısıtları gözetilerek tasarlanmıştır. Distilasyon çeşitleri arasında self-distillation (modelin kendisinden öğrenmesi), multi-teacher distillation (birden fazla öğretmenden bilgi sentezi) ve cross-modal distillation (görüntü modelinin bilgisinin metin modeline aktarılması) sayılabilir. LLM çağında bu teknik, 70B+ büyük modellerin bilgisini 7B veya daha küçük görev-odaklı modellere aktarmak için kritik bir role bürünmüştür. Açık ağırlıklı büyük modeller öğretmen, küçük görev-odaklı modeller öğrenci rolü üstlenir; bu yaklaşım model sıkıştırma, budama (pruning) ve kuantizasyon ile birlikte kullanılarak donanım sınırlı ortamlarda yüksek performans elde etmeye olanak tanır. 2024-2026 döneminde bilgi damıtma, küçük dil modeli (SLM) ekosisteminin merkezine oturdu. Microsoft'un Phi-3-mini'si (3.8 milyar parametre, 2024), GPT-3.5 düzeyinde performansı mobil cihazlara taşıyan ve distilasyon temelli bir veri akışıyla geliştirilen önemli bir açık kaynak modeldir. DeepSeek-R1'in Ocak 2025'te yayımlanan damıtma varyantları, 32 milyar parametreli öğrenci modelin matematik akıl yürütmede OpenAI o1-mini'yi geride bırakmasına zemin hazırladı. Bu süreçte bilgi damıtma, kuantizasyon ve budama teknikleriyle birleştirilerek çıkarım gecikmesi ile bellek tüketimi düşürülmekte; hafif modeller akıllı telefonlar ve gömülü sistemlerde çevrimdışı çalışabilir hale gelmektedir.
Latent Uzay (Latent Uzay)
Latent Uzay (Latent Space), bir sinir ağının ham girdi verilerini sıkıştırarak kodladığı düşük boyutlu soyut temsil uzayıdır. Piksel dizileri, ses dalgaları ya da ham metin gibi yüksek boyutlu girdiler bu uzayda çok daha az sayıda koordinatla ifade edilir; bu koordinatlar verinin anlamsal özelliklerini, stilini ve yapısını kodlar. Latent uzay kavramı, üretken yapay zekadan anomali tespitine, veri sıkıştırmasından transfer öğrenmesine kadar geniş bir yelpazede merkezi rol üstlenmektedir. Latent uzayın geometrisi, modelin öğrendiği anlam yapısını doğrudan yansıtır. İyi öğrenilmiş bir latent uzayda benzer anlamlı girdiler birbirine yakın, farklı anlamlı girdiler ise birbirinden uzak konumlarda bulunur. Kelime gömmeleri bu özelliği en çarpıcı biçimde örnekler: "kral − erkek + kadın = kraliçe" aritmetiği latent uzayın anlamsal tutarlılığının somut göstergesidir. Görüntü modellerinde ise aynı nesnenin farklı açı ve aydınlatma koşullarındaki örnekleri latent uzayda belirgin bir küme oluşturur. Latent uzayın kullanım alanları son derece geniştir. Varyasyonel otokodlayıcılar (VAE) latent uzayı bir olasılık dağılımı olarak modelleyerek kontrollü örnekleme ve içerik interpolasyonu mümkün kılar. Difüzyon modelleri, Stable Diffusion başta olmak üzere, gürültü ekleme ve giderme sürecini piksel uzayı yerine latent uzayda yürütür; bu tercih hem hesaplama maliyetini düşürür hem de üretim kalitesini artırır. Üretken çekişmeli ağlarda (GAN) gürültü vektörleri latent uzaydan örneklenerek fotogerçekçi görüntüler ve ses segmentleri üretilir. Anomali tespitinde normal veriler latent uzayda düzenli kümeler oluştururken anormal örnekler bu kümelerden belirgin biçimde uzaklaşır. Çok modlu modellerde metin ve görüntü latent uzayları ortak bir uzayda hizalanarak çapraz modal arama, stil aktarımı ve görüntüden metin üretimi gibi görevler gerçekleştirilmektedir. Bu hizalama tekniği CLIP ve benzeri çerçevelerin temelini oluşturmakta; yapay zekanın farklı duyusal modaliteler arasında köprü kurma yeteneğinin anahtarı olmaktadır.
Layer Normalization (Katman Normalizasyonu)
Layer Normalization (Katman Normalizasyonu), derin öğrenme modellerinde eğitimi hızlandırmak ve kararlılaştırmak için kullanılan bir normalizasyon yöntemidir. Jimmy Ba ve Geoffrey Hinton tarafından 2016 yılında önerilen bu teknik, her bir veri örneğinin aktivasyonlarını özellik boyutu (feature dimension) üzerinden normalleştirir; bu sayede batch boyutundan tamamen bağımsız biçimde çalışır. Yöntemin matematiksel temeli şudur: bir katmandaki H adet nöronun aktivasyonları için μ (ortalama) ve σ (standart sapma) hesaplanır, ardından her aktivasyon normalize edilir ve öğrenilebilir parametreler γ (gain) ile β (bias) ile yeniden ölçeklenir. Formül: ŷ = γ × (x − μ) / √(σ² + ε) + β. Burada ε sıfıra bölmeyi önleyen küçük bir sabittir. Batch Normalization (BN) mini-batch içindeki tüm örneklere bakarak istatistik hesaplarken, Layer Normalization yalnızca tek örneğin kendi özellik boyutuna bakar. Bu fark, BN'nin değişken uzunluklu dizilerle ve batch size=1 senaryolarında yetersiz kalmasına yol açar; LN bu sınırlamaları aşar ve Tekrarlayan Sinir Ağları (RNN) ile Transformer mimarileri için doğal seçim haline gelir. Modern büyük dil modellerinde iki yerleşim biçimi bulunur. Orijinal Transformer (Vaswani ve ark., 2017) her alt katmanın (dikkat + FFN) çıktısından sonra LN uygular; buna Post-LN denir. GPT-3, LLaMA ve çoğu modern LLM ise her alt katmanın girişine LN uygular (Pre-LN). Pre-LN, gradyan akışını daha kararlı kılar ve genellikle daha kolay eğitilir. RMSNorm, Layer Norm'un hesaplama maliyetini azaltmak için önerilmiş bir varyantıdır. Ortalama çıkarma (mean subtraction) adımını atlayarak yalnızca karekök ortalama karesiyle (RMS) normalleştirir. LLaMA 2/3 ve Mistral gibi modeller RMSNorm'u tercih eder çünkü GPT düzeyinde kaliteyi daha az işlemle elde eder. Layer Normalization, eğitim sırasında model aktivasyonlarını ölçek ve kayma bağımsız hale getirerek öğrenme hızı seçimini daha az kritik kılar ve farklı boyutlardaki modeller arasında transferi kolaylaştırır.
Liquid Neural Network (Sıvı Sinir Ağları)
Liquid Neural Network (Sıvı Sinir Ağı), MIT CSAIL'den Ramin Hasani ve Mathias Lechner liderliğindeki ekibin 2020 yılında yayımladığı, zamanla değişen dinamik ağırlıklarla çalışan bir sinir ağı mimarisidir. "Sıvı" metaforu, ağırlıkların eğitim tamamlandığında dondurulması yerine her yeni girdi ile birlikte akışkan biçimde uyum sağlamasına gönderme yapar; bu durum modeli, özellikle zaman boyutu kritik olan görevler için doğası gereği elverişli kılar. Mimarinin çıkış noktası, yalnızca 302 nörona ve yaklaşık 7.000 sinapsa sahip C. elegans adlı nematod solucanının sinir sistemidir. Bu minimalist yapı; koku takibi, ışık hassasiyeti ve karmaşık sensorimotör davranışlar gibi işlevleri başarıyla yönetebilmektedir. MIT ekibi bu organizmanın nöral devrelerini matematiksel olarak modelleyerek Liquid Time-Constant (LTC) adı verilen temel yapı taşını geliştirdi. Teknik açıdan LTC hücresi, zaman sabitinin (τ) girdiye bağlı olarak değiştiği sürekli zamanlı diferansiyel denklem üzerine kurulur: dx/dt = -x/τ(x,I) + f(x,I). Bu denklem her zaman adımında Euler veya Runge-Kutta gibi ODE çözücüleriyle nümerik olarak ilerletilir. Klasik LSTM veya GRU ağlarının aksine, her girdi hücrenin iç dinamiğini geçici olarak etkiler; bu nedenle ağ statik değil, sürekli değişen bir temsil yapısı sunar. Pratik açıdan mimari, otonom araç sterzo kontrolünde standart LSTM'den %26 daha iyi genelleme sağladığı gösterilmiştir. Daha az parametreyle aynı temsil kapasitesine ulaşılması, düşük kaynaklı kenar cihazlarda (MCU, IoT) gerçek zamanlı çıkarım için önemli bir avantaj yaratır. Gürültülü veya eksik veri koşullarında sergilediği gürbüzlük, endüstriyel sensör izleme ve tıbbi sinyal analizi (EEG, EKG) gibi kritik alanlarda tercih nedeni olmaktadır. Eğitim sürecindeki temel zorluk, ODE çözücü adımlarının paralel GPU hesaplamasını güçleştirmesidir. Bu sınırlamayı aşmak için 2022'de Closed-Form Continuous-Time (CfC) mimarisi tanıtıldı; ODE yerine kapalı analitik form kullanarak eğitim süresini belirgin biçimde kısalttı. Ekibin 2023'te kurduğu Liquid AI şirketi bu temeli endüstriyel ölçeğe taşıyan modeller geliştirmektedir.
Loss Function (Kayıp (Maliyet) Fonksiyonu)
Kayıp fonksiyonu (loss function), makine öğrenmesi modelinin tahminleri ile gerçek etiketler arasındaki farkı sayısal olarak ölçen matematiksel bir işlevdir. Eğitim sürecinin kalbi olan bu fonksiyon, modelin ne kadar 'yanlış' olduğunu bir skalar değere dönüştürür; optimizasyon algoritması da bu değeri minimize etmek için ağırlıkları günceller. Görev türüne göre farklı kayıp fonksiyonları kullanılır. İkili sınıflandırmada ikili çapraz entropi (binary cross-entropy), çok sınıflı görevlerde kategorik çapraz entropi (categorical cross-entropy) standarttır. Bu fonksiyonlar, modelin olasılık çıktıları ile gerçek etiketler arasındaki log-olasılık farklılığını ölçer ve modeli güvenilir olasılık kalibrasyonuna yönlendirir. Regresyon görevlerinde ortalama kare hata (Mean Squared Error, MSE) ve ortalama mutlak hata (Mean Absolute Error, MAE) en yaygın seçeneklerdir. MSE büyük hatalara ağırlık verirken MAE tüm hatalara eşit davranır; aykırı değer (outlier) hassasiyetine göre bu ikisi arasında seçim yapılır. Huber kaybı ise ikisinin karışımı olarak hem büyük hem küçük hatalarda dengeli davranır. Kayıp fonksiyonu, düzenlileştirme terimleriyle genişletilebilir. L1 (Lasso) ve L2 (Ridge) düzenlileştirmesi, kayıp değerine ağırlıkların büyüklüğüne orantılı bir ceza ekleyerek modelin aşırı öğrenmesini frenler ve seyrek çözümler üretmesini teşvik eder. GAN'larda, contrastive learning'de ve RL'de özel kayıp fonksiyonları (adversarial loss, triplet loss, policy gradient) görevin dinamiklerine göre tasarlanır. Seçilen kayıp fonksiyonu doğrudan optimizasyon yüzeyini şekillendirir ve bu nedenle model eğitiminin en kritik tasarım kararlarından birini oluşturur. Kayıp fonksiyonunun doğru seçimi, model mimarisinin doğru seçimi kadar belirleyicidir. Dengesiz sınıflara sahip bir veri setinde standart çapraz entropi kullanmak, modelin baskın sınıfa odaklanmasına yol açar; bu durumda focal loss gibi daha gelişmiş alternatifler devreye girer. Benzer biçimde, öneri sistemlerinde pairwise sıralama kaybı (pairwise ranking loss) veya bilgi damıtmada KL-diverjans kaybı tercih edilir. Kayıp yüzeyinin şekli, gradyan iniş yönteminin kaç adımda yakınsayacağını ve yerel minimuma takılıp takılmayacağını etkiler; bu nedenle kayıp seçimi ile öğrenme hızı ve momentum gibi hiperparametrelerin birlikte ele alınması gerekir.
LSTM (Long Short-Term Memory) (Uzun Kısa Vadeli Hafıza)
LSTM (Long Short-Term Memory — Uzun Kısa Vadeli Hafıza), standart tekrarlayan sinir ağlarının (RNN) uzun vadeli bağımlılıkları öğrenememesi sorununu çözmek amacıyla 1997 yılında Sepp Hochreiter ve Jürgen Schmidhuber tarafından önerilen özel bir derin öğrenme mimarisidir. Vanilla RNN'ler, zaman içinde geriye doğru yayılan gradyanların katmanlar boyunca küçülerek sıfıra yaklaşmasıyla ortaya çıkan kaybolan gradyan probleminden muzdaripti; bu durum modelin uzun metin dizileri veya ses verilerindeki uzak bağımlılıkları öğrenmesini imkânsız kılıyordu. LSTM bu sorunu üç kapı mekanizmasıyla çözer. Unutma kapısı (forget gate), hücre durumundan hangi bilgilerin atılacağına karar verir; sigmoid aktivasyon fonksiyonu 0 ile 1 arasında bir değer üretir ve buna göre geçmiş bilgi kısmen veya tamamen silinir. Giriş kapısı (input gate), yeni bilgilerin hücre durumuna ne ölçüde ekleneceğini denetler; sigmoid çıktısı ile tanh aktivasyonundan geçirilmiş aday değerlerin çarpımıyla güncelleme gerçekleşir. Çıkış kapısı (output gate) ise hücre durumunun hangi kısmının bu adımın gizli durumu olarak dışarıya aktarılacağını belirler. Bu mimari, özellikle dizi-dizi (seq2seq) görevlerinde 2010'ların başından ortasına kadar baskın model olmuştur. Makine çevirisi, konuşma tanıma, el yazısı tanıma, zaman serisi tahmini ve metin üretimi alanlarında LSTM tabanlı modeller uzun yıllar boyunca en iyi sonuçları üretmiştir. Google Translate, 2016 yılında kural tabanlı sistemden LSTM tabanlı sinir ağı çevirisine geçerek çeviri kalitesinde büyük bir sıçrama kaydetmiştir. 2017'den itibaren Transformer mimarisinin yükselişiyle LSTM'nin hâkimiyeti azalmıştır. Transformer'lar dikkat mekanizması (attention) aracılığıyla paralel hesaplamaya olanak tanıyarak eğitim hızını dramatik biçimde artırır; bu avantaj GPT ve BERT gibi büyük dil modellerinin temelini oluşturur. Bununla birlikte LSTM, sinyal işleme, finans zaman serileri ve kaynak kısıtlı ortamlar gibi alanlarda hâlâ tercih edilen bir mimari olmaya devam etmektedir.
MIDI Sentezi (MIDI Sentezi)
MIDI sentezi (MIDI synthesis), yapay zeka modellerinin büyük MIDI veri kümelerinden müzikal örüntüleri öğrenerek orijinal sembolik müzik dizileri ürettiği üretken AI teknolojisidir. Sembolik müzik temsili olan MIDI, ses dalgalarını değil; nota adı, başlama zamanı, süre ve hız (velocity) gibi müzikal olayları kodlar. Bu yapılandırılmış temsil, MIDI'yi ses sentezine kıyasla çok daha analiz edilebilir ve üretilebilir kılar. OpenAI'ın 2019'da tanıttığı MuseNet, transformer mimarisini sembolik müziğe uyarlayan öncü modeldir: 4 dakikaya kadar uzanan, piyano, keman ve flüt başta olmak üzere ondan fazla enstrümanı kapsayan çok sesli eserler üretebilir; Bach'tan Chopin'e, Mozart'tan modern pop'a 10 farklı besteci stilini taklit eder. Google Magenta projesinin Music Transformer modeli, uzun vadeli yapıyı korumak için görece dikkat (relative attention) mekanizmasını kullanır; bu sayede yüzlerce adım önceki müzikal motiflere tutarlı biçimde atıfta bulunabilir. 2021'de Microsoft Research tarafından geliştirilen MusicBERT, BERT'in çift yönlü kodlama yaklaşımını sembolik müziğe taşır; bar, beat ve enstrüman bilgisini ayrı token akışları olarak temsil ederek tür sınıflandırma, melodi çıkarma ve hız tahmini gibi çok görevli müzik anlama problemleri için güçlü temel model işlevi görür. Mimari açıdan MIDI sentezi üç temel yaklaşımda gelişmiştir. LSTM ve GRU tabanlı yinelemeli ağlar, kısa vadeli melodic bağımlılıkları yakalamak için erken dönemde yaygınlaştı. Transformer tabanlı modeller uzun vadeli müzikal yapıyı çok daha iyi modelleyerek baskın mimari konumuna yükseldi. Diffusion modelleri ise son yıllarda sembolik alana taşınmaya başlandı; gürültüden nota düzeyine adım adım geri çekilme yaklaşımı stil çeşitliliğini artırıyor. Eğitim veri setleri arasında Lakh MIDI Dataset (170.000+ parça), GiantMIDI-Piano ve MAESTRO (piyano yarışması kayıtları) öne çıkmaktadır. Endüstri uygulamaları; oyun motorları için anlık çevre müziği üretimi, film ön-taslak (mockup) skorlama, DAW (Digital Audio Workstation) eklentileri ve müzik eğitim araçlarını kapsamaktadır. MuseScore, Hooktheory ve Amper Music bu teknolojiyi üretim iş akışlarına entegre etmiştir.
Mixed Precision Training (Karışık Kesinlikli Eğitim)
Karışık Kesinlikli Eğitim (Mixed-Precision Training), derin öğrenme modellerinin eğitim sürecini hızlandırmak ve bellek kullanımını optimize etmek amacıyla farklı kayan nokta kesinliklerini bir arada kullanan bir tekniktir. Yöntem, ileri ve geri yayılım hesaplamaları ile matris çarpımları için düşük kesinlikli sayı formatları (FP16 veya BF16) kullanırken, model ağırlıklarının ana kopyasını ve kayıp biriktirmesini tam kesinlikte (FP32) tutar. Bu hibrit yaklaşım, sayısal kararlılığı ve model doğruluğunu korurken bellek tüketimini yaklaşık %50 azaltır ve eğitim hızını 2-3 kat artırır. Teknik, NVIDIA'nın Volta ve Turing GPU mimarilerinde Tensor Core'ların tanıtılmasıyla pratik hale gelmiştir. PyTorch (torch.cuda.amp) ve TensorFlow gibi popüler çerçeveler, Otomatik Karışık Kesinlik (AMP) araçlarıyla geliştiricilerin bu tekniği minimal kod değişikliğiyle uygulamasını kolaylaştırır. İki düşük kesinlikli format arasında önemli bir ayrım bulunur: FP16, 10-bit mantis ile yüksek hassasiyet sunar ancak dar bir dinamik aralığa sahipken; BF16 (Brain Float 16), FP32 ile aynı 8-bit üstel aralığı kullanarak taşma ve alt-taşma sorunlarını büyük ölçüde giderir. Bu nedenle büyük dil modeli eğitiminde BF16, FP16'ya kıyasla daha stabil bir seçenek olarak öne çıkmaktadır. Gradient underflow riskine karşı dinamik kayıp ölçeklendirmesi (loss scaling) uygulanır; kayıp değeri geri yayılım öncesinde büyütülür, gradyanlar hesaplandıktan sonra ölçek geri alınır. Karışık kesinlikli eğitim, 2017 yılında Micikevicius ve ekibi tarafından Baidu Research ile NVIDIA işbirliğiyle geliştirilmiş ve ICLR 2018'de yayımlanmıştır. GPT, LLaMA, Stable Diffusion ve Vision Transformer (ViT) gibi modern modellerin eğitiminde endüstri standardı haline gelen bu teknik, sınırlı GPU bütçesiyle daha büyük modeller eğitmeyi ya da aynı donanımda daha büyük toplu iş boyutları (batch size) kullanmayı mümkün kılmaktadır. Gradient birikim (gradient accumulation) stratejisiyle birleştirildiğinde efektif batch boyutu daha da artırılabilir.
Mixture of Experts (MoE) (Uzmanların Karışımı)
Uzmanların Karışımı (Mixture of Experts — MoE), büyük dil modellerinin hesaplama verimliliğini artırmak için geliştirilmiş bir mimari yaklaşımdır. Geleneksel yoğun (dense) transformer modellerinde her girdi, ağın tüm parametrelerinden geçer; MoE mimarisinde ise her token yalnızca belirli alt ağlar tarafından işlenir. MoE'nin temel bileşeni, "uzman" adı verilen birbirinden bağımsız beslemeli ileri (feed-forward) katmanlardır. Bu uzmanlara ek olarak bir kapı (gating) ağı bulunur; kapı ağı her giriş için hangi uzmanların etkinleştirileceğine karar verir. Tipik bir MoE katmanı 8 ila 64 uzman barındırır; ancak her token için yalnızca 2–4 tanesi aktive edilir. Bu seçici aktivasyon, modelin toplam parametre sayısını büyütürken hesaplama maliyetini sabit tutar. Seyrek aktivasyon (sparse activation) olarak adlandırılan bu özellik, MoE'yi büyük ölçekte son derece çekici kılar. Örneğin Mistral'ın Mixtral 8x7B modeli, 46,7 milyar parametreye sahip olmasına karşın çıkarım sırasında yalnızca 12,9 milyar parametre kullanır; bu da onu çok daha küçük görünen 13B modeller kadar hızlı yapar. Benzer şekilde GPT-4'ün MoE tabanlı olduğu yaygın biçimde raporlanmış olup Google'ın Gemma 4 serisi de MoE mimarisini benimsemiştir. Türk yapay zeka ekipleri için MoE, özellikle bulut çıkarım maliyetleri söz konusu olduğunda kritik bir tasarruf aracıdır. Aynı kalitedeki yoğun modele kıyasla çıkarım başına daha az FLOP harcanır; bu da API maliyetlerini doğrudan düşürür. Öte yandan MoE modellerini yerel olarak çalıştırmak, tüm uzman ağırlıklarının RAM veya VRAM'e yüklenmesini gerektirdiğinden bellekte yoğun bir profil çıkarır; bu nedenle tüketici donanımında dikkatli bellek planlaması şarttır. MoE'nin temel sınırlılıkları arasında yük dengeleme güçlüğü öne çıkar: eğitim sırasında kapı ağı bazı uzmanlara aşırı yüklenebilir, diğerlerini boş bırakabilir. Bu sorunu gidermek için yardımcı kayıp (auxiliary loss) fonksiyonları kullanılır. Dağıtık çıkarım altyapısında ise farklı uzmanlara denk düşen tokenların farklı cihazlara yönlendirilmesi gerekebilir; bu da iletişim ek yükü doğurur.
Mixture of Experts Routing (MoE Yönlendirme)
Mixture of Experts (MoE) routing, modern büyük dil modellerinde her transformer katmanının feed-forward bloğunu birden fazla "uzman" alt ağa bölen ve her gelen token için yalnızca belirli uzmanları etkinleştiren bir yönlendirme mekanizmasıdır. 2017 yılında Shazeer ve arkadaşları tarafından "Outrageously Large Neural Networks" makalesiyle transformer mimarisine entegre edilen bu yaklaşım, GPT-4, Mixtral, DeepSeek ve Gemini gibi önde gelen modellerin temel mimarisi hâline gelmiştir. Geleneksel dense transformer mimarilerinde her token, modelin tüm parametrelerinden geçer; bu durum ölçeklendirme maliyetini parametrelerle orantılı biçimde artırır. MoE mimarisinde ise öğrenilebilir bir yönlendirici (router) ağı, her token için uzmanlar arası bir ağırlık vektörü hesaplar; ardından en yüksek ağırlıklı K uzmanı seçer ve hesaplamayı yalnızca bu uzmanlara yönlendirir. Geri kalan uzmanlar o token için hiç etkinleştirilmez. Böylece toplam parametre sayısı büyük kalırken token başına hesaplama maliyeti sabit tutulur; bu özellik MoE'yi "sparse" (seyrek) mimari olarak da tanımlar. MoE routing'in en önemli pratik sorunu "router collapse"dır: yeterli düzenleme eklenmediğinde router tüm tokenleri yalnızca 1-2 uzmana yönlendirmeye başlar ve geri kalan uzmanlar boşta kalır. Bu sorunu önlemek için eğitim kaybına yük dengeleme kaybı (auxiliary load balancing loss) eklenir. DeepSeek-V3, bu sorunu ek kayıp yerine dinamik bias ayarıyla çözen farklı bir yaklaşım benimsemiştir. Routing iki ana paradigmada gerçekleşir. Token-Choice routing'de her token hangi uzmanı tercih ettiğini seçer; Expert-Choice routing'de ise her uzman belirli tokenleri kendisi alır. İkinci yöntem doğal yük dengesi barındırmakla birlikte bazı tokenlerin hiçbir uzman tarafından seçilmeme riskini beraberinde getirir. 2024-2025 döneminde MoE mimarisi çarpıcı verimlilik göstermiştir: Mixtral 8x7B, 8 uzmanı arasından 2'sini seçerek yaklaşık 47B toplam parametreyle yalnızca 13B aktif parametre kullanır. DeepSeek-V3 ise 256 uzman arasından 8'ini aktive ederek eğitim maliyetini belirgin biçimde azaltmış ve rekabetçi performans elde etmiştir. Bu nedenle MoE, ölçeklenebilir yapay zeka araştırmalarının temel odak noktalarından biri olmayı sürdürmektedir.
Model Weights (Model Ağırlıkları)
Model ağırlıkları (model weights), bir yapay sinir ağının eğitim süreci boyunca öğrendiği sayısal parametrelerdir. Her nöron bağlantısına atanan bu ağırlık değerleri, modelin girdi verilerini işleyip çıktı üretmesini sağlayan temel yapı taşlarıdır. Milyonlarca ya da milyarlarca ağırlık içeren büyük dil modellerinde (LLM) bu değerler, dildeki örüntüleri, bağlamı ve anlam ilişkilerini kodlar. Model ağırlıkları, geri yayılım (backpropagation) algoritması ve gradyan inişi (gradient descent) yöntemiyle güncellenir. Eğitim tamamlandığında ağırlıklar dondurulur ve çıkarım (inference) aşamasında sabit kalır. GPT-4, Llama 3 veya Mistral gibi modeller için ağırlık dosyaları genellikle PyTorch (.pt, .bin) veya SafeTensors formatında dağıtılır. Nicemleme (quantization) teknikleri, ağırlıkların temsil hassasiyetini azaltarak (FP32 → FP16 → INT8 → INT4) model boyutunu ve bellek kullanımını düşürür. Örneğin GGUF formatı, Llama.cpp ile yerel çalıştırma için 4-bit nicemleme uygular; bu sayede 70 milyar parametreli bir model, tüketici GPU'larında çalışabilir hale gelir. Model ağırlıklarının boyutu model kapasitesiyle doğrudan ilişkilidir: 7 milyar parametreli bir model FP16 formatında yaklaşık 14 GB, INT4 kuantizasyonla ise yaklaşık 4 GB disk alanı kaplar. Bu nedenle nicemleme, modelleri tüketici donanımında çalıştırmak için kritik bir teknik haline gelmiştir. Açık ağırlıklı modeller (LLaMA, Mistral, Qwen, Gemma) Hugging Face Model Hub üzerinden indirilerek yerel sunucularda veya kişisel bilgisayarlarda çalıştırılabilir. Kapalı modeller (GPT-4, Claude) ise yalnızca API üzerinden erişilebilir. LoRA gibi parametre etkin ince ayar yöntemleri, temel ağırlıkları dondurarak yalnızca küçük adaptör matrislerini eğitir; bu yaklaşım hesaplama maliyetini dramatik biçimde azaltırken yüksek kaliteli özelleştirme sağlar. Ağırlıkların güvenliği de kritik bir konudur: Pickle formatındaki PyTorch dosyaları zararlı kod içerebileceğinden SafeTensors formatı tercih edilmelidir. Hugging Face Hub'ın doğrulama mekanizmaları ve model kartları, ağırlıkların güvenilirliğini ve lisans koşullarını açık biçimde sunar.
Multimodal Learning (Çok Modlu Öğrenme)
Multimodal learning (çok modlu öğrenme), bir yapay zeka modelinin metin, görsel, ses ve video gibi birden fazla veri türünü (modalite) aynı anda işleyerek anlam çıkarmasına olanak tanıyan makine öğrenmesi yaklaşımıdır. İnsan algısına benzer şekilde birden fazla duyudan gelen bilgileri birleştirme yeteneği kazandırır. Geleneksel yapay zeka sistemleri tek bir modaliteye odaklanırken (yalnızca metin veya yalnızca görsel), çok modlu öğrenme bu sınırı aşar. Farklı modalitelerin verileri ortak bir gömülü uzayda (shared embedding space) hizalanır; böylece model "bu resimde ne yazıyor?" veya "bu sesle hangi görsel eşleşir?" gibi çapraz-modal soruları yanıtlayabilir. Temel teknikler arasında çelişkili öğrenme (contrastive learning), çapraz-modal dikkat (cross-modal attention) ve çift kodlayıcı (dual encoder) mimarileri öne çıkar. OpenAI'nin 2021'de tanıttığı CLIP modeli, metin-görsel çiftlerini milyonlarca örnekle eğiterek sıfır-atış görüntü sınıflandırmasını mümkün kıldı ve alanın temel taşlarından biri oldu. 2023'te GPT-4V tek kule (single-tower) mimarisiyle görüntü ve metni birleştirirken Google Gemini çok sayıda modaliteyi destekleyen kapsamlı bir model sundu. 2024'te GPT-4o metin, ses ve görseli gerçek zamanlı işleyebilir hale getirdi. Uygulama alanları oldukça geniştir: görsel soru cevaplama (VQA), görüntü altyazısı oluşturma, metin-görsel üretim (DALL-E, Stable Diffusion), tıbbi görüntü analizi ve otonom sürüş sistemleri. Zorluklar arasında modal hizalama güçlüğü, eksik modalite yönetimi ve yüksek hesaplama maliyeti yer alır. Çok modlu sistemlerin eğitiminde veri uyumu kritik bir zorluktur: farklı modalitelerden gelen verilerin zaman ve anlam boyutunda doğru eşleştirilmesi gerekir. Bu nedenle büyük ölçekli internet verisiyle ön-eğitim yapılır, ardından görev-spesifik ince ayar uygulanır. Araştırmacılar ayrıca tek bir modelin tüm modaliteleri birlikte öğrenmesiyle ortaya çıkan çapraz-modal transfer öğrenimini (cross-modal transfer) de aktif biçimde incelemektedir. Bu yaklaşım, kısıtlı etiketli veriye sahip modalitelerde başarımı belirgin ölçüde artırmaktadır.
Müzik Üretimi (AI) (Müzik Üretimi)
Müzik üretimi (AI Music Generation), yapay zeka modellerinin metin açıklamaları, melodi parçaları veya tarz referanslarından özgün müzik eserleri oluşturduğu üretken yapay zeka alt alanıdır. Bu modeller ses dalgaları (waveform), spektrogram veya MIDI çıktısı üretebilir ve büyük ölçekli müzik veri setleri üzerinde eğitim yaparak insanla ayırt edilmesi güç düzeyde besteler ortaya koyabilmektedir. Teknik açıdan alan üç temel mimari yaklaşıma dayanır. Transformer tabanlı modeller, müziği bir token dizisi olarak modelleyerek nota ve ritim kalıplarını otoregresif biçimde tahmin eder; Google'ın MusicLM ve Meta'nın MusicGen modelleri bu yaklaşımın önde gelen örnekleridir. Difüzyon (Diffusion) modelleri, görüntü üretimindeki başarıyı ses alanına taşımıştır: gürültülü bir spektrogramdan başlayarak adım adım temizleme yöntemiyle yüksek kaliteli ses sentezler. GAN tabanlı sistemler ise üretici-ayrımcı rekabet mekanizmasıyla erken dönem liderliğini üstlendi; ancak yerini giderek difüzyon modellerine bırakmaktadır. Müzik verisi üç farklı temsil katmanında işlenebilir: ham ses dalgası (AudioCraft bunu tercih eder), zaman-frekans spektrogramı ve sembolik nota (MIDI). Her yaklaşımın farklı bant genişliği, hesaplama maliyeti ve doğruluk dengeleri vardır. Ham ses en yüksek kaliteyi sunarken en fazla hesaplama gücü gerektirir; MIDI en hafif temsildir fakat enstrüman tınısını yakalayamaz. Öne çıkan sistemler arasında Google MusicLM (2023), 280.000 saatlik müzik verisiyle eğitilmiş ve metin-müzik hizalamasında yeni bir çıta belirlemiştir. Meta MusicGen (AudioCraft, 2023), 3.3 milyar parametreli açık kaynaklı modeliyle akademik araştırmaların temel referansı oldu. Suno ve Udio, ticari platformların öncüleri olarak vokal, söz ve enstrüman bölümlerini tek geçişte üretebilmekte; 2025-2026 sürümleriyle profesyonel kaliteye yakın çıktılar sunmaktadır. Uygulama alanları arasında oyun ve film müziği prototipleme, reklam jingle üretimi, müzik eğitim yazılımları ve bireysel içerik üreticileri için arkaplan müziği oluşturma öne çıkar. Türkiye'de müzik yapımcıları ve dijital ajanslar, haklar açık stok müzik alternatifi olarak AI üretimini değerlendirmektedir. Etik ve telif hakkı boyutunda alan tartışmalı olmaya devam etmektedir: eğitim verilerindeki telif hakkı belirsizliği, sanatçıların izni olmaksızın ses tarzlarının taklit edilmesi ve üretilen eserlerin mülkiyeti başlıca sorunlardır. ABD, İngiltere ve AB'de ilgili yasal düzenlemeler şekillenmekte; Türkiye'de FSEK kapsamında değerlendirmeler sürmektedir.
NeRF (Sinirsel Radyans Alanları)
NeRF (Neural Radiance Fields — Sinirsel Radyans Alanları), çok sayıda 2D fotoğraftan bir 3D sahneyi örtük (implicit) bir temsille modelleyen derin öğrenme yöntemidir. Ben Mildenhall ve ekibi tarafından ECCV 2020'de sunulan bu yaklaşım, En İyi Makale Onur Ödülü alarak bilgisayarlı görü alanında çığır açtı. Teknik olarak NeRF, bir sahneyi açık geometri (mesh, point cloud) yerine sürekli bir fonksiyon olarak temsil eder. Çok katmanlı algılayıcı (MLP) tabanlı sinir ağı, beş boyutlu bir giriş alır: sahne içindeki 3D konum (x, y, z) ve kameranın bakış yönü (θ, φ). Bu girişlere karşılık ağ, ilgili noktanın RGB rengini ve optik yoğunluğunu (σ) tahmin eder. Hacimsel render (volumetric rendering) denklemi, bir ışın üzerindeki yüzlerce örnek noktanın bu tahminlerini birleştirerek nihai piksel rengini hesaplar. Eğitim sırasında model, tahmin edilen ve gerçek piksel renkleri arasındaki farkı minimize ederek sahneyi kodlayan ağırlıkları öğrenir. Klasik NeRF'in başlıca sınırlılığı yüksek hesaplama maliyetidir; tek bir sahneyi öğrenmek saatler, render ise saniyeler sürebilir. NVIDIA'nın Instant NeRF'i (2022), karma hash tablosu temsiliyle eğitim süresini saniyelere indirdi. Mip-NeRF kamera yakınlaştırma kaynaklı görüntü titremesini çözdü; Zip-NeRF ve Nerfacto birden fazla iyileştirmeyi bir araya getiren modern hibrit yaklaşımlardır. 2023'te ortaya çıkan 3D Gaussian Splatting (3DGS), her noktayı Gauss dağılımıyla temsil ederek NeRF'in örtük modelini açık bir alternatifle değiştirdi. 3DGS gerçek zamanlı render imkânı sunduğundan AR/VR uygulamaları için daha pratik olsa da NeRF araştırma kanalı DreamFusion, Block-NeRF ve EmerNeRF gibi uzantılarla canlılığını sürdürmektedir. Kullanım alanları arasında AR/VR içerik üretimi, film prodüksiyonunda VFX, robot navigasyonu, kentsel haritalama, ürün görselleştirme ve tıbbi görüntüleme öne çıkar. Google, Meta ve Apple gibi şirketler NeRF ve 3DGS tabanlı araçları tüketici ürünlerine entegre etmektedir.
Neural Network (Yapay Sinir Ağı)
Yapay sinir ağı (İngilizce: neural network, kısaltma: ANN — Artificial Neural Network), insan beynindeki biyolojik nöronların birbirleriyle bilgi alışverişi yapma biçiminden ilham alınarak tasarlanmış bir makine öğrenimi modelidir. Veriler, ağın içinde birbirine bağlı yapay nöronlar (düğümler) üzerinden geçerken ağırlıklı toplamlar ve aktivasyon fonksiyonları gibi matematiksel işlemlere tabi tutulur; ağ, eğitim boyunca bu ağırlıkları güncelleyerek verideki örüntüleri kendi kendine öğrenir. Bu mimari, derin öğrenmenin (deep learning) yapıtaşıdır. Görüntü tanımadan ses sentezine, makine çevirisinden ChatGPT gibi büyük dil modellerine kadar modern yapay zekanın neredeyse tüm yetenekleri sinir ağlarına dayanır. ANN'in geleneksel programlamadan temel farkı, kuralların insan tarafından yazılmaması, örneklerden türetilmesidir. Klasik bir algoritmada "kediyi tanıma" kuralını satır satır kodlamanız gerekirken, bir sinir ağına binlerce kedi fotoğrafı gösterirsiniz; ağ, kenar, doku ve şekil gibi özellikleri katman katman kendisi keşfeder. Bu yaklaşım, elle kural yazmanın pratikte imkânsız olduğu karmaşık problemlerde (yüz tanıma, konuşma anlama, protein yapısı tahmini) sinir ağlarını vazgeçilmez kılar. Standart bir ANN üç ana katman tipinden oluşur: verinin modele girdiği Girdi Katmanı, karmaşık hesaplamaların gerçekleştirildiği bir veya daha fazla Gizli Katman ve tahminin üretildiği Çıktı Katmanı. Katmanlar arası bağlantıların yoğunluğu ile derinliği, modelin öğrenebileceği örüntülerin karmaşıklığını doğrudan belirler. Öğrenme mekanizması geri yayılım (backpropagation) algoritmasına dayanır: tahmin ile gerçek değer arasındaki hata, zincir kuralıyla geriye doğru yayılarak tüm ağırlıklar güncellenir. Pratikte üç mimari ailesi öne çıkar: görüntü işleyen CNN'ler, sıralı verileri modelleyen RNN'ler ve günümüz dil modellerinin temeli olan Transformer'lar. Kavramın kökü 1943'teki McCulloch-Pitts nöron modeline ve 1958'deki Perceptron'a kadar uzanır; büyük veri ile GPU gücünün buluştuğu 2010'lu yıllarda derin sinir ağları alanın merkezine yerleşti ve o günden bu yana yapay zekadaki ilerlemenin temel motoru olmayı sürdürmektedir. PyTorch, TensorFlow ve JAX bu modellerin geliştirildiği başlıca çerçevelerdir.
Neural ODE (Nöral Adi Diferansiyel Denklem)
Neural ODE (Nöral Adi Diferansiyel Denklem), derin öğrenme modellerindeki gizli durumun (hidden state) değişimini ayrık katman geçişleri yerine sürekli bir diferansiyel denklemle tanımlayan yapay sinir ağı mimarisidir. Geleneksel derin ağlarda gizli durum h_{l+1} = h_l + f(h_l) biçiminde ayrık adımlarla güncellenir — bu yapı, Euler yöntemiyle çözülen bir ODE'nin ayrık yaklaşımına karşılık gelir. Neural ODE ise bu ayrık yapıyı dh/dt = f(h(t), t, θ) denklemiyle süreklilik boyutuna taşır ve çıkışı bir ODE çözücüsü (örn. Dormand–Prince, Runge-Kutta) yardımıyla hesaplar. 2018 NeurIPS konferansında Ricky T. Q. Chen, Yulia Rubanova, Jesse Bettencourt ve David Duvenaud tarafından tanıtılan bu mimari üç temel avantaj sunar. Birincisi bellek verimliliğidir: geri yayılım için adjoint (eşlenik) yöntemi kullanılır, bellek maliyeti katman sayısından bağımsız O(1) olarak kalır; geleneksel geri yayılımda bu maliyet katman sayısıyla doğrusal büyür. İkincisi uyarlanabilir derinliktir: ODE çözücüsü hata toleransına göre gereken kadar fonksiyon değerlendirmesi yapar, basit girdiler için daha az, karmaşık dinamikler için daha fazla hesaplama harcar. Üçüncüsü düzensiz örneklenmiş veriler için doğal uyumluluktur: klasik LSTM ve GRU gibi modeller eşit zaman aralığı varsayımına dayanırken Neural ODE herhangi bir t değerinde çözüme erişebildiğinden tıbbi sensör verisi, finans ve astrofizik gibi alanlarda doğrudan uygulanabilir. Öne çıkan varyantlar arasında hastalık ilerlemesini modelleyen Latent ODE ve yüksek boyutlu yoğunluk tahmini için ODE çerçevesini kullanan Sürekli Normalleştirici Akışlar (CNF) sayılabilir. Temel pratik kısıt, ODE çözücünün her ileri geçişte birden fazla ağ değerlendirmesi gerektirmesi ve sert (stiff) diferansiyel denklemlerin çözücü adımını büyük ölçüde artırabilmesidir. Bu nedenle hız öncelikli sistemlerde hâlâ ResNet ve Transformer mimarileri tercih edilmekte; Neural ODE ise fizik bilgili öğrenme, robotik ve biyomedikal veri analizi gibi niş ama önemli alanlarda güçlü bir araç olarak konumlanmaktadır.
Noise Cancellation (Yapay Zeka ile Gürültü Engelleme)
Noise Cancellation (Gürültü Engelleme), yapay zeka ve derin öğrenme modellerini kullanarak ses sinyallerindeki istenmeyen arka plan gürültüsünü gerçek zamanlı olarak tespit edip bastıran ses işleme teknolojisidir. Geleneksel aktif gürültü engelleme (ANC) yöntemleri donanım tabanlı olup ters fazlı ses dalgaları üretirken; yapay zeka tabanlı gürültü engelleme, eğitilmiş nöral ağlar aracılığıyla yalnızca yazılım katmanında çalışır ve çok daha geniş bir gürültü spektrumunu bastırabilir. Bu teknoloji, özellikle video konferans, uzaktan çalışma, oyun ve işitme cihazları alanlarında geniş kullanım alanı bulmuştur. NVIDIA RTX Voice, Krisp, Microsoft Teams Gürültü Giderme ve Zoom'un arka plan ses filtresi bu teknolojiyi kullanan öncü ürünler arasında yer alır. Yapay zeka tabanlı gürültü engelleme sistemleri genellikle yinelemeli sinir ağları (RNN), uzun kısa süreli bellek (LSTM) modelleri veya dönüştürücü (transformer) mimarileri üzerine inşa edilir. Modeller, eşleştirilmiş temiz ses ve gürültülü ses veri kümeleri kullanılarak eğitilir; bu sayede sisteme yeni bir ses geldiğinde konuşma sinyali ile gürültü sinyalini birbirinden ayırt edebilir hâle gelirler. Çalışma prensibi şöyledir: gelen ses sinyali kısa zaman dilimlerine (frame) bölünür, her dilim için spektrogram veya mel-frekans kepstral katsayıları (MFCC) hesaplanır, nöral ağ her frekans bandında gürültünün mü konuşmanın mı hâkim olduğunu tahmin ederek bir maske üretir ve bu maske orijinal spektruma uygulanarak temizlenmiş ses elde edilir. Teknolojinin en büyük avantajı, frekans bandına bağımlı olmayan geniş spektrum gürültü bastırması sunmasıdır: klavye sesi, iklimlendirme uğultusu, sokak gürültüsü ve kalabalık ortam sesleri gibi birbirinden farklı gürültü türlerini aynı model işleyebilir. Modern çözümlerde gecikme süresi genellikle 20 milisaniyenin altındadır; bu değer gerçek zamanlı iletişim için kabul edilebilir eşiğin çok altındadır. Daha gelişmiş modeller, yalnızca gürültüyü bastırmakla kalmayıp konuşmacının sesini de iyileştirme (speech enhancement) özelliğini bünyesinde barındırır ve arka planda müzik çalarken dahi konuşma netliğini koruyabilir.
Nöromorfik Çip (Nöromorfik Çip)
Nöromorfik çip (neuromorphic chip), insan beyninin nörobiyolojik mimarisini taklit eden özel tasarım yapay zeka donanımıdır. Geleneksel Von Neumann mimarilerinin aksine bu çipler, anlık voltaj geçişleri (spike) ile iletişim kuran biyolojik nöronlardan esinlenen hesaplama birimleri kullanır. Intel'in Loihi serisi ve IBM'in TrueNorth çipi bu alandaki en bilinen ticari örnekler arasında yer almaktadır. Geleneksel GPU ve CPU tabanlı yapay zeka işlemcileri, matris çarpımlarını yoğun paralel hesaplama ile gerçekleştirir ve bu süreçte sürekli güç tüketir. Nöromorfik çipler ise yalnızca bir olay (spike) gerçekleştiğinde enerji harcar; bu olay güdümlü hesaplama modeli güç tüketimini dramatik biçimde azaltır. Intel Loihi 2, belirli seyrek veri kümeleri üzerinde geleneksel GPU'lara kıyasla yüzde seksen daha düşük enerji tüketimiyle çalışabilmektedir. Bu özellik, pil ömrünün kısıtlı olduğu kenar cihazları için son derece değerlidir. IoT sensörleri, giyilebilir teknoloji ve otonom araçlar bu avantajdan en fazla yararlanan platformlar arasındadır. Nöromorfik çipler, geleneksel yapay sinir ağları yerine biyo-ilhamlı hesaplama modeli olan Spiking Neural Networks (SNN) üzerinde çalışır. SNN'ler zamansal bilgiyi doğal olarak kodlar ve düşük gecikme süresiyle sürekli veri akışlarını işleyebilir; bu özellik gerçek zamanlı duyusal işleme için belirgin avantajlar sunar. Robotik sistemlerde proprioseptif geri bildirim, işitsel sahne analizi ve nöroprotetik cihazlar nöromorfik hesaplamanın öncü uygulama alanları arasında öne çıkmaktadır. Büyük ölçekli yapay zeka modellerinin enerji ayak izinin artmasıyla birlikte nöromorfik mimariler araştırma gündeminde giderek daha fazla yer bulmaktadır. Alanın önündeki temel engeller arasında SNN eğitiminin karmaşıklığı ve büyük ölçekli derin öğrenme modellerinin nöromorfik donanıma etkin biçimde aktarılamaması sayılmaktadır. Bu zorlukların aşılması, enerji verimli büyük ölçek yapay zeka donanımına geçişi hızlandıracak ve veri merkezlerinin toplam enerji tüketimini önemli ölçüde azaltacaktır.
NPU Mimarisi (NPU Mimarisi)
NPU mimarisi (Nöral İşlem Birimi Mimarisi), yapay zeka ve derin öğrenme iş yüklerini işlemek için CPU veya GPU'dan bağımsız olarak tasarlanmış özel bir donanım bileşenidir. CPU'ların genel amaçlı sıralı hesaplama mimarisinden ve GPU'ların büyük ölçekli paralel grafik işlem özelliğinden farklı olarak NPU'lar, sinir ağlarında en sık kullanılan matris çarpımı, konvolüsyon ve aktivasyon fonksiyonu hesaplamalarını doğrudan donanım düzeyinde gerçekleştirmek için özelleştirilmiştir. Bir NPU'nun temel yapısal bileşenleri şunlardır: çok sayıda sistematik biçimde düzenlenmiş çarpma-toplama (MAC, Multiply-Accumulate) birimi, aktivasyon fonksiyonları için tasarlanmış özel devreler, düşük bant genişliği sorununu gidermek için entegre on-chip bellek tamponları ve modelden modele değişen veri akışlarını destekleyen yeniden yapılandırılabilir veri yolları. Çoğu modern NPU ayrıca INT8, FP16 ya da BF16 gibi düşük hassasiyetli sayı formatlarını destekler; bu sayede güç tüketimini önemli ölçüde azaltırken işlem kapasitesini artırır. Kullanım senaryosu açısından NPU'lar özellikle uç cihazlarda öne çıkmaktadır. Apple'ın M4 çipindeki Neural Engine (38 TOPS), Qualcomm Snapdragon serisi Hexagon NPU'su ve Intel'in Meteor Lake serilerindeki NPU modülleri (40+ TOPS) doğrudan tüketici donanımında çalışan güçlü AI ivedilendiricilerine örnek gösterilebilir. Microsoft'un Copilot+ PC sertifikasyonu da en az 40 TOPS NPU kapasitesini zorunlu kılmaktadır. NPU mimarisi, AI iş yüklerinin giderek artan yoğunluğuna karşı güç-verimlilik (TOPS/Watt) dengesini en üst düzeye çıkarmak amacıyla tasarlanmış, modern SoC tasarımının vazgeçilmez bir bileşenidir. NPU tasarımında öne çıkan bir diğer boyut, yazılım ekosistemidir. Bir NPU ne kadar yüksek TOPS sunsa da üzerinde çalışan yapay zeka çerçevelerinin (TensorFlow Lite, ONNX Runtime, Core ML gibi) o donanımı verimli biçimde kullanabilmesi gerekir. Bu nedenle donanım üreticileri, NPU'larını popüler ML çerçeveleriyle entegre eden sürücü ve derleyici katmanlarına büyük yatırım yapar. Qualcomm'un AI Engine Direct SDK'sı, Apple'ın Core ML'i ve Intel'in OpenVINO araç seti bu ekosistem katmanlarının somut örnekleridir. Dataflow mimarisi açısından ise NPU'lar genellikle sistolic array düzenini benimser: her MAC birimi hesapladığı kısmi sonucu komşu birimine iletir ve bu zincirleme yapı dış bellek erişimini minimuma indirir. Bu tasarım, transformer modellerinin dikkat mekanizmasındaki büyük matris çarpımlarını ve konvolüsyonel ağların filtre uygulamalarını özellikle verimli biçimde işlemesini mümkün kılar. Gelecekte harmanlanmış hassasiyet (mixed precision) ve dinamik bit genişliği desteği, NPU'ların büyük dil modellerini uç cihazlarda çalıştırma kapasitesini daha da genişletecektir.
ONNX Runtime (ONNX Runtime)
ONNX Runtime, Microsoft tarafından geliştirilen açık kaynaklı çapraz platform yüksek performanslı makine öğrenmesi çıkarım motorudur. ONNX (Open Neural Network Exchange) formatındaki modelleri CPU, GPU, NPU ve özel hızlandırıcılar dahil çeşitli donanımlar üzerinde optimize biçimde çalıştırır. MIT lisansıyla dağıtılan bu motor, modern yapay zeka üretim altyapısının temel bileşenlerinden biri haline gelmiş olup Microsoft Azure, Hugging Face ve diğer büyük AI platformlarının çıkarım katmanında kullanılmaktadır. ONNX Runtime'ın temel değeri eğitim çerçevesi bağımsızlığıdır. PyTorch, TensorFlow, Keras veya Scikit-learn ile eğitilen modeller ONNX formatına dışa aktarıldıktan sonra ONNX Runtime üzerinde çalıştırılabilir; bu sayede eğitim ve dağıtım çerçeveleri birbirinden ayrışır. Dağıtım ortamı PyTorch veya TensorFlow yüklemek yerine çok daha hafif olan ONNX Runtime kütüphanesini kullanır; bu durum konteyner imaj boyutlarını ve başlangıç gecikmelerini önemli ölçüde azaltır. Performans optimizasyonu için ONNX Runtime çeşitli yürütme sağlayıcıları (execution providers) destekler: CUDA (NVIDIA GPU), TensorRT (NVIDIA ileri hızlandırması), DirectML (Windows GPU), ROCm (AMD GPU), OpenVINO (Intel donanımları) ve CoreML (Apple Silicon). Hangi sağlayıcının kullanılacağı çalışma zamanında otomatik seçilebilir ya da elle belirtilebilir; desteklenmeyen işlemler CPU'ya otomatik devredilir. ONNX Runtime Web bileşeni, JavaScript/TypeScript ortamında modeli WebAssembly veya WebGPU arka ucuyla tarayıcıda çalıştırır. Transformers.js gibi istemci tarafı yapay zeka kütüphanelerinin altyapısını oluşturur; BERT tabanlı metin gömme veya Whisper tabanlı konuşma tanıma tarayıcıda saniyeler içinde ve kullanıcı verisi sunucuya gitmeden gerçekleştirilir. Model optimizasyon araçları grafik birleştirme (graph fusion), sabit katlama (constant folding) ve kuantizasyon (INT8, FP16) teknikleriyle çıkarım hızını artırırken bellek kullanımını azaltır. Bu özellikler uç cihaz ve mobil dağıtım senaryolarında kritik önem taşır; ONNX Runtime Mobile, Android ve iOS için optimize edilmiş hafif bir yapı ile sınırlı donanım koşullarında bile güvenilir çıkarım sağlar.
Otoregresif Kod Çözme (Otoregresif Kod Çözme)
Otoregresif Kod Çözme (Autoregressive Decoding), bir dil modelinin metin üretirken her yeni tokeni yalnızca önceki tokenlerden türeterek sırayla ürettiği standart çıkarım yöntemidir. Modelin çıktı dizisi soldan sağa doğru inşa edilir; her adımda tüm önceki bağlam koşullu olasılık dağılımını belirler ve buradan bir sonraki token örneklenir ya da seçilir. Matematikte otoregresif süreç, bir serinin her terimini kendinden önceki terimlere bağlı bir fonksiyon olarak ifade eder. Dil modellerinde bu P(x_t | x_1, ..., x_{t-1}) biçiminde yazılır: t. tokenin olasılığı, 1'den t-1'e kadar tüm önceki tokenlere koşulludur. GPT ailesi başta olmak üzere tüm kausal dil modelleri bu paradigmayı kullanır. Kod çözme stratejisi, üretilen metnin kalitesini ve çeşitliliğini doğrudan etkiler. Açgözlü kod çözme (greedy decoding), her adımda en yüksek olasılıklı tokeni seçer; hızlıdır ancak tekrarlayan çıktılar üretebilir. Işın araması (beam search), K olası diziyi paralel takip ederek toplam puan açısından en iyi tam diziyi arar; çeviri gibi görevlerde kaliteyi artırır. Sıcaklık örneklemesi (temperature sampling), olasılık dağılımını keskinleştirerek veya yumuşatarak çıktı çeşitliliğini ayarlar. Top-p (nucleus) ve top-k örnekleme ise düşük olasılıklı tokenleri keserek anlamsız çıktı riskini azaltır. Otoregresif kod çözmenin temel performans sorunu, her tokenin sırayla üretilmesidir; bu durum gecikmeyi (latency) artırır ve GPU paralelizmini kısıtlar. KV önbelleği (KV cache), önceki adımlarda hesaplanan anahtar-değer matrislerini saklayarak yeniden hesaplanmalarını önler ve çıkarımı önemli ölçüde hızlandırır. Spekülatif kod çözme (speculative decoding) ise küçük bir taslak model kullanarak büyük modelin doğrulamasını paralel yürütür; böylece birden fazla token tek geçişte onaylanabilir. Flash Attention ve sürekli toplu işleme (continuous batching) gibi teknikler de üretim sistemlerindeki verimliliği artıran önemli optimizasyonlar arasında yer alır. Bu yöntemler, yüksek trafikli LLM hizmeti senaryolarında gecikmeyi düşürmek ve GPU kullanımını artırmak amacıyla birlikte uygulanmaktadır.
Perceptron (Algılayıcı (Yapay Nöron))
Perceptron, 1957 yılında Frank Rosenblatt tarafından icat edilen ve biyolojik sinir hücresinden ilham alan en basit yapay sinir ağı birimidir. Modern derin öğrenmenin atası kabul edilir. Matematiksel açıdan perceptron; giriş değerlerini ağırlıklarla (weights) çarpıp topladıktan sonra bir aktivasyon eşiğine (threshold) göre çıktı üreten bir ikili sınıflandırıcıdır. Çalışma prensibi şu şekilde özetlenebilir: n adet giriş değeri (x₁, x₂, ..., xn) her biri bir ağırlıkla (w₁, w₂, ..., wn) çarpılır ve ağırlıklı toplamı hesaplanır. Bu toplamın bir bias terimi eklenerek aktivasyon fonksiyonundan (başlangıçta basamak fonksiyonu) geçirilmesiyle 0 veya 1 çıktısı üretilir. Öğrenme sürecinde yanlış sınıflandırılan örnekler için ağırlıklar perceptron öğrenme kuralına göre güncellenir. Perceptron öğrenme teoremi, doğrusal olarak ayrılabilir veri kümeleri için algoritmanın sonlu adımda yakınsayacağını kanıtlar. Ancak 1969'da Marvin Minsky ve Seymour Papert, perceptronun XOR gibi doğrusal olarak ayrılamayan problemleri çözemeyeceğini gösterdi. Bu kısıtlama "XOR problemi" olarak tarihe geçti ve yapay zeka araştırmalarında yaklaşık on yıl süren "Yapay Zeka Kışı"nı tetikledi. Çözüm, birden fazla perceptron katmanının birbirine bağlanmasıyla oluşturulan çok katmanlı algılayıcılarda (Multilayer Perceptron — MLP) bulundu. Her katman bir doğrusal olmayan aktivasyon fonksiyonu (ReLU, sigmoid, tanh) kullanarak önceki katmanın çıktılarını işler. Geri yayılım (backpropagation) algoritmasıyla bu ağlar eğitilebilir hale geldi ve modern derin öğrenmenin temeli atıldı. Günümüzde tek başına perceptron neredeyse hiç kullanılmaz; ancak her yapay nöron perceptronun modernize edilmiş bir versiyonudur. Transformer mimarisindeki dikkat (attention) mekanizmasından CNN'deki evrişim nöronlarına kadar tüm derin öğrenme yapıları perceptron ilkesini temel almaktadır. Bu anlamda perceptron, yapay zekanın köklerini anlamak için vazgeçilmez bir kavramdır. Donanım tarafında ise nöromorifik çipler, perceptron hesaplamasını biyolojik nörona daha yakın bir fiziksel modelle uygulamayı hedeflemektedir; bu alan yüksek enerji verimliliği gerektiren edge AI cihazları için araştırılmaya devam etmektedir.
Pre-training (Ön Eğitim) (Ön Eğitim)
Pre-training (Ön Eğitim), dil modelleri ve diğer derin öğrenme sistemlerinin belirli bir göreve yönlendirilmeden önce büyük ve çeşitli ham veri kümeleri üzerinde genel dil örüntülerini, bilgi yapılarını ve dünya modelini kazandığı ilk eğitim aşamasıdır. Modern yapay zekanın temel taşı olan bu süreç, foundation model paradigmasının merkezinde yer almaktadır. Pre-training'in çalışma mantığı modelin türüne göre farklılaşır. Otoregressif dil modellerinde (GPT ailesi) model, her adımda bir önceki tokenlere bakarak sonraki tokeni tahmin eder; bu görev dil modellemesi (causal language modeling) olarak adlandırılır. Maskelemeli dil modellerinde (BERT) ise giriş cümlesindeki rastgele tokenler gizlenerek model bu maskelenmiş tokenleri bağlamdan yeniden kazanmayı öğrenir. Her iki yaklaşım da öz-denetimli öğrenme prensibine dayandığından etiketsiz büyük veri kullanılabilir; metinlerin kendisi öğrenme sinyali oluşturur. Veri ölçeği açısından modern pre-training'in devasa boyutları dikkat çekicidir: GPT-3 yaklaşık 300 milyar token, LLaMA 3 ise 15 trilyon token üzerinde eğitilmiştir. Bu veri kümeleri İnternet metinleri (Common Crawl), kitaplar, akademik makaleler, kod depoları ve çok dilli içeriklerden derlenir. Eğitim bilgi işlem maliyeti de aynı ölçekte büyüktür; GPT-4 eğitiminin yüz milyon dolar civarında olduğu tahmin edilmektedir. Pre-training tamamlandıktan sonra model çeşitli yöntemlerle belirli görevlere uyarlanır. İnce ayar (fine-tuning) ile ilgili alan verisi üzerinde model özelleştirilir. RLHF (Reinforcement Learning from Human Feedback) ile insan tercihlerine hizalanır. Komut ayarı (instruction tuning) ise modelin doğal dil talimatlarını izlemesini öğretir. PEFT yöntemleri (LoRA, QLoRA) ise tüm ağırlıklar yerine küçük adaptör katmanları eğiterek bu uyarlama maliyetini büyük ölçüde düşürür. Pre-training sırasında kazanılan genel bilgi altyapısı korunarak bunun üzerine inşa edilir; bu nedenle pre-training kalitesi ve veri çeşitliliği nihai modelin performans tavanını doğrudan belirler.
Reasoning Model (Akıl Yürüten Model)
Reasoning model, bir kullanıcı sorusuna hemen cevap vermek yerine önce gizli bir düşünce zinciri ("thinking trace") üreterek problemi adım adım çözen büyük dil modeli ailesidir. Klasik LLM'ler bir sonraki tokeni doğrudan tahmin ederken, reasoning model bu tahmin sürecini içselleştirir; hipotez kurma, deneme, geri dönüp düzeltme ve doğrulama aşamalarını sıralı biçimde uygular. Kullanıcıya sunulan nihai yanıt, bu iç monolog tamamlandıktan sonra üretilir. Temel mekanizma, test-time compute ölçeklemesine dayanır: modele problem başına tahsis edilen hesaplama bütçesi (düşünce token sayısı) arttıkça doğruluk da yükselir. Bu yaklaşım, klasik LLM ölçekleme yasasının (daha büyük parametre = daha iyi) yanına yeni bir boyut ekler — daha uzun düşünce, daha doğru çıktı. Modeller genellikle süreç ödüllü pekiştirmeli öğrenme (Process Reward Model, PRM) ile eğitilir; bu yöntem yalnızca son cevabı değil, her akıl yürütme adımını ödüllendirir. Reinforcement learning, modeli kendi hatalarından öğrenerek daha güvenilir akıl yürütme zincirleri oluşturmaya yönlendirir. 2024 yılında OpenAI o1 ile ana akıma giren reasoning modelleri kısa sürede geniş bir ekosisteme dönüştü. OpenAI o3, matematik olimpiyatı problemleri (AIME) ve yazılım mühendisliği kıyaslama testlerinde (SWE-Bench Verified) insanüstü performans gösterirken; DeepSeek-R1, açık ağırlıklı bir seçenek olarak aynı alanda rekabetçi sonuçlar elde etti. Alibaba'nın Qwen QwQ-32B modeli ve Anthropic'in Claude Extended Thinking özelliği de bu ailenin önde gelen temsilcileri arasındadır. Google'ın Gemini 2.0 Flash Thinking modeli ise çok daha düşük maliyetle benzer reasoning kapasitesi sunar. Reasoning modelleri her görev için uygun değildir. Basit e-posta taslağı, özetleme veya çeviri gibi işlerde gereksiz maliyet ve gecikme üretirler. Buna karşın çok adımlı matematiksel ispat, karmaşık kod hata ayıklama, hukuki analiz ve bilimsel araştırma gibi durumlarda klasik LLM'lere kıyasla belirgin avantaj sunarlar. Doğru kullanım stratejisi, iş yüküne göre reasoning ve klasik modeller arasında akıllı yönlendirme yapmayı gerektirir.
Residual Attention Ağı (Artıksal Dikkat Ağı)
Residual Attention Ağı (Residual Attention Network — RAN), Fei Wang ve ekibinin CVPR 2017'de tanıttığı, ResNet'in artıksal öğrenme prensibiyle dikkat mekanizmasını harmanlayan bir evrişimli sinir ağı mimarisidir. Temel fikir, her dikkat modülünü iki paralel dalla çalıştırmaktır: özellik dönüşümü gerçekleştiren trunk branch ile bu özellikler üzerinde yumuşak uzamsal dikkat maskeleri üreten mask branch. Trunk branch standart evrişimsel katmanlardan oluşurken mask branch encoder-decoder yapısına sahiptir. Max-pooling ile özellik haritası aşamalı olarak küçültülür (downsampling); ardından bilinear üst örnekleme (upsampling) ile orijinal çözünürlüğe geri döner. Mask branch çıktısı sigmoid aktivasyonuyla [0,1] aralığına sıkıştırılarak yumuşak maske oluşturulur. Bu maske trunk çıktısıyla eleman çarpımı (element-wise multiplication) uygulanır: yüksek dikkat değeri taşıyan bölgeler güçlendirilirken düşük değerli gürültülü ya da alakasız bölgeler baskılanır. Artıksal bağlantı bu noktada kritik rol üstlenir: dikkat çıktısına orijinal trunk özelliği eklenir (H = F × M + F; burada F trunk özelliği, M ise maske). Bu formülasyon maskenin sıfıra yaklaştığı durumda bile ham trunk sinyalinin korunmasını güvence altına alır; dolayısıyla dikkat modülleri ağı degrade etmeden katman derinliği arttıkça birikimli dikkat öğrenilmesine izin verir. Orijinal çalışmada dikkat modülleri üç uzamsal çözünürlük aşamasında bağımsız olarak öğrenilir. Başarım açısından CIFAR-10'da %3.90, CIFAR-100'de %20.45 ve ImageNet Top-5 sınıflandırmasında %4.8 hata oranı elde edilerek dönemin referans sonuçlarının üzerine çıkılmıştır. Mimari etki açısından RAN, CBAM (Convolutional Block Attention Module, ECCV 2018), BAM (Bottleneck Attention Module) ve kanal dikkatini uzamsal dikkatle birleştiren birçok türev çalışmaya ilham vermiştir. Modern nesne tespiti mimarileri (YOLO serileri), U-Net türevi medikal görüntü segmentasyonu modelleri ve uydu görüntü işleme uygulamaları dikkat kapıları (attention gating) mekanizmasını doğrudan bu çalışmanın çizgisinden devşirmiştir. Türkiye'deki bilgisayarlı görü araştırma grupları patoloji görüntüsü analizi ve uzaktan algılama problemlerinde artıksal dikkat mimarilerini referans almaktadır.
RNN (Recurrent Neural Network) (Tekrarlayan Sinir Ağı)
RNN (Recurrent Neural Network, Tekrarlayan Sinir Ağı), sıralı verileri adım adım işlerken önceki adımlardan gelen bilgiyi bir gizli durum (hidden state) vektöründe taşıyan yapay sinir ağı mimarisidir. Klasik ileri beslemeli ağlar her girdiyi bağımsız değerlendirir; RNN ise bir cümleyi okuyan insan gibi soldan sağa ilerler, her kelimede o ana kadar gördüklerinin özetini günceller. Bu döngüsel yapı, çıktının yalnızca mevcut girdiye değil, tüm geçmiş bağlama bağlı olduğu problemler için tasarlanmıştır: dil modelleme, konuşma tanıma, makine çevirisi, zaman serisi tahmini ve sensör verisi analizi. Matematiksel olarak her zaman adımında aynı ağırlık matrisleri paylaşılır: h_t = f(W_x·x_t + W_h·h_(t-1) + b). Eğitim, zaman içinde geri yayılım (Backpropagation Through Time, BPTT) ile yapılır; ağ, dizinin uzunluğu kadar "açılır" ve gradyanlar geriye doğru akıtılır. Bu süreçte gradyanların üstel biçimde küçülmesi (vanishing gradient) standart RNN'in en bilinen zayıflığıdır: 30-50 adımdan uzun bağımlılıklar pratikte öğrenilemez. 1997'de Hochreiter ve Schmidhuber'in LSTM'i, 2014'te Cho ve ekibinin GRU'su bu sorunu kapı mekanizmalarıyla büyük ölçüde çözdü ve 2017'ye kadar NLP'nin fiili standardı oldu. 2017'deki Transformer mimarisi, paralel eğitim avantajıyla büyük dil modellerinde RNN'in yerini aldı; ancak dikkat mekanizmasının dizi uzunluğuyla O(n²) ölçeklenen maliyeti, doğrusal karmaşıklıklı alternatif arayışını yeniden başlattı. RWKV-7 (2025), Mamba-2 ve xLSTM (2024) gibi modern tekrarlayan mimariler, RNN'in O(n) çıkarım verimliliğini Transformer düzeyinde ifade gücüyle birleştirerek 2023-2026 döneminde bir "RNN rönesansı" yarattı. Bu mimarilerin kritik avantajı bağlam uzunluğundan bağımsız sabit boyutlu durum vektörüdür; KV-cache belleği tutmak gerekmediği için uç cihazlarda ve maliyet-duyarlı uygulamalarda belirgin bir ekonomi sunarlar. Bugün RNN ailesi; akış halinde konuşma tanıma, gömülü cihazlarda düşük gecikmeli çıkarım ve uzun bağlamlı verimli dil modelleri araştırmalarında aktif biçimde kullanılmakta, hibrit Transformer-SSM mimarileriyle de yeni bir senteze doğru evrilmektedir.
Ses Parmak İzi (Audio Fingerprinting) (Ses Parmak İzi)
Ses parmak izi (audio fingerprinting), bir ses kaydinin akustik ozelliklerinden cikarilan kompakt, esise ve saglam bir dijital imzadır. Ayni sarki veya ses iceriginin farkli kayitlarda, yayinlarda veya platformlarda tespitini mumkun kilar; farkli bit hizlarinda kodlanmis, farkli gürültuyle karistirilmis veya kısmi bir sekilde kesilmis kayitlarda bile buyuk dogrulukla esleme yapilabilir. Bu alanin en populer tuketu uygulamasi Shazam'dir. 2002 yilında gelistirilen Shazam, bir garsinin gida yakaladigi ambient sesten muzigi tanimlar. Teknik olarak konusursak Shazam, spektrogram uzerindeki frekans tepe noktalarini isaretleyip bu noktalarin koordinatlarini (zaman, frekans) ve ikili combinasyonlarini bir parmak izi veritabanina kiyaslar. Bu yaklasim gurultu karmasiklığına direncli olup milyonlarca sarkiyi iceren bir veritabaninda milisaniyeler icinde esleme yapabilir. Ticari duzlemde ses parmak izi telif hakki izlemenin temel teknolojisidir. YouTube'un Content ID sistemi, yuklenen videolardaki muzikleri milyonlarca kayitli eserlerin parmak izleriyle karsilastirir; esleme bulundugunda video engellenir veya geliri hak sahibine yonlendirilir. Radyo yayinlarinin izlenmesi, icerik moderasyonu ve dijital muzik dagitim platformlarindaki kopya tespiti diger buyuk kullanim alanlarindan biridir. Ses parmak izi sistemleri tipik olarak iki asamadan olusur: parmak izi cikarma (feature extraction) ve esleme (matching). Feature extraction asamasinda melspectrogram veya STFT uzerinde derin ogrenme yontemleri veya geleneksel akustik ozellik cikarimi (tepe noktasi haritasi) kullanilir. Matching asamasinda hizli yakin komsu arama (LSH - Locality Sensitive Hashing, FAISS gibi vektör veritabanlari) ile milyonlarca parmak izine karsi saniyeler icinde sorgu yapilir. **Sik Sorulan Sorular** **Ses parmak izi ile ses tanima (speech recognition) arasindaki fark nedir?** Ses tanima konusmayi metne donusturur. Ses parmak izi ise sesin icerigi ne oldugunu analiz etmez; yalnizca o sesin daha once gorulup gorulmedigini tespit eder. **Shazam nasil bu kadar hizli calisir?** Shazam'in mimari bulut tarafli bir veritabani ile cihaz tarafindan cikarilan kompakt parmak izini eslesitirir. Parmak izi veritabani ikili hash tabanlari ile sorgulanir ve bu neden milyonlarca eserde saniyeler icinde esleme mumkun olur. **Ses parmak izi copyright infringement icin gercek zamanli kullanilabilir mi?** Evet. YouTube Content ID, Spotify ve Apple Music gibi platformlar yuklenen icerigini anlik parmak izi veritabaniyla karsilastirmak icin gercek zamanli boru hatlari kullanir. **Ses parmak izi AI ile nasil evrimlesimektedir?** Derin ogrenme tabanli parmak izi sistemleri geleneksel spektral tepe nokta yaklasimina kiyasla daha az bilgi ile daha guvenilir esleme sagliyor; kisa snippet'lardan, bozulmus ses kayitlarindan veya karma dil icerikten esleme konusunda daha guclu olduklarini gosteriyor.
Sinirsel Stil Transferi (Sinirsel Stil Transferi)
Sinirsel stil transferi (Neural Style Transfer, NST), bir kaynak görüntünün fotografik içeriğini — nesneler, yapı, kompozisyon — korurken başka bir referans görüntünün sanatsal stilini — fırça darbeleri, renk paleti, doku — bu görüntüye aktaran derin öğrenme tekniğidir. 2015 yılında Leon Gatys, Alexander Ecker ve Matthias Bethge tarafından yayımlanan 'A Neural Algorithm of Artistic Style' başlıklı çalışmayla kamuoyuna tanıtılan bu yöntem, evrişimli sinir ağlarının (CNN) özellik çıkarma kapasitesini sanatsal bir amaca yöneltmiştir. Teknik; bir fotoğrafı Van Gogh'un Yıldızlı Gece tablosunun stiliyle yeniden işlemek ya da bir çizimi Monet empresyonizmi içinde canlandırmak gibi uygulamaları mümkün kılmıştır. NST, derin öğrenme ile yaratıcı görsel üretimin kesişim noktasındaki en erken ve en etkili örneklerden biri olmuştur. Teorik temeli, önceden eğitilmiş bir CNN ağının — genellikle ImageNet üzerinde eğitilmiş VGG-16 ya da VGG-19 — hem içerik hem de stil bilgisini katmansal özellikler aracılığıyla ayrıştırabilmesine dayanmaktadır. İçerik bilgisi, ağın derin katmanlarındaki yüksek seviyeli aktivasyonlarda kodlanırken; stil bilgisi farklı katmanlardaki özellik haritaları arasındaki istatistiksel korelasyonları temsil eden Gram matrisleriyle yakalanmaktadır. Optimizasyon süreci, rastgele gürültüden başlayan bir görüntüyü yüzlerce gradyan adımıyla hem içerik kaybını hem de stil kaybını eş zamanlı azaltacak biçimde şekillendirir. Bu kayıpların ağırlıklı toplamını minimize etmek, iki kaynaktan gelen bilgiyi dengeli biçimde harmanlayan son çıktıyı üretir. Johnson ve arkadaşlarının 2016'da geliştirdiği hızlı stil transferi, önceden eğitilmiş bir dönüştürücü ağ kullanarak işlemi gerçek zamanlı hıza taşımıştır. AdaIN (Adaptive Instance Normalization) yaklaşımı ise herhangi bir stil görüntüsünü tek bir modelle anlık uygulamanın yolunu açmış; bu fikir StyleGAN başta olmak üzere pek çok modern üretken mimarinin içine taşınmıştır. NST günümüzde akıllı telefon uygulamaları, sosyal medya filtreleri, oyun tasarımı ve film konsept sanatı gibi geniş bir alanda kullanılmakta; difüzyon modellerinin yükselişiyle birlikte ise daha semantik ve kontrol edilebilir stil aktarımının temeline ilham kaynağı olmayı sürdürmektedir.
Small Language Model (Küçük Dil Modeli)
Small Language Model (SLM — Küçük Dil Modeli), genellikle 1B ila 14B parametre aralığında, edge cihazlarda veya sınırlı hesaplama kaynaklarında çalışabilmek üzere tasarlanmış ve optimize edilmiş dil modeli sınıfıdır. GPT-4 veya Claude gibi yüz milyar parametreli dev modellerin aksine SLM'ler; yerel cihazda çalışabilme, düşük gecikme, veri gizliliği ve maliyet etkinliği gibi pratik avantajlar sunar. Bu özellikler, SLM'leri bulut bağlantısı gerektirmeyen veya veri egemenliğinin kritik olduğu senaryolarda öne çıkarmaktadır. Sınırlı kaynaklarla bile yüksek kaliteli sonuçlar üretme yeteneği, SLM'leri yapay zekanın demokratikleşmesinde kilit bir rol üstlenir kılmaktadır. SLM'lerin yükselişini mümkün kılan iki temel yaklaşım bulunmaktadır: Veri kalitesi odaklı eğitim (Phi-4 gibi yüksek kaliteli sentetik veri ile parametre sınırını zorlama) ve model damıtma (distillation — büyük bir öğretmen modelden küçük öğrenci modele bilgi aktarımı). Quantization (INT4/INT8), pruning ve grouped query attention gibi ek teknikler de bellek ayak izini ve çıkarım süresini önemli ölçüde azaltmaktadır. Bu kombinasyonlar sayesinde küçük modeller parametre sayısıyla orantısız biçimde yüksek performans sergileyebilmektedir. Popüler SLM örnekleri arasında Microsoft Phi-4 (14B), Google Gemma 3 (1B-27B), Meta Llama 3.2 (1B, 3B), Mistral 7B ve Alibaba Qwen2.5 serisi sayılabilir. Uygulama alanları: akıllı telefon asistanları, IoT cihazları, gizlilik öncelikli kurumsal uygulamalar, düşük bant genişliği ortamları ve gerçek zamanlı yanıt gerektiren sistemler. Donanım desteği açısından Apple Silicon (M1-M4 serisi), Qualcomm Hexagon NPU ve NVIDIA Jetson gibi nöral işlem birimleri SLM çıkarımını hem hızlandırmakta hem de güç tüketimini düşürmektedir. Ollama, llama.cpp ve ONNX Runtime gibi açık kaynaklı framework'ler SLM'leri tüketici donanımında dakikalar içinde çalıştırmayı mümkün kılmaktadır. SLM, özellikle sağlık, finans ve hukuk gibi veri gizliliğinin kritik olduğu sektörlerde şirket içi AI çözümlerinin temel bileşeni hâline gelmektedir.
Sparse Attention (Seyrek Dikkat)
Seyrek dikkat (Sparse Attention), standart Transformer dikkat mekanizmasının hesaplama karmaşıklığını azaltmak için geliştirilen ve her tokenin yalnızca seçilmiş bir token alt kümesiyle dikkat hesabı yaptığı bir optimizasyon yaklaşımıdır. Standart dikkat O(n²) karmaşıklığına sahiptir; n token uzunluğu arttıkça hesaplama ve bellek maliyeti karesel büyür. Seyrek dikkat bu karesel bağımlılığı kırar; farklı örüntülere göre O(n√n) veya O(n log n) karmaşıklığa düşürebilir. Temel seyrek dikkat örüntüleri şunlardır: (1) **Yerel pencere dikkati** — her token yalnızca yakın komşularıyla ilişki kurar; (2) **Uzun adımlı dikkat (strided)** — her token belirli aralıklarla seçilmiş uzak tokenleri de kapsar; (3) **Küresel token dikkati** — belirli ayrıcalıklı tokenler (ör. [CLS]) tüm diğer tokenlerle etkileşir. BigBird ve Longformer bu stratejileri birleştirerek hem yerel bağlamı hem de uzun menzilli bağımlılıkları yakalar. FlashAttention ailesi seyrek dikkat olmasa da IO-aware bir kernel optimizasyonu sunarak dikkat hesabını GPU bellek hiyerarşisine göre yeniden düzenler; böylece uzun bağlamlarda hem hız hem de bellek verimliliği sağlar. Mixture of Depths ve Ring Attention gibi 2024-2026 dönemine ait yaklaşımlar ise seyrek hesaplamanın donanım ve model mimarisine daha derin entegrasyonunu araştırmaktadır. Pratik kullanımda GPT-3'ün Sparse Transformer varyantı, OpenAI'nin erken uzun bağlam çalışmalarından biri olmuştur. Günümüzde 1M token ve üzeri bağlam pencerelerini destekleyen modeller (Claude 3.5, Gemini 1.5 Pro) genellikle FlashAttention ve bunun varyantlarını yoğun dikkat için kullanırken, bazı hibrit mimariler katman bazında seyrek ve yoğun dikkati karıştırır. Seyrek dikkat, özellikle uzun belge işleme, kod analizi, genomik veri ve video dizileri gibi alanlarda kritik önem taşır; bu alanlarda tam dikkat bellek sınırlarını aşmaktadır. Türkiye'deki geliştiriciler için bu optimizasyonlar; uzun hukuki belgeler, çok sayfalı raporlar veya uzun konuşma oturumları üzerinde çalışan uygulamalarda belirgin fark yaratmaktadır.
Speech Enhancement (Konuşma İyileştirme)
Konuşma İyileştirme (Speech Enhancement), gürültülü ortamlarda kaydedilen ya da iletilen ses sinyallerinin kalitesini yapay zeka ve derin öğrenme yöntemleriyle artırma sürecidir. Geleneksel istatistiksel yaklaşımlar (Wiener filtresi, MMSE gibi) sabit gürültü modellerini varsayarken, derin öğrenme tabanlı modeller değişken ve karmaşık gürültü koşullarında da etkili biçimde çalışabilmektedir. Modern sistemler; evrişimli sinir ağları (CNN), tekrarlayan sinir ağları (RNN, LSTM), üretken çekişmeli ağlar (GAN) ve Transformer mimarilerini tek başına ya da hibrit olarak kullanmaktadır. Bu ağlar, eğitim aşamasında binlerce gürültülü ve temiz ses çifti üzerinde optimize edilen bir dönüşüm fonksiyonunu öğrenerek gerçek zamanlı gürültü giderme yapabilmektedir. Tipik bir işlem hattında ses sinyali kısa zamanlı Fourier dönüşümüyle (STFT) frekans-zaman bölgesine aktarılır, sinir ağı tarafından işlenir ve ters dönüşümle (iSTFT) yeniden zaman bölgesine döndürülür. Kalite değerlendirmesi için standart metrikler kullanılmaktadır: PESQ (Perceptual Evaluation of Speech Quality) genel ses kalitesini, STOI (Short-Time Objective Intelligibility) anlaşılırlığı, CSIG ve CBAK ise arka plan gürültüsünün müdahalesini ve konuşma bozulmasını ölçer. DeepFilterNet gibi ileri düzey modeller PESQ skorunu 3.17 seviyesine çıkarırken işlem yükünü mobil cihazlarda kullanılabilir düzeyde tutmaktadır. Uygulama alanları son derece geniştir: video konferans yazılımları, akıllı hoparlörler ve sesli asistanlar, işitme cihazları, otomatik altyazı sistemleri, radyo yayıncılığı ve sağlık kayıt sistemleri bu teknolojiden yoğun olarak yararlanmaktadır. Konuşma tanıma (ASR) sistemlerinin ön işleme adımı olarak kullanılması, gürültülü ortamlarda tanıma doğruluğunu belirgin biçimde artırmaktadır. Telefon görüşmelerinde, sesli asistan wake-word algılamada ve tele-tıp uygulamalarında gerçek zamanlı konuşma iyileştirme artık standart bir bileşen olarak yerini almaktadır. Veri kümesi açısından ise VoiceBank-DEMAND ve DNS Challenge gibi kamuya açık benchmark veri setleri, model karşılaştırmaları için araştırma topluluğunun referans noktası hâline gelmiştir. Bu rekabetçi ortam, hem akademik hem de ticari konuşma iyileştirme modellerinin hızla olgunlaşmasını sağlamaktadır.
Spiking Neural Network (SNN) (Atlayan Sinir Ağı)
Spiking Neural Network (SNN), beyin biyolojisinden ilham alınarak tasarlanmış üçüncü nesil yapay sinir ağı mimarisidir. Klasik derin öğrenme modellerinde nöronlar sürekli kayan noktalı aktivasyon değerleri iletirken, SNN'lerde nöronlar yalnızca yeterli uyarı biriktiğinde kısa süreli elektriksel atışlar (spike) gönderir. Bu olay tabanlı ve seyrek hesaplama paradigması biyolojik nöronların çalışma prensibini yansıtır; güç yalnızca spike üretildiğinde tüketilir ve klasik GPU'lara kıyasla dramatik enerji tasarrufu elde edilir. En yaygın SNN nöronu modeli Leaky Integrate-and-Fire'dır (LIF). Bu modelde nöron, gelen giriş sinyallerini bir membran potansiyeli olarak biriktirir; potansiyel bir eşik değerini (threshold) aştığında spike gönderir ve ardından sıfırlanır. Leaky özelliği, uyarı alınmadığında membran potansiyelinin zamanla azalmasını ifade eder; bu mekanizma biyolojik yorgunluk ve gürültü bastırma işlevine karşılık gelir. LIF'in yanı sıra daha karmaşık Hodgkin-Huxley modeli ve Adaptive Exponential Integrate-and-Fire (AdEx) modeli de araştırma ortamlarında kullanılır. SNN'lerin eğitimi temel bir zorluk içerir: spike fonksiyonu süreksiz ve türevlenemezdir; bu nedenle standart geri yayılım (backpropagation) doğrudan uygulanamaz. Bu sorunu çözmek için surrogate gradient yöntemi kullanılır: ileri geçişte gerçek spike fonksiyonu, geri geçişte ise sigmoid veya piecewise linear gibi yumuşak bir yaklaşım kullanılır. Spike Timing Dependent Plasticity (STDP) ise biyolojik ilhamlı yerel öğrenme kuralıdır; ön sinaps nöronun art sinaps nörondan önce ateşlenmesi bağlantıyı güçlendirir, tersine ateşlenmesi ise zayıflatır. Nöromorhik donanım, SNN'lerin yüksek verimlilikle çalıştığı özel işlemci mimarileridir. Intel'in Loihi 2 çipi, her bir nöronik çekirdeğin 8.192 nöronu eş zamanlı simüle edebildiği bir platformdur. IBM TrueNorth ise 4.096 çekirdek ve 1 milyon nöronu çok düşük güç bütçesiyle çalıştırır. 2025 yılında Nature Communications'ta yayımlanan bir çalışma, 28 nm nöromorhik mimarinin FP16 hassasiyetinde 1,05 TFLOPS/W enerji verimliliği elde ettiğini ve A100 GPU'ya kıyasla bellek erişimini yüzde 55-85 oranında azalttığını göstermektedir. Araştırma tarafında PyNN ve SpikingJelly Python çerçeveleri SNN geliştirme ortamı sunar; SpikingJelly, PyTorch üzerine inşa edilerek GPU hızlandırmasını surrogate gradient ile birleştirmektedir.
Stem Separation (Stem Ayrıştırma)
Stem ayrıştırma (İng. stem separation veya source separation), karışık bir ses kaydından vokal, davul, bas, gitar ve diğer enstrümanları birbirinden bağımsız parçalara (stem) ayırma işlemidir. Müzik üretimi, post-prodüksiyon ve yapay zeka destekli ses uygulamalarında her enstrümanın bağımsız olarak işlenmesini, düzenlenmesini ve yeniden karıştırılmasını mümkün kılan bu teknik, derin öğrenme tabanlı modellerle son yıllarda dramatik biçimde iyileşmiştir. Derin öğrenme öncesinde stem ayrıştırma, körsel kaynak ayrıştırma (blind source separation) ve ICA (Independent Component Analysis) gibi geleneksel sinyal işleme yöntemleriyle gerçekleştiriliyordu; bu yaklaşımlar kanal sayısı kısıtlamaları ve güçlü istatistiksel bağımsızlık varsayımları nedeniyle sınırlı kalıyordu. Derin öğrenme ile birlikte maskeli zaman-frekans temsilleri (spectral masking) ve uçtan uca öğrenme paradigmaları bu sınırları aştı. Meta'nın geliştirdiği Demucs, hibrit bir transformer-dalga formu mimarisine sahiptir; htdemucs versiyonu frekans ve zaman domenlerini paralel olarak işler ve doğal stereo genişlik koruması sağlar. Deezer'ın açık kaynak modeli Spleeter, U-Net mimarisiyle 2, 4 veya 5 stem ayrıştırması sunar. MDX-Net ve Open-Unmix ise SiSEC/MUSDB18 yarışma setinde referans sonuçlar üretmiştir. Model başarısı Sinyal-Bozulma Oranı (SDR — Signal-to-Distortion Ratio) ile ölçülür; güncel modeller vokal için +10 dB SDR değerlerine ulaşmaktadır. Stem ayrıştırmanın başlıca kullanım alanları şunlardır: karaoke altyapısı üretimi, remiks ve yeniden düzenleme, müzik eğitimi (belirli enstrümanı izole ederek pratik yapma), telif hakkı ve örnekleme (sampling) denetimi, oyun içi uyarlanabilir ses müziği ve Suno/Udio gibi üretken yapay zeka platformlarında ses yeniden kullanımı. Ses kalitesi üzerindeki etkiyi en aza indirmek için modeller genellikle kayan pencere (sliding window) ve örtüşen parça birleştirme (overlap-add) teknikleriyle çalışır. LALAL.AI, Moises, Stemify ve BaruwaAI bu teknolojiyi bulut API'leri aracılığıyla sunarken, Demucs ve Spleeter yerel GPU'larda da çalıştırılabilir.
Taslak Model (Taslak Model)
Taslak Model (Draft Model), spekülatif kod çözme (speculative decoding) yönteminde büyük doğrulayıcı modele aday token dizileri öneren küçük ve hızlı dil modelidir. Spekülatif kod çözmenin temel iddiası şudur: büyük modelin her token üretimi için yaptığı hesaplamanın büyük bölümünü küçük bir model ucuza gerçekleştirebilir; büyük model yalnızca bu önerileri toplu biçimde doğrulama veya reddetme rolünü üstlenir. Spekülatif kod çözme sürecinde taslak model γ (genellikle 4–8) adet token sırayla üretir. Ardından büyük doğrulayıcı model bu γ tokeni tek bir ileri geçişte (forward pass) paralel olarak değerlendirir. Kabul veya ret kararı her token için bağımsız olasılık karşılaştırmasıyla verilir; büyük modelin dağılımından belirgin biçimde sapan tokenler reddedilir. Reddedilen ilk token noktasından büyük model sıralı kod çözmeye geri döner. Bu mekanizma modelin çıktı dağılımını değiştirmez; yalnızca gecikme süresini azaltır. Taslak modelin seçimi kritiktir. Büyük modelle aynı model ailesinden gelen küçük bir versiyon (örneğin Llama 3 70B ile doğrulama yapılırken Llama 3 8B taslak olarak kullanılması) yüksek token kabul oranı (token acceptance rate) sağlar; taslak modelin dil dağılımı doğrulayıcıya yakın olduğunda daha az token reddedilir. Farklı mimari veya eğitim verisinden gelen bir model düşük kabul oranına yol açar ve spekülatif kod çözmenin avantajını ortadan kaldırır. Taslak modelin bellek varlığı düşük olduğundan spekülatif kod çözme GPU bellek tüketimini artırsa da net verim kazancı önemlidir: iyi ayarlanmış senaryolarda büyük modelin tek başına çalışmasına kıyasla 2–3 kat hız artışı gözlemlenir. Bu hız artışı, üretim altyapısında kullanıcı bekleme süresini ve token başına düşen maliyet (cost per token) değerini doğrudan etkiler. Farklı taslak model yaklaşımları da mevcuttur. Google'ın Medusa çerçevesi, ayrı bir taslak model yerine doğrulayıcı modelin üstüne ek kafa (head) katmanları ekleyerek aday tokenler üretir; böylece ek bir model yükleme yüküne gerek kalmaz. EAGLE (Extrapolation Algorithm for Greater Language-model Efficiency) ise özellik katmanını doğrudan yeniden kullanan hibrit bir yaklaşım sunar. Her iki yöntem de tek bir modelin içinde spekülatif üretimi mümkün kılar. Üretim ortamlarında (vLLM, TensorRT-LLM, Hugging Face TGI) spekülatif kod çözme eklentiler ya da yerleşik parametreler aracılığıyla etkinleştirilebilir hâle gelmiştir.
Torch (Torch)
Torch, derin öğrenme modellerinin kurulup eğitildiği, GPU hızlandırmalı tensör hesaplama kütüphanesidir; bugün bu ad, Python'da `import torch` komutuyla çağrılan **PyTorch** çerçevesinin çekirdek paketini ifade eder. Yani "torch" ile PyTorch ayrı iki araç değildir: PyTorch projenin adı, `torch` ise kod içinde kullanılan paket adıdır. Hikaye 2001'de İsviçre'deki Idiap Araştırma Enstitüsü'nde C++ tabanlı orijinal Torch ile başladı. Ronan Collobert liderliğindeki ekip 2011'de kütüphaneyi Lua diliyle **Torch7** olarak yeniden yazdı; DeepMind ve Facebook araştırmacıları yıllarca bu sürümü kullandı. 2016'da Meta AI (o dönemki adıyla Facebook AI Research), aynı çekirdek felsefeyi Python'a taşıyarak PyTorch'u yayımladı. Lua tabanlı Torch7'nin geliştirilmesi 2018'de durdu ve tüm ekosistem PyTorch çatısı altında birleşti. 2022'den beri proje, Linux Foundation bünyesindeki **PyTorch Foundation** tarafından bağımsız biçimde yönetiliyor. Torch'u öne çıkaran üç teknik özellik var. Birincisi, NumPy benzeri sezgisel API ile çalışan ve `.to("cuda")` çağrısıyla GPU'ya taşınabilen **tensör** yapısı. İkincisi, geri yayılım (backpropagation) gradyanlarını tek bir `.backward()` çağrısıyla otomatik hesaplayan **Autograd** motoru. Üçüncüsü, hesaplama grafiğini her çalıştırmada anlık kuran **define-by-run** yaklaşımı; bu esneklik, hata ayıklamayı standart Python araçlarıyla yapmayı mümkün kılar. PyTorch 2.x dönemiyle (Aralık 2022'de duyuruldu, 2.0 Mart 2023'te çıktı) tabloya `torch.compile` eklendi: tek satırlık bu çağrı, modeli TorchInductor derleyicisiyle optimize ederek eğitimde tipik olarak %30-200 arası hızlanma getirir. 2025'te yayımlanan 2.6-2.9 sürümleri FP8 desteği, torchao ile nicemleme (quantization) ve Blackwell GPU uyumu gibi yenilikler taşıdı. Rakamlar üstünlüğü net gösteriyor: Hugging Face'teki modellerin %90'ından fazlası PyTorch formatında yayımlanıyor, NeurIPS gibi konferanslardaki uygulamalı makalelerin yaklaşık %80'i PyTorch kullanıyor. GPT, Llama ve Stable Diffusion gibi modellerin eğitim altyapısı da torch üzerine kurulu. Türkiye'de üniversite laboratuvarlarından bankacılık ve e-ticaret ekiplerine kadar derin öğrenme çalışan hemen her ekip, ilk satırı `import torch` olan kodlarla üretim yapıyor.
TPU Mimarisi (TPU Mimarisi)
TPU Mimarisi (Tensor Processing Unit Architecture), Google tarafından matris çarpımı ve lineer cebir işlemlerini maksimum verimlilikle gerçekleştirmek için özel olarak tasarlanan donanım işlemci mimarisini ifade eder. GPU ve CPU'nun aksine genel amaçlı hesaplama için değil, özellikle derin öğrenme modellerinin eğitimi ve çıkarımı (inference) için optimize edilmiş olan TPU, ilk olarak 2016 yılında Google veri merkezlerinde kullanılmaya başlanmıştır. TPU mimarisinin temel yapı taşı sistolik dizi (systolic array) adı verilen ve binlerce çarpma-toplama (multiply-accumulate) biriminin birbirine doğrudan bağlı olduğu matris yapısıdır. Bu mimaride veri bir kez bellekten yüklenir ve dizi boyunca akarak defalarca yeniden kullanılır; böylece bellek bant genişliği talebi dramatik biçimde düşürülür. TPU v1, 700 MHz saat hızında 65.536 çarpma-toplama işlemini eş zamanlı gerçekleştirebilir ve saniyede 92 trilyon 8-bit işlem kapasitesine sahipken yalnızca 40 watt güç tüketir. Her TPU TensorCore birimi; matris çarpımı birimi (MXU), vektör birimi ve skaler birimden oluşur. TPU v4 ve v5'te MXU boyutu 256×256'ya çıkarılmış, HBM (High Bandwidth Memory) kullanımıyla bant genişliği daha da artırılmıştır. TPU v4 Pod, 4.096 çipi ICI (Inter-Chip Interconnect) ağıyla birleştirerek eksa-FLOPS ölçeğinde hesaplama kapasitesi sunar; Gemini ve PaLM gibi büyük dil modellerinin eğitimi bu altyapıda gerçekleştirilmiştir. GPU'yla karşılaştırıldığında TPU'nun belirgin avantajları ve kısıtlamaları vardır. Avantajlar: watt başına daha yüksek matris çarpımı throughput'u, bellek yeniden kullanımı verimliliği, Pod topolojisinde doğrusal ölçeklenme. Kısıtlamalar: genel amaçlı programlama esnekliğinin düşük olması, XLA (Accelerated Linear Algebra) derleyicisiyle sıkı entegrasyon gerekliliği ve bazı dinamik iş yüklerinde GPU'nun gerisinde kalması. Google Cloud üzerinden TPU VM ve TPU Pod yapılandırmaları olarak erişilebilen bu işlemciler, JAX, TensorFlow ve torch_xla aracılığıyla PyTorch ile çalışır. Yapay zeka donanımı ekosistemine göre yeni nesil TPU 8t (eğitim) ve TPU 8i (çıkarım) varyantları, farklı hesaplama gereksinimlerine özgü optimizasyon fırsatı sunar. TPU mimarisi, NVIDIA GPU'larına rakip en güçlü yapay zeka hızlandırıcı platformu konumunu korumaktadır.
Transformer (Dönüştürücü Mimarisi)
Transformer, 2017'de Google araştırmacılarının 'Attention Is All You Need' makalesiyle tanıttığı ve bugünkü yapay zeka modellerinin büyük bölümünün temelini oluşturan derin öğrenme mimarisidir. Veriyi kelime kelime, sıralı biçimde işleyen RNN ve LSTM modellerinin aksine Transformer, Self-Attention (öz-dikkat) mekanizmasıyla bir dizideki tüm öğeleri aynı anda işler: her kelime, cümledeki diğer tüm kelimelerle ilişkisini eşzamanlı hesaplar. Bu paralel çalışma biçimi iki büyük sorunu birden çözer. Birincisi, GPU'ların matris çarpımındaki gücünden tam olarak yararlanıldığı için eğitim çok daha hızlıdır; devasa veri setleriyle milyarlarca parametreli model eğitmek ancak bu mimariyle pratik hale gelmiştir. İkincisi, uzak kelimeler arasındaki bağlamsal ilişkiler kaybolmaz; model uzun bir metnin başındaki bilgiyi sonunda da hatırlar. Her token için Query, Key ve Value vektörleri hesaplanır; bu üç vektörün matematiksel etkileşimi, cümledeki her kelimenin hangi diğer kelimelere ne ölçüde 'dikkat edeceğini' belirler. Transformer'ın önemi dil işlemeyle sınırlı kalmadı. ChatGPT, Claude, Gemini ve Llama gibi büyük dil modellerinin (LLM) tamamı bu mimari üzerine kuruludur. Görüntü tarafında Vision Transformer (ViT) sınıflandırma ve nesne tanımada CNN'lere güçlü bir alternatif oldu; Whisper konuşma tanımada, AlphaFold 2 ise protein yapısı tahmininde aynı temeli kullanır. Mimarinin kritik bir özelliği öngörülebilir ölçeklenmesidir: parametre, veri ve hesaplama arttıkça performans da düzenli biçimde artar. Bu ölçekleme yasaları son yılların yapay zeka araştırma gündemini belirlemiş; GPT-2'den itibaren her nesil modelde gözlemlenen tutarlı performans artışı, araştırmacıları modelleri büyütmeye yöneltmiştir. Standart dikkat mekanizmasının karesel hesaplama maliyeti nedeniyle FlashAttention ve kayan pencere dikkati gibi verimlilik teknikleri aktif bir araştırma alanı olmayı sürdürmektedir. Çok modlu Transformer'lar metin, görüntü, ses ve video gibi farklı veri türlerini tek bir model içinde işleyerek yapay zekanın uygulama sınırlarını daha da genişletmektedir.
Transformer-XL (Transformer-XL (Uzun Bağlamlı Dönüştürücü Mimarisi))
Transformer-XL, Zihang Dai ve ekibinin 2019 yılında Google Brain ile Carnegie Mellon Üniversitesi iş birliğiyle geliştirdiği, uzun bağlamı modelleme sorununu çözmek amacıyla önerilen bir dil modeli mimarisidir. Standart Transformer modelleri metin işlerken sabit uzunluktaki bölütleri birbirinden bağımsız olarak ele alır; bu durum cümle sınırlarını aşan bağlam bağımlılıklarının yakalanamamasına ve bölüt kenarlarında anlam kırılmasına yol açar. Transformer-XL bu sorunu iki temel yenilikle aşar: bölüt özyinelemesi ve göreli konum kodlaması. Bölüt özyinelemesi mekanizmasında her katmanın gizli durum tensörleri önbelleğe alınır ve bir sonraki bölüt işlenirken dikkat mekanizmasına ek bağlam olarak sunulur; bu yapı modelin erişebildiği bağlam uzunluğunu teorik olarak sonsuz kılabilir ve uzun mesafeli bağımlılıkların yakalanmasını mümkün kılar. Göreli konum kodlaması ise mutlak konum gömülerinin farklı bölüt uzunluklarında anlam kaybına yol açma sorununu giderir; dikkat mekanizması token çiftleri arasındaki göreli mesafeyi doğrudan hesapladığından model farklı bölüt konfigürasyonlarına kolayca genellenebilir hâle gelir. WikiText-103 ve enwiki8 standart kıyaslamalarında Transformer-XL yayımlandığı dönemde yeni başarım kayıtları kırmıştır. Eğitim aşamasında bölüt özyinelemesi devre dışı bırakılabilir; çıkarım aşamasında ise önbellekte tutulan gizli durumlar çok daha uzun metinlerin verimli biçimde işlenmesini kolaylaştırır. Hesaplama maliyeti açısından değerlendirildiğinde özyineleme uzunluğunun artmasıyla bellek kullanımı doğrusal olarak artar; bu denge üretim sistemleri için dikkate alınması gereken önemli bir tasarım kararıdır. Transformer-XL mimarisinin kalıcı etkisi ardından gelen büyük dil modellerine kattığı kavramsal zemindir. XLNet, permütasyon tabanlı dil modellemesiyle Transformer-XL üzerine inşa edilmiş ve BERT tarzı çift yönlü eğitimi oto-regresif modellemeyle birleştirmiştir. T5, GPT serisi ve günümüzün uzun bağlam modellerindeki pek çok tasarım kararı bu mimarinin deneyimlerinden beslenmiştir. Transformer-XL aynı zamanda artımlı çıkarım araştırmalarını da yönlendirmiş; literatürde iki binden fazla atıf alarak modern NLP tarihine geçmiştir.
Transformers.js (Transformers.js)
Transformers.js, Hugging Face'in Python ekosistemindeki transformers kütüphanesinin tarayıcı ve Node.js ortamlarına taşınmış resmi JavaScript portudur. Kütüphanenin temeli ONNX Runtime Web'e dayanır: Hugging Face Hub'da yayımlanan transformer modelleri ONNX formatına dönüştürülüp WebAssembly veya WebGPU üzerinde çalıştırılır; bu sayede bir arka uç servisi veya API çağrısı olmaksızın makine öğrenimi çıkarımı (inferans) gerçekleştirilebilir. Geleneksel mimaride bir web uygulaması makine öğrenimi tahmini için Python tabanlı bir sunucuya istek atmak zorundadır. Transformers.js bu paradigmayı tersine çevirir: model tarayıcıya bir kez indirilir, sonraki tahminler tamamen istemci tarafında yapılır. Ağ gecikmesi ortadan kalkar, kullanıcı verisi hiçbir zaman sunucuya ulaşmaz ve uygulama çevrimdışı da çalışabilir. Kütüphane pipeline() arayüzüyle Python versiyonuna yakın bir sözdizimi sunar: pipeline('sentiment-analysis'), pipeline('text-generation'), pipeline('automatic-speech-recognition') gibi çağrılar tarayıcıda da aynı şekilde çalışır. Desteklenen görev kategorileri şunlardır: doğal dil işleme (duygu analizi, metin sınıflandırma, adlandırılmış varlık tanıma, özetleme, çeviri, metin üretimi, soru yanıtlama), ses (Whisper ile konuşma tanıma, ses sınıflandırma) ve görüntü (nesne tespiti, görüntü sınıflandırma, OCR, derinlik tahmini, segmentasyon). CLIP tabanlı çok modlu modeller de desteklenir. WebGPU desteği, kütüphanenin 2023'ten itibaren geçirdiği önemli bir dönüşümü temsil eder. Chrome 113+ ile kullanılan WebGPU, CPU'ya kıyasla 5–10 kat hız kazanımı sağlar; kuantize Phi-3 Mini (3,8 milyar parametre) gibi görece büyük modeller bile tarayıcıda çalıştırılabilir hale gelmiştir. Pratik sınırlar şunlardır: tarayıcıda önerilen model boyutu üst sınırı yaklaşık 500 MB'dir; DistilBERT (67 MB) ve DistilWhisper (100 MB) optimize seçeneklerdir. ONNX dönüşümü gerektirdiği için Hub'daki her model doğrudan kullanılamaz; ancak popüler modellerin büyük çoğunluğu onnx alt klasörüyle zaten yayımlanmaktadır. Türkçe desteği de mevcuttur: XLM-R ve çok dilli Whisper modelleriyle Türkçe NLP ve konuşma tanıma tarayıcıda sorunsuz çalıştırılabilmektedir.
U-Net (U-Net Mimarisi)
U-Net, Olaf Ronneberger ve arkadaşları tarafından 2015 yılında tıbbi görüntü segmentasyonu için geliştirilen, encoder-decoder yapısını simetrik atlama bağlantılarıyla (skip connections) birleştiren bir evrişimli sinir ağı mimarisidir. "U-Net: Convolutional Networks for Biomedical Image Segmentation" adlı makaleyle MICCAI 2015'te sunulan bu mimari, tek bir GPU'da saatler içinde eğitilebilmesi ve az etiketli veriyle çalışabilmesiyle dikkat çekti. Bugün hem tıbbi görüntü analizinin hem de difüzyon tabanlı görüntü üretiminin standart bileşeni hâline gelmiştir. Mimari iki simetrik koldan oluşur ve U harfi şeklindeki diyagramından adını alır. Encoder (daralma yolu), bir dizi konvolüsyon bloğu ve max-pooling katmanıyla görüntüden giderek soyutlanan özellikler çıkarır; her katmanda uzamsal boyut yarıya iner, kanal sayısı iki katına çıkar (ör. 64→128→256→512). Decoder (genişleme yolu), transposed convolution veya bilinear upsampling ile uzamsal boyutu kademeli olarak geri kazanır. Her çözünürlük seviyesinde encoder çıkışı, decoder girişiyle kanala göre birleştirilerek (concatenate) hem ince mekânsal ayrıntılar hem de derin anlambilimsel bilgi eş zamanlı korunur — bu skip connections mimarinin temel yeniliğidir. U-Net'in kritik özelliklerinden biri az etiketli veriyle güçlü sonuçlar üretebilmesidir. Orijinal çalışmada yalnızca 30 eğitim görüntüsüyle rekabetçi segmentasyon başarısı elde edildi; elastic deformation ve ağır veri artırma (data augmentation) bu başarıda belirleyici rol oynadı. Mimari her piksel için sınıf etiketi ürettiğinden "tam evrişimli" (fully convolutional) kategorisine girer; sabit boyutlu giriş kısıtı yoktur ve farklı çözünürlüklerdeki görüntülere doğrudan uygulanabilir. Zaman içinde birçok türev mimari geliştirildi: Attention U-Net gürültülü bağlamlarda yalnızca ilgili özellikleri vurgulayan dikkat kapıları ekler; nnU-Net medikal veri kümelerini otomatik yapılandırır; 3D U-Net hacimsel MRI ve BT verilerini işler; Swin-UNet transformatör bloklarını U şekliyle birleştirir. 2020'den itibaren DDPM ve Stable Diffusion gibi difüzyon modellerinin gürültü tahmin ağı (ε-network) olarak U-Net'i benimsemesi, mimarinin görüntü üretimi alanındaki önemini de pekiştirdi.
Variational Autoencoder (VAE) (Varyasyonel Oto-Kodlayıcı)
Variasyonel Otokodlayıcı (VAE — Variational Autoencoder), gizli uzayda (latent space) olasılıksal bir dağılım öğrenerek yeni veri örnekleri üretebilen üretken derin öğrenme modelidir. 2013 yılında Kingma ve Welling tarafından önerilen VAE, otokoderın gizli uzay temsilini deterministik bir noktadan ibaret olmak yerine olasılıksal bir dağılım (çoğunlukla Gaussian) olarak modellemektedir. VAE mimarisinin iki ana bileşeni vardır: kodlayıcı (encoder) ve kod çözücü (decoder). Encoder, girdi verisini gizli uzaydaki bir ortalama (mean) ve varyans vektörü olarak kodlar; gerçek gizli vektör bu Gaussian dağılımından örneklenir. Decoder, bu gizli vektörü orijinal veri uzayına geri dönüştürmeye çalışır. Eğitim sırasında iki kayıp terimi vardır: yeniden yapım kaybı (reconstruction loss — girdinin çıktıya ne kadar benzediği) ve KL sapma kaybı (KL divergence — gizli dağılımın standart normale ne kadar yakın olduğu). Bu iki terimin toplamı ELBO (Evidence Lower BOund) adını alır ve VAE'nin maksimize etmeye çalıştığı hedeftir. Reparametrizasyon hilesi (reparameterization trick) eğitimi mümkün kılan kritik adımdır: örnekleme operasyonu türevlenebilir değildir, bu nedenle z = mu + sigma * epsilon formülüyle epsilon ~ N(0,1) sabit rastgelelikten gelir. Böylece gradyan mu ve sigma üzerinden akar ve model geri yayılım ile eğitilir. GAN'larla (Generative Adversarial Network) karşılaştırıldığında VAE'nin eğitimi daha kararlıdır; ancak üretilen örnekler çoğu zaman daha bulanık görünür. GAN'lar çok daha keskin görseller üretse de eğitim kararsızlığı ve mod çöküşü (mode collapse) sorunlarıyla mücadele eder. Diffusion modelleri ise her iki yaklaşımın dezavantajlarını büyük ölçüde aşarak görsel kalitede yeni bir standart belirlemiştir. VAE'nin gizli uzayının düzgün ve yapılandırılmış (smooth, structured latent space) olması onu yorumlanabilir temsil öğrenmesi (disentangled representation learning) için çekici kılar. beta-VAE KL ağırlığını artırarak her gizli boyutun farklı anlam taşımasını hedefler. VQ-VAE gizli uzayı süreksiz (discrete) yapar; bu özellik DALL-E 1 ve dil modeli tabanlı görsel kodlama sistemleri için önem taşır. Uygulama alanları; görüntü üretimi, anomali tespiti, eksik veri doldurma, yüz sentezi ve ilaç keşfinde molekül uzayında anlamlı interpolasyonu kapsar.
Video Diffüzyon (Video Diffüzyon)
Video diffüzyon modelleri, görüntü difüzyon tekniklerini zaman boyutuna genişleterek ardışık ve tutarlı video kareleri üreten derin öğrenme yöntemidir. Temel prensip, eğitim aşamasında gerçek video verilerine kademeli olarak Gaussian gürültüsü eklemek, ardından bu gürültüyü adım adım gidererek anlamlı video dizileri yeniden oluşturmak üzerine kuruludur. Görüntü difüzyonundan temel farkı, modelin hem uzamsal hem de zamansal tutarlılığı aynı anda öğrenmek zorunda olmasıdır. Her kare diğer karelerle tutarlı olmalı; nesneler, ışık koşulları ve hareket vektörleri kesintisiz bir görsel akış oluşturmalıdır. Bu zorunluluk nedeniyle video diffüzyon mimarileri 3D dikkat mekanizmaları veya zamansal konvolüsyon katmanları içerir. Önemli modeller arasında OpenAI'ın Sora'sı öne çıkmaktadır. Sora, Diffusion Transformer mimarisini kullanarak yüksek çözünürlüklü, bir dakikaya kadar uzanan gerçekçi videolar üretebilmektedir. Meta'nın Make-A-Video modeli metin yönlendirmeli video üretimini daha erişilebilir kılarken Stability AI'ın Stable Video Diffusion modeli açık kaynak topluluğuna kapı aralamıştır. Google'ın Lumiere modeli uzay-zaman U-Net mimarisini benimseyerek hareket tutarlılığında çıta yükseltmiştir. Koşullandırma yöntemleri video diffüzyonun pratik kullanımını şekillendirir. Metin-video koşullandırması en yaygın biçimdir. Görüntü-video koşullandırması mevcut bir kareyi başlangıç noktası alarak animasyon üretirken video-video koşullandırması stil transferi ve düzenleme uygulamalarında tercih edilir. Uygulama alanları sinema ve reklam üretiminden tıbbi görselleştirmeye, eğitim içeriklerine ve oyun varlığı üretimine kadar uzanmaktadır. İçerik üreticileri ve reklam ajansları bu modelleri stok görüntü alternatifi olarak benimsemektedir. Zorluklar hâlâ büyüktür: uzun videoların zaman tutarlılığını korumak, fizik yasalarına uygunluğu garantilemek ve hesaplama maliyetini makul düzeyde tutmak başlıca araştırma gündemleridir. Bellek ve işlem gücü gereksinimleri görüntü modellerine kıyasla katbekat yüksektir. Etik açıdan deepfake üretiminin kolaylaşması ve telif hakkı sorunları toplumsal bir tartışma zemini oluşturmaktadır. Latent sıkıştırma ve verimli örnekleme yöntemleri bu engellerin aşılmasına katkı sunmaya devam etmektedir.
Video Süper Çözünürlük (VSR) (Video Süper Çözünürlük)
Video Süper Çözünürlük (Video Super-Resolution, VSR), düşük çözünürlüklü video karelerini derin öğrenme modelleri aracılığıyla yüksek çözünürlüklü videolara dönüştüren bir yapay zeka teknolojisidir. Geleneksel yükseltme yöntemleri enterpolasyon (bilineer, çift kübik) kullanırken VSR modelleri, hem tek bir karedeki uzamsal bilgiyi hem de ardışık kareler arasındaki zamansal ilişkiyi öğrenerek gerçekçi doku ve kenar detayları sentezler. VSR sistemleri temel olarak iki kategoriye ayrılır: tekrarlayan ağlar (recurrent networks) ve kayar pencere (sliding window) yaklaşımları. Tekrarlayan ağlar, önceki ve sonraki karelerin bilgisini gizli durum vektörlerinde biriktirir; EDVR ve BasicVSR bu kategorinin öncü örnekleridir. EDVR (Enhanced Deformable convolutional Networks for Video Restoration), deformable convolution v2 ile hassas çok-ölçekli hizalama yaparak CVPR NTIRE 2019 Yarışması'nda birinci olmuştur. BasicVSR ve devamı BasicVSR++ (Wang ve ark., 2021-2022), çift yönlü yayılım ve optik akış tabanlı hizalamayı basit ama güçlü bir çerçevede birleştirerek açık kaynak referans mimari konumuna gelmiştir. Model mimarileri açısından konuşursak: uzamsal özellik çıkarımı için derin CNN veya Swin Transformer katmanları kullanılırken zamansal bilgi gizli durum veya kayar pencere mekanizmalarıyla aktarılır. Son aşamada pixel shuffle (alt piksel konvolüsyon) katmanı, özellik haritasını yüksek çözünürlüklü piksel ızgarasına çevirir. Optik akış tahmini veya deformable convolution ile karelar arası piksel ötelenmeleri hizalanır; bu hizalama adımı birden fazla kareden gelen doku bilgisinin birleştirilmesini mümkün kılar. Son yıllarda difüzyon tabanlı ve GAN tabanlı yaklaşımlar hız kazanmaktadır. DiffVSR, difüzyon modellerini temporal tutarlılık kısıtlamalarıyla birleştirerek gerçek dünya bozulmalarına karşı güçlü sonuçlar üretir. VideoGigaGAN (Adobe Research, 2024) ise büyük ölçekli GAN mimarisini video domainine taşıyarak 8× büyütmede çarpıcı doku zenginliği sunar. VSR, OTT arşivi upscaling, dijital yayıncılık, güvenlik kameraları, tıbbi görüntüleme ve tarihi film restorasyonu gibi geniş bir yelpazede uygulanmaktadır. Kalite değerlendirmesinde PSNR ve SSIM yanı sıra LPIPS ve NIQE gibi algısal metrikler de kullanılmaktadır.
Video Üretimi (AI Video Generation) (Video Üretimi)
Video üretimi (AI Video Generation — Yapay Zeka Video Üretimi), derin öğrenme modellerinin metin açıklamaları, görüntüler veya kısa video girdilerinden gerçekçi, hareketli ve tutarlı video klipleri sentezlediği üretken yapay zeka alt alanıdır. Tıpkı metin-görüntü modellerinin metinden statik görsel üretmesi gibi, video üretim modelleri zaman boyutunu da işleyerek her karenin bir öncekiyle tutarlı olmasını sağlar. Günümüzde baskın mimari Diffusion Transformer (DiT) modelidir. Süreç üç aşamada gerçekleşir: (1) Video kareler, Variational Autoencoder (VAE) ile düşük boyutlu latent uzaya sıkıştırılır. (2) Bu latent temsil üzerinde, bir transformer ağı gürültüyü adım adım kaldırarak anlamlı içerik üretir. (3) Elde edilen latent vektör VAE dekoder ile tekrar piksel uzayına dönüştürülür. Metin koşullaması için CLIP veya T5 gibi metin enkoderleri kullanılır; classifier-free guidance (CFG) ise metin-video uyumunu dengeler. OpenAI'nın Şubat 2024'te tanıttığı Sora, 60 saniyelik tutarlı klipler üretebilen ve kamera hareketi, nesne fiziği ile ışık yansımalarını modelleme kapasitesine sahip ilk büyük ölçekli DiT tabanlı modeldir. Google Veo 2 (2024), diyalog ve ses efektleri dahil tek geçişte video üretebilmesiyle öne çıkar. Kling (Kuaishou), Runway Gen-3, Pika Labs ve Luma AI ise üretken video ekosisteminde rekabet eden başlıca açık ve kapalı kaynak araçlardır. Stability AI'nın Stable Video Diffusion'ı 2023'te yaygın açık ağırlıklı modeli temsil eder. Alanın en büyük teknik zorluğu zamansal tutarlılıktır: nesnelerin kareler arasında kimliğini, şeklini ve davranışını koruması gerekir. Uzun videoların bellekle yönetilmesi, karmaşık fizik simülasyonu ve yüksek çözünürlüklü render hesaplama maliyeti de çözüm bekleyen sorunlar arasındadır. Kullanım alanları arasında reklam ve pazarlama içeriği, film previzüalizasyonu, oyun sinematikleri, eğitim videoları ve sosyal medya içeriği öne çıkar. Türkiye'de kreatif ajanslar, bağımsız yapımcılar ve e-ticaret markaları AI video üretimini hızla benimsiyor.