tag Derin Öğrenme

Bu sayfada Derin Öğrenme etiketi ile işaretlenmiş 118 yapay zeka kavramını bulabilirsiniz.

Derin öğrenme (Deep Learning), insan beyninin sinir ağı yapısından esinlenerek tasarlanmış, çok katmanlı yapay sinir ağlarını kullanan bir makine öğrenimi alt disiplinidir. "Derin" nitelemesi, girdi ile çıktı arasındaki gizli katman (hidden layer) sayısının fazlalığından gelir; bu katmanlar veriden hiyerarşik temsiller öğrenir. Alt katmanlar kenar ve doku gibi düşük düzey özellikleri yakalarken üst katmanlar nesne veya kavram gibi soyut özellikleri kodlar. Alanın dönüm noktası 2012'deki AlexNet'tir: GPU hızlandırma ve büyük veri birleşiminin derin ağları eğitilir kıldığını kanıtlayan bu model, ImageNet yarışmasında önceki rekorları kırarak derin öğrenmeyi ana akıma taşıdı. Temel yapı taşı olan yapay nöron, gelen değerleri ağırlıklı toplar ve ReLU, sigmoid gibi bir aktivasyon fonksiyonundan geçirir. Eğitimde geri yayılım (backpropagation) algoritması, çıktı hatasını katman katman geriye taşıyarak her ağırlığın güncellenmesini sağlar; gradyan inişi (gradient descent) ise bu güncellemeleri yönetir. Adam ve AdamW gibi uyarlamalı optimizatörler öğrenme hızını otomatik olarak ayarlar. Başlıca mimari aileler şunlardır: CNN (evrişimsel sinir ağları) görüntü ve video işlemede standarttır; Transformer 2017'den itibaren NLP'yi ve ardından çok modlu sistemleri domine etmektedir; RNN/LSTM zaman serisi modellemesinde kullanılır; Difüzyon Modelleri görüntü ve ses üretiminde devrim yaratmaktadır. Uygulama alanları geniştir: tıbbi görüntüleme (kanser tespiti), otonom araçlar (nesne algılama), doğal dil işleme (makine çevirisi, metin üretme), konuşma tanıma ve öneri sistemleri. Türkiye'de e-ticaret platformlarının kişiselleştirme motorları, bankacılık sektörünün dolandırıcılık tespit sistemleri ve Türkçe NLP projeleri derin öğrenmeye dayanmaktadır. Transfer öğrenme, milyonlarca örnekle önceden eğitilmiş modelleri yüzlerce ya da binlerce örnekle yeni görevlere uyarlar; bu yaklaşım derin öğrenmeyi küçük veri setlerinde de kullanılabilir kılmaktadır. PyTorch ve TensorFlow başlıca açık kaynak çerçevelerdir; Hugging Face ekosistemi binlerce hazır modele erişim sunar. Temel sınırlamalar arasında büyük veri ve yüksek hesaplama gereksinimi, yorumlanabilirlik eksikliği (kara kutu sorunu) ve dağılım kayması (distribution shift) yer almaktadır. Araştırmacılar bu sorunları ele almak için yorumlanabilir yapay zeka (XAI) teknikleri ve verimli mimari tasarımları geliştirmeyi sürdürmektedir.

hearing

Audio Classification (Ses Sınıflandırma)

Ses sınıflandırma (Audio Classification), bir ses kaydını önceden tanımlanmış kategorilerden birine veya birkaçına atayan makine öğrenmesi görevidir. Konuşma tanıma, müzik türü tespiti, çevre sesi analizi, hayvan türü teşhisi ve sanayi makinelerinde arıza tespiti bu alanın tipik uygulama örnekleridir. Ses sınıflandırma sürecinde ham ses sinyali önce ön işlemden geçirilir. Kısa zamanlı Fourier dönüşümü (STFT) aracılığıyla zaman-frekans temsili elde edilir ve ardından insan kulağının frekans algısını taklit eden mel ölçeğine dönüştürülerek mel-spektrogram oluşturulur. Bu iki boyutlu görsel temsil, evrişimsel sinir ağlarının (CNN) doğrudan işleyebildiği bir formattır. Ek olarak MFCC (Mel Frekans Kepstrum Katsayıları) ve Chroma özellikleri, farklı görevlerde tamamlayıcı giriş temsilleri olarak kullanılır. Model eğitimi sırasında etiketlenmiş ses veri kümeleri kullanılarak ağ ağırlıkları optimize edilir. Tek etiketli problemlerde kategorik çapraz entropi kaybı yaygın seçimken, bir ses kaydında eş zamanlı birden fazla ses türü bulunabileceği çok etiketli problemlerde ikili çapraz entropi tercih edilir. Büyük ölçekli ön eğitimli modeller —YAMNet, PANN (Pre-trained Audio Neural Networks), BEATs ve Wav2Vec 2.0— transfer learning için güçlü başlangıç noktaları sunar; küçük veri kümelerinde bu modellerin son katmanları yeni kategorilere ince ayarla (fine-tuning) uyarlanır. Ses sınıflandırmanın pratik zorluklarını aşmak kritik öneme sahiptir: gürültülü ortam kayıtları, ses üstüste binmesi (polyphony), veri dengesizliği ve gerçek zamanlı çıkarım kısıtları öne çıkan sorunlardır. Veri artırma teknikleri —zaman kaydırma, perde değiştirme, arka plan gürültüsü ekleme ve SpecAugment— modelin genelleme kapasitesini artırmada etkili yöntemlerdir. Referans kıyaslamalar için AudioSet (632 kategori, yaklaşık iki milyon klip), ESC-50 (çevre sesleri), UrbanSound8K (kentsel sesler) ve FSD50K veri kümeleri yaygın olarak kullanılmaktadır. Bu görev, otomasyon, güvenlik sistemleri ve akıllı cihazlar gibi alanlarda ticari uygulamaların temelini oluşturmaktadır.

arrow_forward equalizer

Batch Normalization (Toplu Normalleştirme)

Batch Normalization (Toplu Normallesme), derin sinir aglarinin egitimi sirasinda her katmanin aktivasyonlarini mini-batch istatistiklerini kullanarak normalize eden ve bu sayede egitimi hizlandirip kararlilastiran bir tekniktir. 2015 yilinda Ioffe ve Szegedy tarafindan yayimlanan makale, BN'yi derin ogrenme camiasinin standart yontemlerinden biri haline getirdi. BN algoritmasini adim adim inceleyelim. Her mini-batch icin, hedef katmanda gelen aktivasyonlarin batch ortalamasisi ve varyansi hesaplanir. Bu istatistiklerle aktivasyonlar normalize edilir, yani ortalama 0, varyans 1 olur. Ardindan iki ogrenilir parametreyle (gama, beta) yeniden olcelkendirme yapilir: gama aktivasyonlarin olcegini, beta ise kaydirmasini belirler. Bu yeniden olceklendirme adimi, normalizasyonun modelin ifade gucunu kisitlamamasini saglar; model gerekirse orijinal dagilima benzer bir ciktiya geri donebilir. BN'nin en onemli pratik faydasi egitimin hizlanmasidir. Normallesme, gradyanlarin katmanlar arasinda daha tutarli bir buyuklukle akmasini saglar; bu cok daha yuksek learning rate kullanimi ve daha az epoch ile yakinsama anlamina gelir. Bazi deneyler BN'nin egitimi 5-10 kat hizlandirabildigini gostermistir. Mekanizma tartismali olsa da BN, "internal covariate shift" sorununu azalttigini iddia eden yaklasimla tanitilmistir. Derin ag egitiminde alt katmanlardaki agirlik guncellemeler, ust katmanlarin girdi dagilimini surdurur degistirir; bu degisim ogrenmeyi yavaslattir. BN her katmanin girdi dagilimini dengeleyerek bu sorunu azaltir. Transformer mimarisinin yayginlasmisiyla Layer Normalization (LayerNorm) on plana cikmiştir. LayerNorm batch boyutu yerine ozellik boyutu uzerinden normalizasyon yapar; tek ornekle de calistigindan RNN ve Transformer'larda tercih edilir. **Sik Sorulan Sorular** **Batch Normalization hangi konuma yerlestirilir?** Geleneksel olarak lineer katman veya evrisme katmani ile aktivasyon fonksiyonu arasina yerlestirilir. Ancak "pre-activation" yaklasiminda aktivasyondan once konumlandirma da kullanilir; performans farkli mimarilerde degisebilir. **Kucuk batch size'larda BN calisir mi?** Kucuk batch'lerde BN'nin istatistiksel tahminleri guvenilmez hale gelebilir. Bu durumda Group Normalization veya Layer Normalization daha kararlı alternatiflerdir. **BN neden inference'ta farkli davranir?** Egitimde mini-batch istatistikleri kullanilirken inference'ta egitim boyunca biriktirilen hareketli ortalama (running mean/variance) kullanilir. Bu model eval() ve train() modlari arasindaki farkliliktan kaynaklanir. **Transformer'lar neden LayerNorm kullanir?** Transformer'larin sekanslar ve self-attention yapilariyla calismasi, batch boyutuna bagli bir normalizasyonu pratik kilmaz. LayerNorm her ornegi bagimsiz normalize ettiginden bu mimariyle dogal bir uyum icindedir.

arrow_forward layers

Generative Adversarial Networks (Üretici Çekişmeli Ağlar)

GAN (Generative Adversarial Networks — Üretici Çekişmeli Ağlar), 2014 yılında Ian Goodfellow ve ekibi tarafından Montréal Üniversitesi'nde geliştirilen devrimsel bir derin öğrenme mimarisidir. Sistem, birbirine rakip iki yapay sinir ağından oluşur: Üretici (Generator) ve Ayırt Edici (Discriminator). Bu iki ağın rekabeti, gerçeğinden ayırt edilemeyen görüntü, ses ve video içeriklerinin üretilebilmesini sağlar. Üretici ağ, rastgele gürültüden yola çıkarak gerçekçi görünümlü içerik sentezler. Ayırt Edici ağ ise kendisine sunulan içeriğin gerçek mi yoksa üretici tarafından yaratılmış mı olduğunu belirlemeye çalışır. Bu süreç, oyun teorisindeki sıfır-toplam oyununa benzer: Üretici, Ayırt Ediciyi kandırmaya; Ayırt Edici de sahtekarlığı yakalamaya çalışır. İki ağ binlerce iterasyon boyunca birlikte eğitildikçe her ikisi de gelişir; son noktada Üretici öyle gerçekçi çıktılar üretir ki Ayırt Edici artık gerçeği sahteden ayırt edemez. GAN mimarisinin en çarpıcı uygulaması ThisPersonDoesNotExist.com sitesindeki hiper-gerçekçi yüzlerdir; bu yüzlerin sahibi gerçek bir insan değildir. Bunun yanı sıra GAN'lar; düşük çözünürlüklü görüntüleri 4K'ya yükseltme (süper çözünürlük), stil transferi, tıbbi görüntü veri setlerini yapay örneklerle büyütme ve deepfake video üretimi gibi alanlarda yaygın biçimde kullanılır. En bilinen GAN varyantları arasında foto-gerçekçi yüz sentezi için NVIDIA'nın StyleGAN2/3'ü, eşleştirilmemiş veri setleriyle at-zebra dönüşümü gibi görevler için CycleGAN ve uydu-harita çevirisi gibi eşleştirilmiş dönüşümler için Pix2Pix sayılabilir. GAN'ların en büyük zayıflığı eğitim sürecindeki istikrarsızlıktır. Mode collapse sorunu, Üreticinin çeşitliliği kaybedip yalnızca birkaç tipik örnek üretmesiyle ortaya çıkar. 2022'den itibaren Stable Diffusion ve DALL-E 2 gibi difüzyon modelleri, genel görüntü üretiminde GAN'ın yerini büyük ölçüde almıştır. Bununla birlikte gerçek zamanlı video sentezi ve düşük gecikme gerektiren edge uygulamalarında GAN mimarisi hâlâ önemli konumunu korumaktadır.

arrow_forward sd_storage

LSTM (Long Short-Term Memory) (Uzun Kısa Vadeli Hafıza)

LSTM (Long Short-Term Memory — Uzun Kısa Vadeli Hafıza), standart tekrarlayan sinir ağlarının (RNN) uzun vadeli bağımlılıkları öğrenememesi sorununu çözmek amacıyla 1997 yılında Sepp Hochreiter ve Jürgen Schmidhuber tarafından önerilen özel bir derin öğrenme mimarisidir. Vanilla RNN'ler, zaman içinde geriye doğru yayılan gradyanların katmanlar boyunca küçülerek sıfıra yaklaşmasıyla ortaya çıkan kaybolan gradyan probleminden muzdaripti; bu durum modelin uzun metin dizileri veya ses verilerindeki uzak bağımlılıkları öğrenmesini imkânsız kılıyordu. LSTM bu sorunu üç kapı mekanizmasıyla çözer. Unutma kapısı (forget gate), hücre durumundan hangi bilgilerin atılacağına karar verir; sigmoid aktivasyon fonksiyonu 0 ile 1 arasında bir değer üretir ve buna göre geçmiş bilgi kısmen veya tamamen silinir. Giriş kapısı (input gate), yeni bilgilerin hücre durumuna ne ölçüde ekleneceğini denetler; sigmoid çıktısı ile tanh aktivasyonundan geçirilmiş aday değerlerin çarpımıyla güncelleme gerçekleşir. Çıkış kapısı (output gate) ise hücre durumunun hangi kısmının bu adımın gizli durumu olarak dışarıya aktarılacağını belirler. Bu mimari, özellikle dizi-dizi (seq2seq) görevlerinde 2010'ların başından ortasına kadar baskın model olmuştur. Makine çevirisi, konuşma tanıma, el yazısı tanıma, zaman serisi tahmini ve metin üretimi alanlarında LSTM tabanlı modeller uzun yıllar boyunca en iyi sonuçları üretmiştir. Google Translate, 2016 yılında kural tabanlı sistemden LSTM tabanlı sinir ağı çevirisine geçerek çeviri kalitesinde büyük bir sıçrama kaydetmiştir. 2017'den itibaren Transformer mimarisinin yükselişiyle LSTM'nin hâkimiyeti azalmıştır. Transformer'lar dikkat mekanizması (attention) aracılığıyla paralel hesaplamaya olanak tanıyarak eğitim hızını dramatik biçimde artırır; bu avantaj GPT ve BERT gibi büyük dil modellerinin temelini oluşturur. Bununla birlikte LSTM, sinyal işleme, finans zaman serileri ve kaynak kısıtlı ortamlar gibi alanlarda hâlâ tercih edilen bir mimari olmaya devam etmektedir.

arrow_forward code_blocks

Mode Collapse (Mod Çöküşü)

Mod çöküşü (mode collapse), Üretici Çekişmeli Ağlar (GAN) eğitiminde sıkça karşılaşılan kritik bir sorundur. Üretecin (generator), gerçek veri dağılımının tamamını öğrenmek yerine yalnızca belirli bir alt kümesini — tek bir "mod"u — taklit etmeye başlaması durumunda ortaya çıkar. Adından da anlaşılacağı üzere model, olası çıktıların çeşitli dağılımı yerine tek bir noktaya ya da küçük bir kümeye "çöker". GAN mimarisinde üreteci (G) ve ayırt edici (D) ağ birbirine karşı eğitilir: G gerçekçi veriler üretmeye, D ise gerçek ile üretilmiş verileri ayırt etmeye çalışır. Mod çöküşü, bu rekabetçi dengenin bozulmasıyla tetiklenir. Üreteci, ayırt ediciyi kandırabilen birkaç örnek keşfettiğinde aynı kalıpları tekrar üretmeyi öğrenir; farklı girdi gürültüsü vektörleri giderek benzer çıktılara eşlenir. Bunun temel nedeni, standart GAN kayıp fonksiyonunun (Jensen-Shannon ıraksama tabanlı) gradyan sinyallerinin zayıfladığı veya kaybolduğu bölgelere — "vanishing gradient" durumuna — yatkın olmasıdır. Mod çöküşü iki biçimde gözlemlenir. Tam mod çöküşü (complete mode collapse) durumunda üreteci, girdi gürültüsünden bağımsız olarak hep aynı tek bir çıktıyı üretir. Kısmi mod çöküşü (partial mode collapse) durumunda ise üreteci gerçek dağılımdaki modların yalnızca bir kısmını öğrenir; örneğin MNIST rakamları veri kümesinde yalnızca 3, 5 ve 8 rakamlarını üretebilir. Her iki durumda da çıktı çeşitliliği (diversity) ciddi biçimde düşer ve modelin nicel kalite ölçütleri yanıltıcı biçimde yüksek görünebilir. Bu sorunla başa çıkmak için araştırmacılar farklı yaklaşımlar geliştirmiştir. Wasserstein GAN (WGAN), kayıp fonksiyonunu Wasserstein mesafesine dayandırarak daha kararlı gradyanlar üretir ve mod çöküşü riskini belirgin biçimde düşürür. Mini-batch discrimination, ayırt edicinin birden fazla örneği aynı anda değerlendirmesini sağlayarak üretecin çeşitsizliğini cezalandırır. Spektral normalizasyon ise ağırlık matrislerinin Lipschitz koşulunu koruyacak biçimde normalize edilmesini zorunlu kılar. Diffusion modelleri, akış eşleştirme (flow matching) ve VAE gibi alternatif üretici mimari paradigmaları ise mod çöküşüne yapısal olarak daha az eğilimlidir; bu nedenle görsel içerik üretiminde GAN'ların yerini büyük ölçüde almıştır.

arrow_forward hub

Multi-Head Attention (Çok Başlı Dikkat Mekanizması)

Çok başlı dikkat mekanizması (Multi-Head Attention), transformer modellerinin giriş dizisine aynı anda birden fazla farklı bakış açısından odaklanmasını sağlayan temel bir sinir ağı bileşenidir. 2017 yılında Google'ın "Attention is All You Need" makalesiyle tanıtılan bu mekanizma, modern büyük dil modellerinin (LLM) temel yapı taşını oluşturur. Klasik tek başlı dikkat mekanizması, bir cümledeki her token için yalnızca tek bir ilişki türünü yakalayabilirken, çok başlı dikkat h adet bağımsız "dikkat kafasını" paralel olarak çalıştırır. Her kafa, giriş gömme vektörünü üç farklı matrise dönüştürür: Sorgu (Q), Anahtar (K) ve Değer (V). Sorgu vektörü "ne arıyorum?" sorusunu, Anahtar vektörü "ne sunuyorum?" sorusunu, Değer vektörü ise "ilgili bilgi nedir?" sorusunu temsil eder. Her kafanın dikkat skoru, ölçeklenmiş nokta çarpımı formülüyle hesaplanır: softmax(QKᵀ / √d_k) × V. Buradaki √d_k ölçekleme faktörü, büyük iç çarpımların softmax'ı aşırı keskinleştirip gradyanların sıfıra yaklaşmasını önler. Her kafa, toplam model boyutunun (d_model) h'e bölünmesiyle elde edilen daha küçük bir alt uzayda çalışır; böylece toplam hesaplama maliyeti tek başlı dikkatle karşılaştırılabilir düzeyde kalır. Farklı kafalar farklı ilişki türlerini öğrenir: bir kafa sözdizimsel yapıyı, bir diğeri anlamsal benzerlikleri, bir üçüncüsü uzun menzilli bağımlılıkları yakalayabilir. Tüm kafalara ait çıktılar birleştirilerek tek bir doğrusal dönüşümden geçirilir ve modelin zengin, çok boyutlu bir bağlam temsili oluşturması sağlanır. Gerçek dünya modellerinde kafa sayısı büyük farklılıklar gösterir: BERT-Base her katmanda 12, GPT-3 ise 96 kafa kullanır. Araştırmalar, bazı kafaların eğitim sırasında belirli dilsel işlevlere uzmanlaştığını göstermektedir. Vision Transformer (ViT) gibi görsel modeller de aynı mekanizmayı görüntü yamalarına uygulayarak mekânsal ilişkileri öğrenir. GPT, LLaMA, Mistral, Gemma ve Claude gibi tüm modern modeller bu temel mekanizmaya dayanır.

arrow_forward noise_control_off

Noise Cancellation (Yapay Zeka ile Gürültü Engelleme)

Noise Cancellation (Gürültü Engelleme), yapay zeka ve derin öğrenme modellerini kullanarak ses sinyallerindeki istenmeyen arka plan gürültüsünü gerçek zamanlı olarak tespit edip bastıran ses işleme teknolojisidir. Geleneksel aktif gürültü engelleme (ANC) yöntemleri donanım tabanlı olup ters fazlı ses dalgaları üretirken; yapay zeka tabanlı gürültü engelleme, eğitilmiş nöral ağlar aracılığıyla yalnızca yazılım katmanında çalışır ve çok daha geniş bir gürültü spektrumunu bastırabilir. Bu teknoloji, özellikle video konferans, uzaktan çalışma, oyun ve işitme cihazları alanlarında geniş kullanım alanı bulmuştur. NVIDIA RTX Voice, Krisp, Microsoft Teams Gürültü Giderme ve Zoom'un arka plan ses filtresi bu teknolojiyi kullanan öncü ürünler arasında yer alır. Yapay zeka tabanlı gürültü engelleme sistemleri genellikle yinelemeli sinir ağları (RNN), uzun kısa süreli bellek (LSTM) modelleri veya dönüştürücü (transformer) mimarileri üzerine inşa edilir. Modeller, eşleştirilmiş temiz ses ve gürültülü ses veri kümeleri kullanılarak eğitilir; bu sayede sisteme yeni bir ses geldiğinde konuşma sinyali ile gürültü sinyalini birbirinden ayırt edebilir hâle gelirler. Çalışma prensibi şöyledir: gelen ses sinyali kısa zaman dilimlerine (frame) bölünür, her dilim için spektrogram veya mel-frekans kepstral katsayıları (MFCC) hesaplanır, nöral ağ her frekans bandında gürültünün mü konuşmanın mı hâkim olduğunu tahmin ederek bir maske üretir ve bu maske orijinal spektruma uygulanarak temizlenmiş ses elde edilir. Teknolojinin en büyük avantajı, frekans bandına bağımlı olmayan geniş spektrum gürültü bastırması sunmasıdır: klavye sesi, iklimlendirme uğultusu, sokak gürültüsü ve kalabalık ortam sesleri gibi birbirinden farklı gürültü türlerini aynı model işleyebilir. Modern çözümlerde gecikme süresi genellikle 20 milisaniyenin altındadır; bu değer gerçek zamanlı iletişim için kabul edilebilir eşiğin çok altındadır. Daha gelişmiş modeller, yalnızca gürültüyü bastırmakla kalmayıp konuşmacının sesini de iyileştirme (speech enhancement) özelliğini bünyesinde barındırır ve arka planda müzik çalarken dahi konuşma netliğini koruyabilir.

arrow_forward graphic_eq

Speech Enhancement (Konuşma İyileştirme)

Konuşma İyileştirme (Speech Enhancement), gürültülü ortamlarda kaydedilen ya da iletilen ses sinyallerinin kalitesini yapay zeka ve derin öğrenme yöntemleriyle artırma sürecidir. Geleneksel istatistiksel yaklaşımlar (Wiener filtresi, MMSE gibi) sabit gürültü modellerini varsayarken, derin öğrenme tabanlı modeller değişken ve karmaşık gürültü koşullarında da etkili biçimde çalışabilmektedir. Modern sistemler; evrişimli sinir ağları (CNN), tekrarlayan sinir ağları (RNN, LSTM), üretken çekişmeli ağlar (GAN) ve Transformer mimarilerini tek başına ya da hibrit olarak kullanmaktadır. Bu ağlar, eğitim aşamasında binlerce gürültülü ve temiz ses çifti üzerinde optimize edilen bir dönüşüm fonksiyonunu öğrenerek gerçek zamanlı gürültü giderme yapabilmektedir. Tipik bir işlem hattında ses sinyali kısa zamanlı Fourier dönüşümüyle (STFT) frekans-zaman bölgesine aktarılır, sinir ağı tarafından işlenir ve ters dönüşümle (iSTFT) yeniden zaman bölgesine döndürülür. Kalite değerlendirmesi için standart metrikler kullanılmaktadır: PESQ (Perceptual Evaluation of Speech Quality) genel ses kalitesini, STOI (Short-Time Objective Intelligibility) anlaşılırlığı, CSIG ve CBAK ise arka plan gürültüsünün müdahalesini ve konuşma bozulmasını ölçer. DeepFilterNet gibi ileri düzey modeller PESQ skorunu 3.17 seviyesine çıkarırken işlem yükünü mobil cihazlarda kullanılabilir düzeyde tutmaktadır. Uygulama alanları son derece geniştir: video konferans yazılımları, akıllı hoparlörler ve sesli asistanlar, işitme cihazları, otomatik altyazı sistemleri, radyo yayıncılığı ve sağlık kayıt sistemleri bu teknolojiden yoğun olarak yararlanmaktadır. Konuşma tanıma (ASR) sistemlerinin ön işleme adımı olarak kullanılması, gürültülü ortamlarda tanıma doğruluğunu belirgin biçimde artırmaktadır. Telefon görüşmelerinde, sesli asistan wake-word algılamada ve tele-tıp uygulamalarında gerçek zamanlı konuşma iyileştirme artık standart bir bileşen olarak yerini almaktadır. Veri kümesi açısından ise VoiceBank-DEMAND ve DNS Challenge gibi kamuya açık benchmark veri setleri, model karşılaştırmaları için araştırma topluluğunun referans noktası hâline gelmiştir. Bu rekabetçi ortam, hem akademik hem de ticari konuşma iyileştirme modellerinin hızla olgunlaşmasını sağlamaktadır.

arrow_forward 🏗️

3D Yeniden Yapılandırma (3D Yeniden Yapılandırma)

3D yeniden yapılandırma (3D Reconstruction), bir veya birden fazla 2B görüntüden, video akışından ya da derinlik sensörü verisinden üç boyutlu geometrik modeller elde etmeye yarayan bilgisayar görüşü ve yapay zeka alanıdır. Yapısal Hareket (Structure from Motion — SfM), Çok-Görüş Stereo (Multi-View Stereo — MVS) ve sinirsel ağ tabanlı derinlik tahmini gibi teknikler kullanarak gerçek dünyadaki nesnelerin ve ortamların dijital 3B kopyasını üretir. Klasik yaklaşımlarda SfM yöntemi, aynı sahnenin farklı açılardan çekilmiş görüntülerinde ortak anahtar noktaları (SIFT, ORB) tespit ederek kamera konumlarını ve 3B nokta bulutunu eş zamanlı tahmin eder. COLMAP gibi açık kaynak araçlar bu alanda standart haline gelmiştir. Çok-Görüş Stereo ise SfM çıktısı olan seyrek nokta bulutunu yoğunlaştırarak yüzey ağı (mesh) oluşturur ve çok daha ayrıntılı geometri elde edilmesini mümkün kılar. 2020 yılında tanıtılan Neural Radiance Fields (NeRF), sınırlı sayıda görüntüden fotogerçekçi 3B sahneleri hacimsel olarak öğrenen devrimci bir yaklaşım sundu. NeRF, aydınlatma ve görünümü de modelleyerek yeni kamera açılarından gerçekçi sentez yapabilmektedir. 2023 yılında geliştirilen 3D Gaussian Splatting (3DGS) ise NeRF'e kıyasla çok daha hızlı gerçek zamanlı render elde ederek mobil ve gömülü sistemlerde kullanımı mümkün kıldı. Tek bir görüntüden derinlik bilgisi çıkaran monoküler derinlik tahmini, akıllı telefonlar ve tek kameralı robotlar gibi sistemlerde 3B anlayışı mümkün kılmaktadır. MiDaS ve Depth Anything gibi büyük ölçekli veriyle ön-eğitilmiş modeller bu alanda yüksek genellenebilirlik ortaya koymuştur. 3D yeniden yapılandırma; artırılmış ve sanal gerçeklik içerikleri oluşturmak, otonom araçlarda çevre modelleme, tıbbi görüntülemede organ geometrisi elde etme, kültürel mirasın dijitalleştirilmesi, robotik tutma planlaması ve dijital ikiz sistemleri için yaygın biçimde kullanılmaktadır. Apple Vision Pro ve Meta Quest gibi cihazlardaki gelişmiş derinlik sensörleri, bu teknolojiyi tüketici ürünlerine taşımaktadır.

arrow_forward multitrack_audio

Acoustic Model (Akustik Model)

Akustik Model, otomatik konuşma tanıma (ASR) sistemlerinin temel bileşenidir ve ses sinyalleri ile dilbilimsel birimler (fonemler, seslemler veya sözcükler) arasındaki istatistiksel ilişkiyi temsil eden bir modeldir. Konuşma işlemenin çekirdeğinde yer alan bu yapı, ham ses dalgalarını sayısal özelliklere (genellikle MFCC — Mel Frekansı Kepstral Katsayıları) dönüştürerek hangi sesbirime ya da sözcüğe karşılık geldiğini olasılıksal olarak tahmin eder. Tarihsel olarak akustik modeller, Gizli Markov Modelleri (Hidden Markov Models — HMM) ve Gauss Karışım Modelleri (GMM) üzerine inşa edilmiştir. Bu klasik yaklaşımda her fonem ayrı bir durum makinesiyle temsil edilir ve gözlem olasılıkları Gauss dağılımlarıyla hesaplanır. 1970'lerden 2000'lerin başına kadar konuşma tanımanın baskın paradigması olan bu yöntem, sınırlı veri ve hesaplama gücüyle bile kabul edilebilir sonuçlar vermiştir. Derin öğrenmenin yükselişiyle birlikte akustik modeller köklü bir dönüşüm geçirmiştir. Günümüz sistemlerinde Derin Sinir Ağları (DNN), Tekrarlayan Sinir Ağları (RNN), LSTM ve Transformer mimarileri, HMM ile hibrit ya da tamamen uçtan uca (end-to-end) biçimde kullanılmaktadır. OpenAI'nin Whisper modeli, dil modelini ve akustik modeli tek bir Transformer mimarisi altında birleştirerek son derece yüksek doğruluk oranları elde etmektedir. Akustik modelin eğitimi için yüzlerce hatta binlerce saat etiketlenmiş ses kaydı gerekmektedir. Çevre gürültüsü, farklı aksanlar, mikrofon kalitesi ve konuşma hızı tanıma doğruluğunu doğrudan etkiler. Transfer learning ve self-supervised learning yaklaşımları (wav2vec 2.0, HuBERT gibi modeller) etiketli veri ihtiyacını önemli ölçüde azaltmıştır. CTC (Connectionist Temporal Classification) kaybı veya dikkat tabanlı kod çözme mekanizmaları, sürekli ses sinyalinden ayrık sembol dizisine geçişi mümkün kılar. Akustik model çıkışı genellikle fonem olasılıkları dizisidir; bu olasılıklar dil modeliyle birleştirilerek nihai kelime transkripti üretilir. Türkçe gibi çekimli diller için akustik modellerin morfolojik çeşitliliği kapsayacak biçimde eğitilmesi, model kalitesi açısından kritik bir gereklilik olmaya devam etmektedir.

arrow_forward code_blocks

Acoustic Scene Classification (Akustik Sahne Sınıflandırma)

Acoustic Scene Classification (ASC), bir yapay zeka sisteminin ham ses kaydından "café ortamı", "park", "şehir sokağı" veya "ev içi" gibi ortam türlerini otomatik olarak tanımasını sağlayan derin öğrenme tabanlı ses analizi tekniğidir. Türkçe karşılığı Akustik Sahne Sınıflandırma olan bu yaklaşım, mikrofon ile yakalanan çevresel sesleri işleyerek ortama özgü akustik parmak izlerini çıkarır ve ortam farkındalığı gerektiren sistemlere anında bağlam bilgisi sağlar. Temel işlem hattı şu adımlardan oluşur: Ham ses sinyali önce mel-spektrogramlara veya mel-frekans kepstral katsayılarına (MFCC) dönüştürülür; ardından bir Evrişimli Sinir Ağı (CNN) ya da Transformer mimarisi bu iki boyutlu görüntü temsilini sınıflandırır. 2013 yılında başlayan DCASE (Detection and Classification of Acoustic Scenes and Events) yarışması, bu alandaki küresel standart kıyaslamayı belirlemektedir. Her yıl güncellenen TAU Urban Acoustic Scenes veri seti, 10+ şehirde 10 farklı ortam sınıfı için etiketli ses kayıtları sunar; bu sınıflar alışveriş merkezi, metro, tramvay, park, sokak, hava limanı ve ofis gibi çeşitli mekânları kapsar. 2024 itibarıyla en yüksek skorlar, ses olayı tespiti ile ortak öğrenme kullanan hibrit CNN-Transformer modellerine aittir. ASC'nin temel uygulama alanları arasında akıllı şehir gürültü haritalaması, otonom araçların ortam farkındalığı, işitsel engelliler için çevre tanımlayıcı sistemler, giyilebilir cihazlarda bağlam duyarlı bildirim yönetimi ve akıllı ev ekipmanlarının ortam uyarlaması sayılabilir. Örneğin bir akıllı saat, kullanıcının toplantı odasında mı yoksa açık havada mı olduğunu akustik sahneye göre algılayarak bildirimleri otomatik olarak susturabilir ya da hoparlör sesini ortama uyarlayabilir. OpenSMILE, librosa ve PANNs (Pretrained Audio Neural Networks) yaygın kullanılan açık kaynak kütüphanelerdir. Teknik zorluklar arasında mikrofon kalitesine bağlı domain shift, gürültülü ortamlarda sınıf örtüşmesi ve yüksek etiketleme maliyeti öne çıkar. AudioSet üzerinde ön eğitilmiş modellerin ince ayarlanması ve transfer öğrenme yaklaşımları, az veriyle yüksek doğruluk elde etmeyi mümkün kılmaktadır. MixUp, SpecAugment ve pitch shift gibi veri artırma teknikleri küçük veri setleri için zorunlu hale gelmiştir. Edge cihazlarda gerçek zamanlı sınıflandırma amacıyla EfficientNet-b0 ve MobileNet tabanlı hafif ASC modelleri, TensorFlow Lite veya ONNX Runtime ile dağıtılmakta ve bu alan aktif bir araştırma konusu olmaya devam etmektedir.

arrow_forward power_settings_new

Activation Function (Aktivasyon Fonksiyonu)

Aktivasyon Fonksiyonu, yapay sinir ağlarında (YSA) her nöronun çıktısını belirleyen matematiksel bir dönüşüm fonksiyonudur. Biyolojik nöronların "ateşleme eşiğine" benzer şekilde, yapay bir nöronun aldığı ağırlıklı toplam sinyali alıp, bir sonraki katmana hangi değeri ileteceğini hesaplar. **Neden Gereklidir?** Aktivasyon fonksiyonu olmadan, ne kadar derin olursa olsun her yapay sinir ağı yalnızca doğrusal bir fonksiyon gibi davranır. Yani yüzlerce katmanlı bir ağ bile tek bir doğrusal dönüşüme indirgenebilir ve ağ karmaşık örüntüleri öğrenemez. Aktivasyon fonksiyonları, ağa *doğrusal olmayan* (non-linear) özellik kazandırarak görüntü tanıma, dil anlama ve ses işleme gibi gerçek dünya problemlerinin çözülmesini mümkün kılar. **Yaygın Türler** **ReLU (Rectified Linear Unit):** f(x) = max(0, x) formülüyle çalışır; negatif değerleri sıfırlar, pozitif değerleri olduğu gibi iletir. Hesaplama verimliliği ve "vanishing gradient" sorununu büyük ölçüde çözmesi sayesinde derin öğrenmede standart tercih haline gelmiştir. **Sigmoid:** Çıktıyı 0 ile 1 arasına sıkıştırır; olasılık yorumlaması için uygundur. Ancak derin ağlarda gradyanların küçülüp yok olmasına (vanishing gradient) yol açabilir. İkili sınıflandırma problemlerinin çıkış katmanında sıklıkla kullanılır. **Tanh (Hiperbolik Tanjant):** Sigmoid'e benzer ama çıktı aralığı –1 ile 1 arasındadır; sıfır merkezli yapısı gizli katmanlarda sigmoid'den daha iyi performans sağlar. **Softmax:** Çok sınıflı sınıflandırma görevlerinde çıkış katmanında kullanılır; tüm çıktıların toplamını 1'e eşitleyerek her sınıf için olasılık dağılımı üretir. **Leaky ReLU:** ReLU'nun "ölü nöron" (dying neuron) sorununu gidermek için negatif girdilere küçük bir eğim (genellikle 0.01) uygular; eğitimde nöronların kalıcı olarak susmamasını sağlar. **GELU (Gaussian Error Linear Unit):** GPT ve BERT gibi modern transformer modellerinin tercih ettiği fonksiyondur. Gaussian dağılımını temel alan yumuşak eşik mekanizması sayesinde özellikle büyük dil modellerinde yüksek performans gösterir. **Doğru Fonksiyon Nasıl Seçilir?** Gizli katmanlar için ReLU ailesi (ReLU, Leaky ReLU, ELU) genellikle ilk tercihtir. İkili sınıflandırma çıkışı için sigmoid, çok sınıflı çıkış için softmax idealdir. Regresyon görevlerinde çıkış katmanında genellikle aktivasyon uygulanmaz. GPT, BERT veya LLaMA gibi transformer tabanlı büyük dil modellerinde GELU veya SwiGLU gibi modern fonksiyonlar kullanılır. **Dikkat Edilmesi Gerekenler** Yanlış aktivasyon seçimi ağın öğrenememesine veya eğitimin çökmesine neden olabilir. Özellikle çok derin ağlarda sigmoid ve tanh kullanımı, geri yayılım (backpropagation) sırasında gradyanların sıfırlanmasına yol açarak eğitimi felç edebilir. PyTorch ve TensorFlow/Keras gibi modern derin öğrenme çerçeveleri tüm yaygın aktivasyon fonksiyonlarını hazır bileşen olarak sunar.

arrow_forward code_blocks

Adversarial Attack Nedir? (Hasım Saldırısı)

Adversarial Attack (Düşmanca Saldırı), makine öğrenimi ve derin öğrenme modellerini yanıltmak amacıyla giriş verilerine kasıtlı olarak eklenen küçük, çoğunlukla insan gözüyle fark edilmesi güç pertürbasyonlardır. Bu saldırılar, modelin güvenli veya zararsız gördüğü bir girdiyi aslında yanlış sınıflandırmaya veya istenmeyen çıktı üretmeye yönlendirir. Tekniğin temel ilkesi 2013 yılında Szegedy ve arkadaşlarının yayımladığı makalede ortaya kondu: bir görüntüye neredeyse görünmez pertürbasyonlar eklenerek derin sinir ağlarının yüksek güvenle yanlış tahmin yaptırılabileceği gösterildi. Bu bulgu, derin öğrenmenin performansının ardında yatan kırılganlıkları gün yüzüne çıkardı. Saldırı türleri incelendiğinde iki temel kategori öne çıkar. Beyaz-kutu saldırıları (white-box attacks), model mimarisine ve ağırlıklarına tam erişim varsayar; FGSM (Fast Gradient Sign Method) ve PGD (Projected Gradient Descent) bu kategorinin örnekleridir. Siyah-kutu saldırıları (black-box attacks) ise modelin iç yapısına erişim gerektirmez; yalnızca giriş-çıkış davranışına bakarak saldırı üretilir. Uygulama alanları açısından adversarial attack'lar özellikle kritik sistemlerde ciddi tehdit oluşturur. Özerk araçlarda dur işaretine beyaz çıkartma yapıştırılarak trafik işaret tanıma sisteminin yanıltılması akademik olarak gösterilmiştir. Yüz tanıma sistemleri özel gözlükler veya boyama örüntüleriyle atlatılabilmektedir. Tıbbi görüntü analizinde küçük piksel değişikliklerinin kanser tespitini yanıltabileceği raporlanmıştır. Savunma yöntemleri arasında adversarial training (modeli adversarial örneklerle yeniden eğitme), input preprocessing, certified robustness ve feature squeezing sayılabilir. Ancak savunma ile saldırı arasındaki silahlanma yarışı sürmektedir: her yeni savunma tekniğine karşı daha gelişmiş saldırı yöntemleri ortaya çıkmaktadır. Bu nedenle güvenilir yapay zeka sistemleri tasarımı adversarial robustness'ı temel bir tasarım kriteri olarak değerlendirmeye başlamıştır. NLP (Doğal Dil İşleme) modellerine yönelik adversarial saldırılar görüntü alanından farklı teknikler gerektirir: karakter seviyesinde yazım değişiklikleri, kelime ikameleri veya prompt injection, metin sınıflandırıcılarını ve dil modellerini yanıltmak için kullanılır. Özellikle büyük dil modellerine (LLM) yönelik jailbreak saldırıları adversarial attack'ın metin alanındaki güncel versiyonudur. Türkiye'de biyometrik erişim kontrol sistemleri ve tıbbi yapay zeka uygulamaları geliştiren kuruluşların adversarial saldırı farkındalığını üretim tasarımına entegre etmesi giderek önem kazanmaktadır.

arrow_forward grain

Artificial Neural Networks (ANN) (Yapay Sinir Ağları)

Yapay sinir ağları (Artificial Neural Networks — ANN), insan beynindeki biyolojik nöron yapılarından esinlenerek geliştirilen matematiksel hesaplama modellerdir. Birbirine ağırlıklı bağlantılarla bağlı düğümlerden (nöronlardan) oluşan bu yapılar; girdi katmanı, bir ya da daha fazla gizli katman ve çıktı katmanından meydana gelir. Her düğüm gelen sinyalleri toplar, ağırlıklarla çarpar ve sonucu sigmoid, ReLU veya tanh gibi bir aktivasyon fonksiyonundan geçirerek bir sonraki katmana iletir. Eğitim süreci iki temel aşamadan oluşur: ileri geçiş (forward pass) sırasında girdi verisi katmanlar boyunca aktarılarak tahmin üretilir; geri yayılım (backpropagation) aşamasında ise tahmin hatası zincir kuralıyla geriye doğru hesaplanarak ağırlıklar gradyan iniş yöntemiyle güncellenir. Bu döngü milyonlarca iterasyon boyunca tekrarlanarak modelin doğruluğu kademeli biçimde artırılır. Ağın başarısı büyük ölçüde gizli katman sayısına, nöron yoğunluğuna ve seçilen optimizasyon algoritmasına (Adam, SGD, RMSProp) bağlıdır. Tarihsel açıdan McCulloch-Pitts nöronu (1943) ve Frank Rosenblatt'ın 1958 perceptronu bu alanın temel taşlarını oluşturur. İki "yapay zeka kışı" döneminde ilgi azalsa da 2006 sonrasında Geoffrey Hinton ve ekibinin çok katmanlı yapılar üzerindeki çalışmaları ile 2012'de AlexNet'in ImageNet yarışmasındaki devrimsel başarısı, modern derin öğrenme çağını başlattı. Günümüzde yapay sinir ağları pek çok uzmanlaşmış mimaride gelişmiştir: evrişimsel sinir ağları (CNN) görüntü tanıma ve bilgisayarlı görüde, yinelemeli ağlar (RNN/LSTM) dizi verisinde, grafik sinir ağları (GNN) ilişkisel veride ve transformerlar büyük dil modellerinde temel yapı taşını oluşturur. Tıbbi görüntü analizi, otonom araçlar, ses tanıma, makine çevirisi ve öneri sistemleri bu teknolojinin en olgunlaştığı başlıca uygulama alanlarıdır. Temel sınırlamalar arasında "kara kutu" yorumlanabilirlik sorunu, büyük miktarda etiketli eğitim verisi gerektirme ve GPU hesaplama maliyeti sayılabilir. Bu güçlükler açıklanabilir yapay zeka (XAI) araştırmalarını ve enerji verimli kenar bilişim (edge AI) çözümlerine olan ilgiyi giderek artırmaktadır.

arrow_forward center_focus_strong

Attention (Dikkat Mekanizması) (Dikkat Mekanizması)

Attention (Dikkat Mekanizması), bir sinir ağının çıktı üretirken giriş dizisinin hangi bölümlerine ne ölçüde odaklanacağını dinamik olarak öğrenen nöral ağ bileşenidir. 2014'te makine çevirisi için önerilen temel dikkat mekanizması, 2017'de "Attention Is All You Need" makalesiyle Transformer mimarisinin çekirdeğine dönüştü ve modern yapay zekanın en dönüştürücü bileşeni haline geldi. Dikkat mekanizmasının temel sezgisi, insan dikkatini taklit etmektir: cümledeki her kelimeye eşit ağırlık vermek yerine, o anki tahmin için en ilgili kelimelere daha yüksek ağırlık vermek. Matematiksel olarak üç matris kullanılır: Sorgu (Query, Q), Anahtar (Key, K) ve Değer (Value, V). Q ile K'nın nokta çarpımı yumuşatılmış maksimum (softmax) fonksiyonundan geçirilerek dikkat ağırlıkları elde edilir; bu ağırlıklar V matrisinin ağırlıklı toplamını belirler: Attention(Q, K, V) = softmax(QK^T / √d_k) × V. Öz-dikkat (self-attention), bir dizinin kendi içindeki öğeler arasındaki bağımlılıkları modelleyerek çalışır; GPT ve BERT bu mekanizmayı kullanır. Çapraz dikkat (cross-attention) ise farklı iki dizinin öğelerini ilişkilendirir; kodlayıcı-çözücü modellerinde sorgu çözücüden, anahtar/değer çiftleri kodlayıcıdan gelir. Çok başlı dikkat (multi-head attention), birden fazla dikkat başını paralel çalıştırarak farklı ilişki alt uzaylarını eş zamanlı öğrenir. Dikkat mekanizması, konum bilgisini doğrudan içermez; bu nedenle Transformer'lara konumsal kodlama (positional encoding) eklenir. Flash Attention gibi bellek-etkin uygulamalar uzun bağlam pencerelerini mümkün kılarken kayan pencere dikkat (sliding window attention) yerel bağımlılıklara odaklanarak hesaplama karmaşıklığını düşürür. Dikkat mekanizması yalnızca dil modeliyle sınırlı kalmadı: Vision Transformer (ViT) görüntü yamalarını dizi olarak ele alarak öz-dikketi bilgisayarlı görüye uyarladı; Whisper ses tanıma, AlphaFold 2 protein yapısı tahmini de bu mekanizmaya dayanır. RNN ve LSTM'nin hâkim olduğu dönemde paralelleştirme kısıtlaması aşılamıyordu; dikkat mekanizması bu kısıtı ortadan kaldırarak GPT-4, Gemini ve Claude gibi modellerin 100.000+ token bağlam penceresiyle çalışmasını olanaklı kıldı.

arrow_forward hourglass_empty

Autoencoder (Oto-Kodlayıcı)

Autoencoder, girdi verisini daha dusuk boyutlu bir ara temsile (latent uzay veya bottleneck) sikistiran bir encoder ve bu temsili orijinal boyuta geri donusturebilen bir decoder birlesiminden olusan sinir agi mimarisidir. Egitim hedefi ciktiyi girdiyle olabildigince ozdes kilanmaktir; bu basit hedef, modelin veri icerisindeki en onemli yapilari ogrenmesini zorlar. Autoencoder tamamen denetimsiz bir ogrenme yaklasimidur: etikete ihtiyac duymaz, hata sinyali yalnizca girdinin ne kadar iyi geri olusturuldugunu olcer. Bu ozellik onu buyuk etiketlenmemis veri kumelerinde ozellik cikarma ve boyut indirgeme icin degerli kilar. Temel bilesenler encoder (daraltici aglar), latent uzay (dar boyutlu ara temsil) ve decoder'dir (genisletici aglar). Latent uzayin boyutu ne kadar kucuk olursa model o kadar guclu sikilstirma ogrenmek zorunda kalir; ne kadar buyuk olursa geri olusturma kolaylasor ama ogrenilen ozellikler daha az kompakt olur. Pratik uygulamalar genis bir yelpazede yer alir. Goruntu gürültü giderme icin autoencoder, gurultulu goruntu girdi olarak alip temizini olusturmak uzere egitilir. Anomali tespitinde yalnizca normal veriyle egitilmis bir autoencoder, egitim dagiliminin disindaki ornekleri yuksek rekonstruksiyon hatasi ile tanir. Onerilim sistemlerinde kullanicilarin davranislarinin latent temsillerini ogrenmede kullanilir. Variational Autoencoder (VAE), klasik autoencoderin uretici bir versiyonudur. Latent uzaya belirleyici bir nokta degil bir olasilik dagilimi ogrenir: her girdi ornek icin bir ortalama ve varyans vektoru hesaplanir ve latent uzaydan ornekleme yapilir. Bu olasiliksal temsil, latent uzay uzerinde anlayisli interpolasyon ve ornekleme yapmayi mumkun kilar; bu ozellik VAE'yi goruntu sentezi, muzik uretimi ve drug design gibi alanlarda kullanilan temel uretici model yaklasimlarindan biri haline getirir. **Sik Sorulan Sorular** **Autoencoder ile PCA arasindaki fark nedir?** PCA dogrusal donusumler kullanir. Autoencoder dogrusal olmayan aktivasyon fonksiyonlariyla cok daha karmasik, dogrusal olmayan boyut indirgeme ogrenebi­lir; bu onu yuksek boyutlu goruntu ve ses verisi icin daha guclu kilar. **Latent boyut nasil secilir?** Goreve baglidir: ne kadar kompakt bir temsil gerektigine gore ayarlanir. Genellikle farkli latent boyutlarda denenip rekonstruksiyon kalitesi ve asagi akis gorevi performansi incelenerek secim yapilir. **Autoencoder overfitting yapabilir mi?** Evet. Latent uzay cok genis olursa model verinin her ayrıntısini ezberleyerek siradan bir kopya cikarmasi ogrenir; boyut indirgeme veya ozellik ogrenimine zori kalmaz. Dropout veya regularizasyon bunu onler. **VAE ile GAN arasindaki fark nedir?** VAE kapsamli latent uzay tanimlayan ve gercek dagilimi maksimum olabilirlikle optimize eden bir uretici modeldir. GAN ise bir uretici ve bir ayirt edici ag arasindaki rekabetci oyunla egitilir; GAN gorselleri genellikle daha keskin olur ancak egitimi daha istikrarsizdir.

arrow_forward history_toggle_off

Backpropagation (Geri Yayılım Algoritması)

Backpropagation (geri yayılım), bir yapay sinir ağının kayıp fonksiyonunun her ağırlığa göre kısmi türevini zincir kuralıyla çıkış katmanından giriş katmanına doğru hesaplayan eğitim algoritmasıdır. 1986'da Rumelhart, Hinton ve Williams'ın Nature makalesiyle yaygınlaşan yöntem, çok katmanlı ağların büyük ölçekte öğrenmesini mümkün kıldı ve derin öğrenmenin matematiksel omurgası oldu. Algoritma iki geçişle çalışır. İleri geçişte (forward pass) giriş verisi katman katman işlenir: her katmanda z = Wx + b doğrusal dönüşümü ve a = f(z) aktivasyonu hesaplanır, ara değerler bellekte tutulur. Üretilen tahmin gerçek etiketle karşılaştırılıp kayıp hesaplanır — sınıflandırmada çapraz entropi, regresyonda MSE tipik seçimlerdir. Geri geçişte (backward pass) ∂L/∂W = ∂L/∂a · ∂a/∂z · ∂z/∂W zinciri katman katman çözülür; her ağırlığın toplam hataya katkısı (gradyanı) bulunur ve SGD, Adam veya AdamW gibi bir optimizör W ← W − η·∂L/∂W kuralıyla güncelleme yapar. Verimliliği çarpıcıdır: gradyanı sonlu farklarla ölçmek N parametreli ağda N ayrı ileri geçiş gerektirirken, backpropagation tek geri geçişte tüm gradyanları verir. Bir geri geçişin maliyeti kabaca ileri geçişin iki katıdır; bu yüzden 100 milyar parametreli bir modelin eğitim adımı bile tek grafik geçişinde tamamlanır. GPT-5, Claude, Gemini ve Llama ailesi dahil 2026'nın tüm büyük modelleri, trilyonlarca token üzerinde bu döngüyü milyonlarca kez tekrarlayarak eğitildi; ön eğitimden sonra gelen RLHF ve DPO gibi hizalama aşamaları da gradyanlarını yine backpropagation ile hesaplar. Kavramın kökleri 1986'dan da eskiye gider: ters mod otomatik türevi 1970'te Seppo Linnainmaa formalize etti, Paul Werbos 1974 doktora tezinde sinir ağlarına uygulamayı önerdi. 1986 makalesi yöntemi geniş kitleye taşıdı; 2012'de AlexNet'in GPU üzerinde backpropagation ile ImageNet yarışmasını açık farkla kazanması ise derin öğrenme patlamasını başlattı. O günden bu yana algoritmanın kendisi neredeyse hiç değişmedi — değişen şey ölçek, donanım ve etrafındaki mühendislik oldu. Pratik zorlukları da vardır. Kaybolan gradyan (vanishing gradient) probleminde sigmoid/tanh gibi doyuma giren aktivasyonlar derin ağlarda gradyanı sıfıra yaklaştırır ve erken katmanlar öğrenemez; ReLU/GELU aktivasyonları, He/Xavier ağırlık başlangıcı, artık bağlantılar (ResNet, 2015) ve katman normalizasyonu bu sorunu büyük ölçüde çözdü. Patlayan gradyanda ise gradyan kırpma (gradient clipping) standart önlemdir. Bellek tarafında, ileri geçişte saklanan ara aktivasyonlar uzun dizilerde ana darboğaz olur; gradient checkpointing bu aktivasyonların bir kısmını silip geri geçişte yeniden hesaplayarak belleği hesap gücüyle takas eder. Modern çerçeveler — PyTorch autograd, TensorFlow GradientTape, JAX grad — hesaplama grafiğini otomatik kurar ve loss.backward() tek çağrısıyla tüm türevleri üretir; geliştirici zincir kuralını elle yazmaz. Dağıtık eğitimde binlerce GPU kendi mini-batch'inin gradyanını hesaplar, all-reduce ile ortalamalar senkronize edilir; ZeRO/FSDP gibi teknikler gradyan ve optimizör durumunu cihazlara bölerek trilyon parametreli eğitimleri mümkün kılar. Yine de algoritmanın matematiğini bilmek, öğrenme hızı seçimi, mimari tasarımı, karma hassasiyet (mixed precision) ayarları ve NaN kaynaklı hata ayıklamada belirleyici bir avantajdır. Kısacası bugün üretimde çalışan neredeyse her derin öğrenme modelinin altında aynı 40 yıllık fikir yatar: hatayı geriye yay, sorumluluğu ağırlıklara paylaştır, küçük adımlarla düzelt.

arrow_forward indeterminate_check_box

Black Box AI (Kara Kutu Yapay Zeka)

Kara kutu yapay zekası (black-box AI), iç işleyişi kullanıcı veya uzmanlar tarafından doğrudan gözlemlenemeyen, karar verme mekanizması opak olan yapay zeka sistemlerini tanımlar. Modelin girdiyi nasıl çıktıya dönüştürdüğü, hangi özniteliklere ne kadar ağırlık verdiği ve belirli bir tahminin neden üretildiği kullanıcıya belirsiz kalır. Derin öğrenme modelleri bu opaklığın en belirgin örnekleridir. Milyonlarca ağırlık parametresinin karmaşık doğrusal-olmayan etkileşiminden doğan kararları piksel düzeyinde takip etmek pratikte imkânsızdır. Aynı durum büyük dil modelleri, gradyan artırma toplulukları ve çok katmanlı evrişimli ağlar için de geçerlidir. Kara kutu özelliği, modelin yüksek doğruluk gösterdiği durumlarda bile ciddi sorunlar doğurur. Tıbbi yapay zeka bir biyopsi görüntüsünde kanser teşhisi koyduğunda, klinisyenin kararın hangi görüntü özelliğine dayandığını doğrulayabilmesi zorunludur; çünkü model gerçek dışı bir yapıya odaklanıyor olabilir. Kredi başvurusunun reddedilmesi halinde bireyin gerekçeyi öğrenme ve itiraz hakkı hem etik hem de AB yapay zeka düzenlemeleri kapsamında yasal bir zorunluluktur. Yüksek riskli karar ortamlarında kara kutu kullanımı ciddi hesap verebilirlik boşlukları yaratır ve denetim süreçlerini sekteye uğratır. Bu soruna karşılık açıklanabilir yapay zeka (XAI — Explainable AI) alanı gelişmiştir. SHAP, oyun teorisinin Shapley değerini kullanarak her özniteliğin tahmine katkısını tutarlı biçimde ölçer. LIME ise tahmin noktası etrafında basit bir vekil model kurarak yerel açıklama üretir. Transformer modellerinde dikkat haritaları ve görüntü modellerinde Grad-CAM kısmi içgörü sunarken, içsel olarak açıklanabilir modeller (karar ağaçları, lojistik regresyon, monoton kısıtlı sinir ağları) baştan şeffaf tasarım anlayışını temsil eder. EU AI Act yüksek riskli sistemler için şeffaflık, kayıt tutma ve insan denetimini zorunlu kılmaktadır; bu kapsamdaki modellerin temel karar mantığını belgelemesi ve düzenleyici otoriteler tarafından denetlenebilir olması gerekmektedir.

arrow_forward code_blocks

Boltzmann Machine Nedir? (Boltzmann Makinesi)

Boltzmann Makinesi, 1985 yılında Geoffrey Hinton ve Terry Sejnowski tarafından geliştirilen, enerji tabanlı bir stokastik üretken sinir ağı modelidir. Model, görünür (visible) birimler ve gizli (hidden) birimler olmak üzere iki tür ikili stokastik nörondan oluşur; tüm birimler birbirine simetrik ağırlıklı bağlantılarla bağlıdır. Sistemin temel prensibi enerji minimizasyonuna dayanır. Her ağırlık konfigürasyonunun bir enerji değeri vardır; model, Boltzmann dağılımına göre düşük enerjili durumları yüksek olasılıkla örnekleyerek eğitim verisinin olasılık dağılımını öğrenir. Bu öğrenme süreci Contrastive Divergence (CD) algoritmasıyla gerçekleştirilir; tam Gibbs örneklemesi yerine k adımlı yaklaşım kullanılarak hesaplama yükü azaltılır. Tam bağlantılı Boltzmann Makinesi'nin eğitimi son derece yavaş olduğundan pratikte Kısıtlı Boltzmann Makinesi (Restricted Boltzmann Machine, RBM) tercih edilir. RBM'de görünür birimler yalnızca gizli birimlere bağlıdır; görünür-görünür ve gizli-gizli bağlantılar yoktur. Bu kısıtlama, katmanlar arasında paralel Gibbs örneklemesine olanak tanır ve eğitimi önemli ölçüde hızlandırır. RBM'ler 2006-2012 yılları arasında derin öğrenmenin öncü uygulamalarında kritik rol üstlenmiştir. Hinton'ın 2006 makalesinde sunulan Derin İnanç Ağları (Deep Belief Networks, DBN), birden fazla RBM katmanını açgözlü bir biçimde önceden eğiterek derin mimarilerin başarıyla eğitilebileceğini göstermiş ve modern derin öğrenme çağının kapısını aralamıştır. Aynı dönemde Netflix Ödülü yarışmasında işbirlikçi filtreleme amacıyla da başarıyla uygulanmıştır. Günümüzde VAE (Değişimsel Öz-Kodlayıcı), GAN ve difüzyon modelleri gibi daha güçlü ve ölçeklenebilir üretken yaklaşımların yaygınlaşmasıyla Boltzmann Makinesi'nin pratik kullanımı büyük ölçüde geride kalmıştır. Ancak enerji tabanlı modelleme konsepti modern yapay zeka mimarilerini kavramak için önemli bir teorik temel sunmaya devam etmektedir. Geoffrey Hinton, bu çalışmanın da dahil olduğu derin öğrenme katkıları nedeniyle 2024 Nobel Fizik Ödülü'ne layık görülmüştür. Model, yapay zeka tarihinde hem kavramsal hem de pratik açıdan derin izler bırakmış, günümüzün gelişmiş mimarilerine giden yolun önemli taşlarından birini oluşturmuştur.

arrow_forward camera

Computer Vision (Bilgisayarlı Görü)

Bilgisayarlı görü (Computer Vision), yapay zekanın dijital görüntü, video ve kameralardan gelen ham piksel verilerini anlayarak anlamlı kararlar üretmesini sağlayan dalıdır. İnsan görsel korteksinin nesne tanıma, derinlik algısı ve hareket takibi gibi yeteneklerini yazılım ve donanım kombinasyonuyla taklit etmeyi hedefler. Temel işlem hattı üç aşamada özetlenebilir: görüntü edinimi (kamera, uydu, tıbbi tarayıcı), özellik çıkarma (kenarlar, dokular, şekiller veya derin öğrenme ile öğrenilmiş gizli temsiller) ve karar verme (sınıflandırma, konumlama, segmentasyon). 2012'de AlexNet'in ImageNet yarışmasında hata oranını yüzde yirmi altıdan on altıya düşürmesi alandaki derin öğrenme devrimini başlattı. Modern bilgisayarlı görü iki ana mimari yoldan ilerler: ResNet ve EfficientNet gibi konvolüsyonel sinir ağları (CNN) görsel özellik çıkarmada standart haline gelirken, 2020'de Google Brain tarafından tanıtılan Vision Transformer (ViT) dikkat mekanizmasını görsel görevlere uyarlayarak büyük veri setlerinde CNN'lere rakip sonuçlar verdi. YOLO (You Only Look Once) serisi tek geçişli mimarisiyle gerçek zamanlı nesne tespitinde endüstri standardı konumundadır. 2023'te Meta'nın yayımladığı SAM (Segment Anything Model) sıfır atışlı segmentasyonla foundation model dönemini bilgisayarlı görüye taşıdı; CLIP (OpenAI, 2021) ise metin-görüntü çift eğitimiyle sıfır atışlı görüntü sınıflandırmasının önünü açtı. GPT-4V ve Gemini Vision gibi büyük dil modelleriyle entegre çok modlu sistemler 2024-2026 döneminde ana akıma girdi. 2026 itibarıyla SAM 2 video segmentasyonunu, Depth Anything v2 tek kamerayla piksel düzeyinde üç boyutlu derinlik çıkarmayı ve YOLO World açık-kelime nesne tespitini mümkün kılmaktadır. Pazar araştırmaları alanın 2030'a kadar yıllık yüzde yirmi beşi aşan bir büyüme oranıyla ilerleyeceğini öngörüyor. AB Yapay Zeka Yasası, kamuya açık alanlarda gerçek zamanlı biyometrik yüz tanımayı yüksek riskli yapay zeka olarak sınıflandırarak sektörde etik denetim çıtasını önemli ölçüde yükseltti.

arrow_forward panorama

Convolutional Neural Network (CNN) (Evrişimli Sinir Ağı)

CNN (Convolutional Neural Network - Evrisimsel Sinir Agi), goruntu ve uzamsal verilerden hiyerarsik ozellikler cikartan bir derin ogrenme mimarisidir. Evrisme islemi sayesinde modelin her neron'unun tum girdiyle degil yalnizca yerel bir bolgeyle baglantili olmasi, parametre sayisini drastik bicimde azaltir ve uzamsal kaliplari gormek icin idealize edilmis bir yapi olusturur. CNN'in temel yapi tasi evrisme katmanidir. Bu katmanda kucuk bir filtre (kernel), genellikle 3x3 veya 5x5 boyutunda, girdi haritasi uzerinde kayan pencereyle carpma islemi uygular. Her filtre, kenar, doku veya renk gecisi gibi belirli bir uzamsal kaliba duyarlidir. Derin bir CNN'de ilk katmanlar basit kenarlar ogrenirken sonraki katmanlar bu kenarlari birlesitirerek sekiller, nesneler ve nihayet tum nesne kategorileri ogrenir. Havuzlama (pooling) katmanlari evrisme ciktilarinin uzamsal boyutunu kucultmektedir. Max-pooling, belirli bir bolgedeki en buyuk aktivasyon degerini secer; bu sayede model konum degisimlerine karsi olcude direncli hale gelir. Kuculen ozellik haritalari sonraki evrisme katmanlarinin daha genis bir alani gormeyi mumkun kilar. Mimari tarihinde CNN'in yeri kritiktir. Yann LeCun 1989'da el yazisi rakam tanima icin LeNet'i tasarladi. 2012'de Alex Krizhevsky ve ekibi ImageNet yarismmasinda AlexNet ile o zamana kadar gorulmemis bir suc orani saglamasi, derin ogrenme alaninin patlamasini tetikledi. Ardından VGGNet, GoogLeNet, ResNet ve EfficientNet gibi mimariler gorunteden anlama icin yeni standartlar belirledi. Kalan baglantili (residual) katmanlar mimarilerin cok daha derin ancak egitimi kolay hale gelmesini mumkun kildi. CNN'ler goruntu siniflandirma, nesne tespiti (YOLO, SSD), semantik segmentasyon, yuz tanima ve tibbi goruntu analizi gibi alanlarda yayginca kullanilmaktadir. Dil modelleme icin transformer mimarisinin yukselisiyle CNN'in NLP'deki rolu azalmis olsa da gorsel veri icin hala temel mimari olma ozelligini korumaktadir. **Sik Sorulan Sorular** **CNN ile tam baglantili (dense) aglar arasindaki fark nedir?** Tam baglantili aglar her neuronu tum girdiyle baglar; bu parametre patlamasi ve uzamsal bilgi kaybi demektir. CNN yerel baglanti ve agirlik paylasimi ile parametre ekonomisi saglar ve uzamsal kaliplari verimli ogrenilir. **Kucuk veri kumesiyle CNN egitmek mumkun mudur?** Transfer ogrenme ile evet. ImageNet uzerinde onegitim gormis bir CNN'in son katmanlari, kucuk bir ozgun veri kumesiyle ince ayar yapilarak kullanilabilir; bu yaklasim ozelliklede gorsel siniflandirma gorevlerinde yaygindir. **CNN'ler metin icin de kullanilabilir mi?** 1D evrisme katmanlari metin siniflandirma ve sentiment analizinde kullanilmistir. Ancak Transformer mimarisi uzun mesafe bagimliklarini daha iyi modelledigi icin NLP'de CNN'lerin populerligini buyuk olcude assmistir. **GPU CNN egitimini neden bu kadar hizlandiriyor?** Evrisme islemi buyuk olcekli paralel matris carpimlarindan olusur; GPU'larin binden fazla islem cekirdegi bu tip isleri CPU'ya gore onlarca kat daha hizli yurutmek icin optimize edilmistir.

arrow_forward swap_horiz

Cross-Attention (Çapraz Dikkat Mekanizması)

Cross-Attention (Çapraz Dikkat Mekanizması), 2017 yılında Google Brain ekibinin "Attention is All You Need" makalesiyle tanıttığı Transformer mimarisinin temel bileşenlerinden biridir. Self-Attention'dan farklı olarak iki ayrı dizinin birbirine dikkat etmesini sağlar: sorgu (Query) vektörleri alıcı diziden, anahtar (Key) ve değer (Value) vektörleri ise bağlam dizisinden üretilir. Matematiksel formülü self-attention ile aynı çekirdeği paylaşır: Attention(Q, K, V) = softmax(QK^T / √d_k) · V. Ancak Q, K ve V üç ayrı kaynaktan türetilir. Boyutsal ölçekleme faktörü √d_k, nokta çarpım değerlerinin patlamasını önler; gradyanlar bu yolla kararlı kalır. Orijinal Transformer mimarisinde cross-attention, kodlayıcı-kod çözücü (encoder-decoder) yapısında çalışır: kod çözücü katmanları Q vektörlerini kendi çıktısından üretirken K ve V vektörlerini kodlayıcının son katman çıktısından alır. Makine çevirisinde bu yapı, hedef dildeki her kelimenin kaynak dildeki tüm kelimelerle dinamik bağlantı kurmasını sağlar; model neye dikkat etmesi gerektiğini bağlama göre öğrenir. 2020'lerin başından itibaren cross-attention, metin-görüntü modellerinde kritik bir rol üstlendi. Stable Diffusion ve DALL-E gibi difüzyon modellerinde metin gömme vektörleri K ve V olarak kullanılırken görüntü gizil uzayındaki temsiller Q vektörü sağlar. Bu çapraz bağlantı aracılığıyla "gece yarısı şehrinde neon ışıklı bir kedi" gibi bir metin açıklaması ilgili görsel bölgelerle eşleştirilir. 2025-2026 döneminde çok modlu büyük dil modelleri (GPT-4o, Gemini 2.0, Claude 3.5 Sonnet), cross-attention mekanizmalarını ses, görüntü ve metin gibi farklı modaliteleri tek bir model içinde birleştirmek için genişletti. Flash Attention 3 ve Grouped Query Attention (GQA) gibi verimlilik teknikleri, uzun bağlamlarda cross-attention hesaplama maliyetini önemli ölçüde düşürdü. LoRA gibi parametre-verimli ince ayar yöntemleri de çoğunlukla cross-attention katmanlarındaki Q ve V matrislerini hedefleyerek model uyarlamasını yapar.

arrow_forward zoom_out_map

Data Augmentation (Veri Artırma / Çoğaltma)

Veri artırma (data augmentation), makine öğrenmesi modellerini eğitirken mevcut veri setini yapay yöntemlerle genişletme tekniğidir. Özellikle etiketli veri toplamak pahalı veya zaman alıcı olduğunda eldeki örneklerden türetilen yeni varyantlar modelin genelleme kapasitesini önemli ölçüde artırır. Teknik; bilgisayarla görü, doğal dil işleme ve ses tanıma gibi pek çok alanda standart bir uygulama haline gelmiş ve modern derin öğrenme boru hatlarının vazgeçilmez bir temel bileşeni olmuştur. Görüntü verisinde yatay çevirme, döndürme, rastgele kırpma ve renk jitter gibi geometrik ve fotometrik dönüşümler yaygın olarak kullanılır. Daha gelişmiş yaklaşımlar arasında GridDistortion, ElasticTransform ve RandomErasing yer alır. Bu teknikler modelin nesnenin konumundan veya ışık koşullarından bağımsız özellikler öğrenmesini destekler. Metin verisinde geri çeviri en güçlü yöntemlerden biridir: bir cümle önce farklı bir dile çevrilir ardından kaynak dile döndürülür; anlam korunurken ifade tarzı değişir. Eş anlamlı kelime değiştirme ve cümle yeniden çerçeveleme de yaygın kullanılır. Ses verisi için zaman uzatma ve perde kaydırma konuşma tanıma ve müzik sınıflandırma modellerinin akustik dayanıklılığını artırır. Mixup iki eğitim örneğini ve etiketini doğrusal olarak harmanlayarak modelin daha yumuşak karar sınırları öğrenmesini destekler. CutMix bir görüntünün dikdörtgen bölgesini başka bir görüntünün bölgesiyle değiştirir; etiket de alan oranıyla orantılı güncellenir. AutoAugment ve RandAugment hangi dönüşümlerin hangi yoğunlukta uygulanacağını otomatik belirler ve göreve özgü artırma politikası öğrenir. Üretken modeller (GAN, diffusion) gerçekçi sentetik örnekler üreterek veri artırmanın kapasitesini daha da genişletir. Doğru yapılandırılmış veri artırma modelin aşırı öğrenmesini engelleyen kritik bir bileşendir. Test seti artırma işlemine tabi tutulmamalı; orijinal haliyle korunarak tarafsız değerlendirme zemini oluşturulmalı ve uygulamacılar doğrulama kaybını izleyerek artırma yoğunluğunu optimize etmelidir.

arrow_forward balance

Debiasing (Önyargı Giderme)

Debiasing (önyargı giderme), yapay zeka ve makine öğrenimi sistemlerinde var olan önyargıları sistematik biçimde tespit etme, ölçme ve azaltma sürecidir. Önyargılı eğitim verileri üzerinde eğitilen bir model, cinsiyete, ırka, yaşa veya sosyoekonomik statüye dayalı hatalı kalıplar öğrenebilir; bu durum işe alım, kredi değerlendirme veya sağlık teşhisi gibi kritik karar süreçlerinde ciddi adaletsizliklere yol açabilir. Debiasing yaklaşımları üç ana aşamada gruplandırılır: Ön işleme (Preprocessing) aşamasında, eğitim veri setindeki dengesizlikler düzeltilir. Az temsil edilen gruplara ait örnekler çoğaltılır (oversampling) veya aşırı temsil edilenlerin sayısı azaltılır (undersampling). Karşı olgusal veri artırma (counterfactual data augmentation) yöntemiyle önyargılı ifadelerin hem eril hem dişil formları veri setine eklenerek denge kurulur. Eğitim sürecinde (In-processing) çekişmeli öğrenme (adversarial debiasing) çerçevesinde iki ağ birlikte eğitilir: asıl model başarıyı en üst düzeye çıkarırken, rakip model korunan özniteliği (örneğin cinsiyet veya ırk) tahmin etmeye çalışır ve asıl model bu tahmini engellemeye yönlendirilir. Düzenlileştirme (regularization) cezaları da adalet kısıtlarını kayıp fonksiyonuna doğrudan dahil eder. Son işleme (Post-processing) aşamasında model çıktıları yeniden kalibre edilir; demografik eşlik (demographic parity) veya eşit fırsat (equalized odds) gibi adalet metriklerine göre farklı gruplar için karar eşikleri ayrı ayrı ayarlanır. MIT'den yapılan güncel araştırmalar, iyi tasarlanmış debiasing tekniklerinin modelin genel doğruluğunu korurken daha adil çıktılar üretebildiğini göstermektedir. Bununla birlikte adalet ve doğruluk arasındaki gerilim (fairness-accuracy trade-off) araştırmacıların aktif olarak çalıştığı bir alandır. Belirli bir adalet tanımını optimize etmek başka bir adalet tanımını ihlal edebilir; örneğin demografik eşlik ile bireysel adalet aynı anda tam karşılanamayabilir. Büyük dil modellerinde (LLM) debiasing özellikle güç kazanmıştır. RLHF (insan geri bildiriminden pekiştirmeli öğrenme) süreci, modelin zararlı veya önyargılı yanıtlarını azaltmak için tasarlanmış bir debiasing katmanı işlevi görür. Debiasing, AI denetimi, açıklanabilir yapay zeka ve sorumlu yapay zeka ilkeleriyle birlikte etik AI geliştirmenin temel bileşenlerinden biridir.

arrow_forward sports_score

Deep Reinforcement Learning (DRL) (Derin Pekiştirmeli Öğrenme)

Derin pekiştirmeli öğrenme (deep reinforcement learning, DRL), klasik pekiştirmeli öğrenmenin karar verme çerçevesini derin sinir ağlarının güçlü temsil öğrenme kapasitesiyle birleştiren bir yapay zeka paradigmasıdır. Ajan, çevresiyle etkileşimler aracılığıyla ödüller toplayarak en yüksek uzun vadeli ödülü elde edecek politikayı öğrenir; derin sinir ağları ise ham piksel veya yüksek boyutlu girdilerden doğrudan değer fonksiyonları ya da politikalar üretir. DRL tarihinde dönüm noktası, DeepMind'in 2013'te yayımladığı DQN (Deep Q-Network) çalışmasıdır. DQN, Atari oyunlarını ham piksel girdisiyle oynayarak birçok oyunda insan seviyesini aştı. Deneyim tekrarı (experience replay) ve hedef ağ (target network) mekanizmalarını birleştiren bu mimari, o dönemde ölçeklenebilir derin RL eğitiminin önündeki temel engelleri aştı. Ardından A3C, PPO, DDPG, SAC ve TD3 gibi algoritmalar hem sürekli eylem uzaylarında hem de stokastik ortamlarda DRL'i daha kararlı ve ölçeklenebilir hâle getirdi. Model tabanlı ve model bağımsız olmak üzere iki ana yaklaşım mevcuttur. Model bağımsız yöntemler çevresiyle doğrudan etkileşim kurarak politikayı günceller. Model tabanlı yöntemler ise çevrenin içsel bir modelini öğrenerek planlama yapar; bu yaklaşım veri verimliliğini artırır ancak model hataları politikayı bozabilir. DRL'in başarısı; robotik manipülasyon, otonom araç sürüşü, oyun oynama (AlphaGo, AlphaStar), ilaç keşfi ve veri merkezi soğutma optimizasyonu gibi geniş bir alanda kendini kanıtlamıştır. OpenAI Five, beş DRL ajanıyla 180 yıllık simüle deneyim üzerinden eğitilerek Dota 2 dünya şampiyonlarını yenerek çok ajanlı koordinasyon problemlerinde ne denli güçlü olduğunu gösterdi. Google, veri merkezi soğutma sistemlerini DRL ile optimize ederek enerji tüketimini yüzde kırka yakın azalttı. DRL, büyük örnekleme verimsizliği, ödül mühendisliği güçlüğü ve gerçek dünya ile simülasyon arasındaki aktarım açığı (sim-to-real gap) gibi zorluklarla boğuşmaktadır. Keşif ve sömürü dengesi (exploration-exploitation tradeoff) ile seyrek ödül ortamlarında öğrenme hâlâ aktif araştırma alanlarıdır. Büyük dil modellerinin RLHF ile eğitiminde PPO algoritmasının yaygınlaşması, DRL yöntemlerini yapay zeka hizalama çalışmalarının merkezine taşımaktadır.

arrow_forward masks

Deepfake (Derin Sahtelik)

Deepfake, yapay zeka kullanılarak gerçekçi biçimde sahte görüntü, ses veya video içeriği üretme tekniğidir. Terim, "deep learning" (derin öğrenme) ve "fake" (sahte) sözcüklerinin birleşiminden oluşur ve ilk olarak 2017'de Reddit platformunda ünlülerin yüzlerini başka videolara yerleştiren bir kullanıcı tarafından popülerleştirildi. Teknik açıdan deepfake üretiminin iki ana yaklaşımı vardır: **GAN tabanlı yöntemler**, üretici ve ayrıştırıcı ağların rekabeti yoluyla orijinalden ayırt edilmesi güç yüz değiştirme (face swap) ve yüz canlandırma (face reenactment) üretir; FaceSwap, DeepFaceLab bu kategoridedir. **Difüzyon modeli tabanlı yöntemler**, daha yüksek kalite ve kontrol sunar; Stable Diffusion ve DALL-E 3 tabanlı araçlar giderek bu alanda da kullanılmaktadır. Ses klonlama (voice cloning) tarafında ElevenLabs ve RVC (Retrieval-based Voice Conversion) kısa örneklerden ikna edici ses taklidi üretebilmektedir. Kötüye kullanım riskleri ciddi boyutlara ulaşmıştır: siyasetçilerin ve ünlülerin manipüle edilerek seçimler öncesi dezenformasyon yaratılması; rıza dışı müstehcen içerik (NCII) üretimi; kurumsal dolandırıcılık (CEO'nun sesini taklit eden sahte talimatlara itaatle yapılan banka transferleri). 2024'te Tayvan ve Ukrayna seçimlerinde deepfake kampanyaları belgelendi. Tespit teknolojileri de hızla gelişmektedir: BlinkDetection, frekans analizi ve sinir ağı tabanlı sınıflandırıcılar (FaceForensics++ veri setinde eğitilmiş) yaygın araçlar arasındadır. C2PA (Coalition for Content Provenance and Authenticity) standardı, içerik üreticilerini kriptografik imzayla kayıt altına alarak sahtecilikle mücadele eder. Hukuki düzenlemeler açısından ABD'de bazı eyaletler rıza dışı deepfake'i suç olarak tanımladı; AB'nin AI Act'i deepfake içeriklerin "yapay zeka üretimi" olduğunun açıkça belirtilmesini zorunlu kılmaktadır. Türkiye'de TCK kapsamında "kişilik haklarına saldırı" hükümleri uygulanmakla birlikte deepfake'e ��zgü bir yasal düzenleme henüz mevcut değildir. Deepfake tespiti bir endüstri koluna dönüştü: Intel'in FakeCatcher sistemi, Microsoft'un Video Authenticator aracı ve Adobe'nin Content Authenticity Initiative bu alana yatırım yapan kurumlar arasındadır. Tespit yarışının üretim teknolojisini yakalamak için sürekli güncelleme gerektirdiği genel kabul görmektedir.

arrow_forward sync

Epoch (Epoch (Eğitim Döngüsü))

Epoch (Epok ya da Eğitim Döngüsü), makine öğrenimi ve derin öğrenme modellerinin eğitiminde kullanılan temel bir zaman birimidir. Bir epoch; modelin tüm eğitim veri setini baştan sona tam olarak bir kez işlemesi, yani her örnek üzerinde hem ileri yayılım (forward pass) hem de geri yayılım (backward pass) gerçekleştirmesi anlamına gelir. Makine öğrenimi modellerini eğitirken, yalnızca bir epoch genellikle yeterli olmaz. Model, karmaşık kalıpları ve ilişkileri kavrayabilmek için aynı veriler üzerinde defalarca geçiş yapmak zorundadır. Bu nedenle modeller onlarca, yüzlerce hatta binlerce epoch boyunca eğitilebilir. Büyük dil modellerinin (LLM) eğitimi milyarlarca token üzerinde birden fazla epoch uygulanarak gerçekleştirilir; görüntü sınıflandırma gibi daha küçük görevlerde ise 10-100 epoch sıkça kullanılır. Epoch ve Batch İlişkisi Her epoch, büyük veri setini daha küçük parçalara (batch) bölerek işler. Bir epoch içindeki güncelleme sayısı, veri seti boyutunun batch boyutuna bölünmesiyle hesaplanır. Örneğin 10.000 örnekli bir veri seti 100'lük batch boyutuyla işleniyorsa, her epoch 100 ağırlık güncellemesi (iterasyon) içerir. Her iterasyonda gradyan hesaplanır ve model ağırlıkları güncellenir; böylece model adım adım öğrenir. Overfitting ve Erken Durdurma Epoch sayısının doğru seçilmesi kritik öneme sahiptir. Çok az epoch modelin yeterince öğrenememesine (underfitting) yol açar; model verinin altında yatan örüntüleri kavramaz ve hem eğitim hem de test verisinde kötü performans gösterir. Öte yandan, çok fazla epoch modelin eğitim verisini mekanik olarak ezberlemeye (overfitting) başlamasına neden olabilir. Bu durumda model eğitim setinde mükemmel sonuçlar verirken yeni verilerde başarısız olur. Bu dengesizliği çözmek için "Early Stopping" (Erken Durdurma) tekniği uygulanır: model her epoch sonunda doğrulama (validation) seti üzerinde değerlendirilir ve doğrulama kaybı iyileşmemeye başladığında eğitim otomatik olarak durdurularak en iyi ağırlıklar korunur. Eğitim ve doğrulama kaybının birbirinden ayrışmaya başlaması (divergence), overfitting'in erken belirtisidir. Epoch Sayısını Belirlemek Kaç epoch kullanılacağı, modelin karmaşıklığına, veri setinin büyüklüğüne ve görevin zorluğuna bağlıdır. Küçük veri setlerinde genellikle daha fazla epoch gerekir çünkü model her geçişte sınırlı miktarda örneğe maruz kalır. Büyük veri setlerinde ise tek bir epoch bile çok sayıda güncelleme içerdiğinden az epoch ile tatmin edici sonuçlar alınabilir. Epoch sayısı, öğrenme hızı (learning rate) ve model mimarisiyle birlikte hiperparametre optimizasyonunun temel bileşenlerinden biridir.

arrow_forward account_tree

GNN (Çizge Sinir Ağı) (GNN (Çizge Sinir Ağı))

GNN (Graph Neural Network — Çizge Sinir Ağı), düğümler ve kenarlardan oluşan graf yapısındaki veriler üzerinde mesaj geçişi mekanizmasıyla öğrenen derin öğrenme mimarisidir. CNN ve RNN gibi klasik modeller, piksel matrisleri veya sözcük dizileri biçiminde düzenlenmiş ızgara veriyle çalışırken, GNN'ler sosyal ağlar, moleküler yapılar, bilgi grafları ve trafik ağları gibi düzensiz topolojilerdeki ilişkisel veriyi doğrudan işleyebilir. Mesaj geçişi üç adımda gerçekleşir: Her düğüm komşularından özellik vektörleri alır (mesaj üretimi), bu vektörleri toplama veya ortalama gibi permütasyona duyarsız bir işlevle birleştirir ve ardından bir sinir ağı katmanıyla kendi temsilini günceller. Her GNN katmanında tekrarlanan bu döngü, k katmanla k-komşuluk yarıçapındaki bilgiyi yakalar; derin ağlar geniş mahallelerin bilgisini sentezler. Başlıca GNN mimarileri farklı toplama stratejileri kullanır. GCN (Kipf & Welling, 2017), spektral konvolüsyonu uzaysal alana yaklaştırarak sabit graflar üzerinde verimli çalışır. GAT, her komşuya öğrenilebilir dikkat ağırlıkları atayarak heterojen graflarda daha iyi genelleme yapar. GraphSAGE, büyük graflarda örneklem tabanlı komşu toplama yöntemiyle ölçeklenebilirliği artırır ve eğitim dışı düğümlere genelleyebilir. Graph Transformer ise dikkat mekanizmasını konum kodlamasıyla birleştirerek uzun menzilli ilişkileri yakalar; AlphaFold 2'nin protein katlanma tahmini bu yaklaşımdan yararlanır. GNN'ler kritik alanlarda yaygın biçimde kullanılır: ilaç keşfinde moleküler bağ tahminini gerçekleştirir, trafik modellemesinde Google Maps'in varış süresi sistemine katkıda bulunur, finansal sahtekârlık tespitinde işlem graflarını analiz eder ve öneri sistemlerinde kullanıcı-içerik ilişkilerini modeller. Pinterest'in PinSage modeli ve Meta'nın içerik öneri altyapısı GNN tabanlı sistemlerin öne çıkan örnekleridir. Geliştirme için PyTorch Geometric ve Deep Graph Library (DGL) en yaygın çerçevelerdir; her ikisi de hazır GNN katmanları ve büyük graflarda mini-batch öğrenmesi sunar. Open Graph Benchmark (OGB) ise standart değerlendirme veri setleri ve lider tablolarıyla araştırma kıyaslamalarına zemin hazırlar.

arrow_forward developer_board

GPU (Graphics Processing Unit) (Grafik İşlemci (Ekran Kartı))

GPU (Graphics Processing Unit — Grafik İşleme Birimi), başlangıçta bilgisayar grafiklerini hesaplamak için tasarlanmış; fakat binlerce küçük çekirdekli paralel mimarisi ile yapay zeka ve yüksek performanslı hesaplama (HPC) alanında vazgeçilmez hale gelmiş bir işlemci türüdür. Günümüzde derin öğrenme eğitimi ve çıkarsama işlemlerinin büyük çoğunluğu GPU üzerinde gerçekleşmektedir. GPU'ların paralel mimarisi, AI hesaplamalarında kritik öneme sahip matris çarpma ve tensor işlemlerine çok iyi uymaktadır. NVIDIA'nın CUDA (Compute Unified Device Architecture) platformu, geliştiricilere GPU üzerinde genel amaçlı hesaplama yapmayı mümkün kılan ilk geniş kapsamlı yazılım katmanıydı. 2007'de tanıtılan CUDA, bugün de derin öğrenme ekosisteminin temelini oluşturmaktadır. NVIDIA'nın AI odaklı GPU'ları GPU mimarisinin evrimini yönlendirmiştir: Tesla (2008), Kepler, Maxwell, Pascal, Volta, Ampere ve son olarak Hopper mimarisi (H100). A100 ve H100, LLM eğitiminde standart haline gelmiştir. AMD ise ROCm platformu ve MI300X çipleriyle bu pazara rakip olarak girmektedir. Apple'ın M serisi çipler ise birleşik bellek mimarisiyle AI çıkarsama için enerji verimli alternatif sunmaktadır. Derin öğrenme çerçeveleri (TensorFlow, PyTorch) GPU desteğini neredeyse tamamen CUDA/cuDNN (NVIDIA) üzerinden sağlar. Tensor Core'lar, H100 gibi modern çipler üzerinde yarı hassas (FP16/BF16) matris işlemlerini 10-100 kat hızlandırır. GPU belleği (VRAM) model büyüklüğünü doğrudan sınırlar; 80GB VRAM'e sahip H100, 70 milyar parametreli bir modeli tam hassasiyetle tutabilir. Bulut GPU hizmetleri (AWS EC2 P4d, Google Cloud A100, Azure NDv4) on-premises donanım yatırımı yapmadan büyük ölçekli model eğitimi olanağı tanır. Multi-GPU konfigürasyonlarında NVLink ve InfiniBand bant genişliği, eğitim süresini doğrusal ölçekte kısaltmaktadır. GPU kapasitesi, modern yapay zeka sistemlerinin ölçeğini doğrudan belirleyen temel mühendislik kısıtlarından biri olmaya devam etmektedir. Enerji tüketimi ve soğutma maliyetleri de GPU seçimini etkileyen önemli faktörler arasındadır; H100 çipinin maksimum güç tüketimi 700W düzeyindedir.

arrow_forward show_chart

Gradient Descent (Gradyan İnişi)

Gradient descent (gradyan inişi), bir modelin kayıp fonksiyonunu minimize etmek için parametreleri gradyanın negatif yönünde iteratif olarak güncelleyen optimizasyon algoritmasıdır. Güncelleme kuralı tek satırdır: **θ ← θ − α · ∇L(θ)**. Burada θ model parametrelerini, ∇L(θ) kaybın parametrelere göre türevini (gradyanı), α ise adım büyüklüğünü belirleyen öğrenme hızını (learning rate) temsil eder. Doğrusal regresyondan 1 trilyon parametreli dil modellerine kadar neredeyse tüm modern makine öğrenmesi eğitimi bu kuralın bir varyantıyla yapılır. Sezgisel karşılığı, sisli bir dağda gözü bağlı vadiye inen bir yürüyüşçüdür: yürüyüşçü yalnızca ayağının altındaki eğimi hisseder ve her adımda en dik iniş yönüne ilerler. Eğim gradyana, adım boyu öğrenme hızına, vadinin dibi ise minimum hataya karşılık gelir. Adım çok büyükse vadi atlanır ve kayıp ıraksar; çok küçükse yakınsama saatler yerine haftalar alır. Pratikte üç ana biçimi vardır: tüm veri kümesini tek seferde işleyen **batch gradient descent**, her adımda tek örnek kullanan **stochastic gradient descent (SGD)** ve derin öğrenmenin fiili standardı olan, 16–4096 örneklik gruplarla çalışan **mini-batch gradient descent**. Derin sinir ağlarında gradyanlar geriye yayılım (backpropagation) ile zincir kuralı üzerinden hesaplanır; PyTorch ve JAX gibi kütüphaneler bunu otomatik türev (autograd) ile yapar. Güncelliği tartışmasızdır: GPT-5, Claude, Gemini ve Llama ailesi dahil bütün büyük dil modelleri, gradient descent'in uyarlanabilir türevleri olan AdamW ve 2025'ten itibaren yaygınlaşan Muon gibi optimizatörlerle eğitildi. Konveks problemlerde yakınsama matematiksel olarak kanıtlanmıştır; derin ağların non-konveks kayıp yüzeylerinde ise eyer noktaları (saddle point) ve düz plato bölgeleri asıl pratik zorluğu oluşturur. SGD'nin stokastik gürültüsü, paradoksal biçimde bu noktalardan kaçışı kolaylaştırır ve genelleme performansına katkı yapar. Kısacası gradient descent, yapay zekanın "öğrenme" dediğimiz sürecinin matematiksel motorudur.

arrow_forward memory

GRU (Gated Recurrent Unit) (GRU (Kapılı Tekrarlayan Birim))

GRU (Gated Recurrent Unit — Kapılı Tekrarlayan Birim), 2014 yılında Kyunghyun Cho ve ekibi tarafından önerilen, klasik Tekrarlayan Sinir Ağı (RNN) mimarisinin uzun vadeli bağımlılıkları öğrenmek için geliştirilmiş bir türevidir. Standart RNN'lerin temel sorunu olan kaybolan gradyan problemi (vanishing gradient), uzun dizilerde modelin erken adımlardaki bilgileri "unutmasına" yol açar. GRU bu sorunu, hangi bilgilerin saklanacağını ve hangilerinin atılacağını kontrol eden kapı (gate) mekanizmaları ile çözer. GRU, LSTM (Long Short-Term Memory) ile karşılaştırıldığında daha sade bir mimariye sahiptir. LSTM'de üç ayrı kapı (input, forget, output) ve ayrı bir hücre durumu (cell state) bulunurken, GRU yalnızca iki kapı kullanır: Güncelleme Kapısı (Update Gate) ve Sıfırlama Kapısı (Reset Gate). Bu sadeleştirme eğitim süresini ve bellek kullanımını önemli ölçüde azaltırken pek çok görevde LSTM ile kıyaslanabilir başarım elde edilmesini mümkün kılar. Güncelleme Kapısı (Update Gate), bir önceki gizli durumun (hidden state) ne kadarının yeni duruma aktarılacağını belirler. Bu kapı, geçmiş bilgilerin ne ölçüde korunacağını kontrol eder ve uzun vadeli bellek işlevi görür. Sıfırlama Kapısı (Reset Gate) ise geçmiş bağlamın ne kadarının yeni içeriği hesaplamak için kullanılacağını düzenler; geçmiş bilginin önemsiz olduğu durumlarda bu kapı kapatılarak gizli durum temizlenebilir. GRU, doğal dil işleme, konuşma tanıma, zaman serisi tahmini ve makine çevirisi gibi ardışık veri içeren görevlerde yaygın olarak kullanılır. Özellikle veri miktarının sınırlı olduğu veya hesaplama kapasitesinin kısıtlı olduğu durumlarda LSTM'ye kıyasla tercih edilir. Çift yönlü GRU (Bidirectional GRU) dizi bağlamını hem ileri hem geri yönde yakalayarak duygu analizi ve adlandırılmış varlık tanıma gibi görevlerde üstünlük sağlar. PyTorch'ta torch.nn.GRU, TensorFlow/Keras'ta ise tf.keras.layers.GRU sınıfıyla tek satır kodla kullanıma hazırdır. Hibrit Transformer-GRU mimarileri de araştırma literatüründe giderek daha fazla yer bulmaktadır.

arrow_forward layers_clear

Hidden Layer (Gizli Katman)

Gizli katman (hidden layer), yapay sinir aginin girdi ile cikti katmanlari arasında yer alan ve ham veriyi anlamlı temsillere donusturmekle sorumlu ara katmanlardır. "Gizli" kelimesi, bu katmanlarin egitim verisinde dogrudan gözlemlenemeyen ic temsillerini ifade eder; ne giris ne de cikis olmadigi icin bu adi almistir. Bir gizli katman birden fazla noron icermektedir. Her noron, onceki katmandaki tum noronların ciktilarinin agirlikli toplamını alir, bir bias ekler ve sonucu bir aktivasyon fonksiyonundan gecirir. ReLU (Rectified Linear Unit), Sigmoid ve Tanh en yaygin aktivasyon fonksiyonlarindandir. ReLU, gunumuzde sinir agları icin varsayilan tercih haline gelmistir; hesaplama basit ve gradyan yok olma problemi azdir. Gizli katmanlarin derinligi ve genisligi (noron sayisi), modelin kapasite ve ogrenme kapasitesini dogrudan belirler. Tek gizli katmanli ag teorik olarak her sureçli fonksiyonu yaklastiirabilir (Evrensel Yaklastirim Teoremi), ancak gercekte bu, astronomik boyutlarda noron sayisi gerektirebilir. Derin aglar (cok gizli katman), aynı kapasiteyi cok daha verimli sekilde saglayabilir. Her gizli katman, verinin farkli soyutlama duzeyini temsil eder. Goruntu taniyan bir CNN'de ilk gizli katmanlar kenar ve kose gibi dusuk seviye ozellikler; orta katmanlar doku ve sekil; derin katmanlar yuz veya nesne gibi yuksek seviye kavramlar ogrenebilir. Bu hiyerarsik ozellik ogrenimi, derin ogrenmenin en guclu ozelliklerinden biridir. Gizli katmanların sayısı ve boyutu model mimarisinin en kritik hiperparametreleri arasındadır. Az katman sığ temsil kapasitesi anlamına gelirken, fazla katman aşırı öğrenme (overfitting) riskini artırır. Modern derin öğrenme frameworkleri olan PyTorch ve TensorFlow, bu katmanları nn.Linear veya Dense sınıflarıyla kolayca tanımlamayı ve geri yayılım ile otomatik gradyan hesaplamasını destekler. Büyük dil modellerinde (GPT, BERT) gizli katmanlar milyarlarca parametre barındırarak dilin karmaşık yapısını kodlar.

arrow_forward code_blocks

Human Pose Estimation (İnsan Poz Tahmini)

Human Pose Estimation (İnsan Poz Tahmini), görüntüler veya video karelerindeki insan vücudunu oluşturan eklem noktalarını (omuzlar, dirsekler, bilekler, kalça, dizler, ayak bilekleri ve baş) tespit ederek bütüncül bir iskelet temsili ortaya koyan bilgisayarlı görü görevidir. Her iskelet, anatomik bağlantılarla birleştirilmiş anahtar nokta koordinatlarından (x, y ve güven skoru) oluşur. Temel mimariler iki kategoride incelenir. Yukarıdan aşağıya (top-down) yaklaşımda önce görüntüdeki her birey bir nesne dedektörüyle belirlenir, ardından her kişi için bağımsız poz tahmini çalıştırılır; bu yöntem yüksek doğruluk sağlar ancak hesaplama maliyeti kişi sayısıyla orantılı biçimde artar. Aşağıdan yukarıya (bottom-up) yaklaşımda ise tüm anahtar noktalar tek geçişte tespit edilip ardından bireylere eşleştirilir; OpenPose (CMU, 2017) bu kategorinin öncüsüdür ve Parça Yakınlık Alanları (Part Affinity Fields) adlı yenilikçi teknikle eklem noktalarını doğru kişilere bağlar. Teknik açıdan modeller, her keypoint için olasılık ısı haritaları (heatmap) üretir; haritadaki yüksek değerler eklemin o konumda bulunma olasılığını gösterir. DeepPose (Google, 2014) bu göreve derin öğrenmeyi taşıyan ilk çalışmaydı. 2022'de yayımlanan ViTPose, CNN omurgaları yerine Vision Transformer (ViT) mimarisini kullanarak MS COCO karşılaştırma setinde AP 80,9 ile yeni bir başarı çıtası oluşturdu ve alanın CNN baskınlığından Transformer çağına geçişini simgeledi. Uygulama alanları oldukça geniştir: spor analitiğinde futbol, basketbol ve yüzme dallarında oyuncu hareket analizi; fitness ve sağlıkta yoga/gym antrenmanlarında doğru form denetimi ve fizyoterapi takibi; artırılmış/sanal gerçeklikte gerçek zamanlı avatar kontrolü ve mocap alternatifi; işaret dili tanıma ve jest tabanlı insan-bilgisayar etkileşimi; güvenlik sistemlerinde davranış izleme ve anomali tespiti. Temel zorluklar arasında vücut parçalarının örtülmesi (occlusion), kalabalık sahnelerde çok kişili tahmin ve mobil/uç cihazlarda gerçek zamanlı işlem gereksinimleri sayılabilir.

arrow_forward image_search

Image Recognition (Görüntü Tanıma)

Image recognition (görüntü tanıma), bilgisayar sistemlerinin dijital görüntüler veya video karelerindeki nesneleri, yüzleri, sahneleri ve kalıpları otomatik olarak tanımlayıp sınıflandırma yeteneğidir. İnsan görsel korteksinin işlevini taklit etmeyi hedefleyen bu teknoloji, yapay zeka ve bilgisayarlı görünün (computer vision) en temel uygulamalarından biridir. Görüntü tanımanın kökleri 1960'lara uzanmakla birlikte, teknoloji 2012 yılında gerçek anlamda devrim yaşadı. Geoffrey Hinton liderliğindeki Toronto Üniversitesi ekibi, AlexNet adlı derin öğrenme modeliyle ImageNet görüntü sınıflandırma yarışmasını (ILSVRC) kazanarak hata oranını yüzde 26'dan yüzde 15'e düşürdü. Bu başarı, geleneksel el yapımı özelliklerin (SIFT, HOG) yerini derin sinir ağlarına bırakma sürecini başlattı. Modern görüntü tanıma sistemleri, Evrişimli Sinir Ağları (CNN) üzerine kuruludur. CNN mimarisi, görüntüdeki kenar ve köşeler gibi düşük seviyeli özelliklerden başlayarak giderek daha soyut gösterimlere —kulaklar, gözler, yüzler gibi— doğru ilerler. ResNet (derin kalıntı ağları), EfficientNet ve DenseNet farklı hız-doğruluk dengelerinde kullanılır. 2020'den itibaren Vision Transformer (ViT) mimarileri de rekabetçi sonuçlar vererek CNN'lerle yarışmaktadır. CLIP (Contrastive Language-Image Pre-training) ise metin-görüntü öğrenimini birleştirerek sıfır-atış tanıma kabiliyeti kazandırmaktadır. Görüntü tanıma genel bir çatı kavramdır; altında birkaç farklı görev bulunur: Görüntü sınıflandırma tüm görüntüye tek bir etiket atarken, nesne tespiti (object detection) birden fazla nesnenin sınıfını ve konumunu (bounding box) aynı anda belirler. Anlamsal bölütleme (semantic segmentation) her pikseli bir sınıfla etiketler, örnek bölütleme (instance segmentation) ise her nesne kopyasını ayrı ayrı maskeler. Uygulama alanları son derece geniştir: tıbbi görüntülemede kanser tespiti, otonom araçlarda trafik işareti ve yaya tanıma, e-ticarette görsel ürün arama, üretim hatlarında kalite kontrolü ve güvenlik sistemlerinde yüz doğrulama bunların başında gelir. Değerlendirme metrikleri arasında ImageNet'teki Top-1 ve Top-5 doğruluk oranları en yaygın kullanılanlarıdır; nesne tespiti görevlerinde ise ortalama hassasiyet (mAP) ve Birleşim Üzerinden Kesişim (IoU) tercih edilir.

arrow_forward format_shapes

Instance Segmentation (Örnek Bölütleme)

Instance Segmentation (Örnek Bölütleme), bilgisayarlı görünün en gelişmiş görevlerinden biridir. Bir görüntüdeki her nesne örneğini piksel düzeyinde tespit edip birbirinden bağımsız olarak maskeleyen bu yöntem, nesne tespitinin (object detection) konumsal doğruluğunu ile semantik bölütlemenin (semantic segmentation) piksel hassasiyetini tek çatı altında birleştirir. Semantik Bölütlemeden Farkı: Semantik bölütleme "bu piksel araba sınıfına ait" der; ancak görüntüdeki iki arabayı tek bir kütle olarak ele alır. Örnek bölütleme ise her nesneye ayrı bir piksel maskesi atar: "bu Araba #1, şu Araba #2." Bu ayrım gerçek dünya uygulamalarında kritik önem taşır; otonom araçların birden fazla yayayı bağımsız takip etmesi, cerrahi robotların doku katmanlarını ayırt etmesi veya depo otomasyonunun üst üste yığılmış kutuları tek tek kavraması bu farkı gerektirir. Temel Mimariler: Mask R-CNN (He et al., 2017) bu alanın dönüm noktasıdır. Faster R-CNN'in bölgesel öneri mekanizmasına piksel maskesi çıkaran bir maske başlığı (mask head) ekleyerek her nesne için ayrı ikili maske üretir. YOLOv8-seg ve YOLOv9-seg gibi tek aşamalı (one-stage) modeller gerçek zamanlı uygulamalar için Mask R-CNN'e kıyasla çok daha hızlı bir alternatif sunar. Meta AI'ın 2023'te tanıttığı Segment Anything Model (SAM), nokta, kutu veya metin ipuçlarıyla sıfır atış (zero-shot) bölütleme yapabilen evrensel bir temel modeldir; fine-tuning gerektirmeksizin hemen her nesneyi maskeler. Mask2Former (2022) ise sorgu tabanlı (query-based) Transformer mimarisini benimseyerek panoptik, semantik ve örnek bölütlemeyi tek bir çerçevede birleştirir. Panoptik Bölütleme: Örnek bölütlemenin uzantısı olan panoptik bölütleme (panoptic segmentation), sayılabilir nesneleri (things: araba, kişi) ve sayılamaz bölgeleri (stuff: gökyüzü, zemin) eş zamanlı olarak maskeler. Değerlendirme Metrikleri: COCO veri kümesinde AP (Average Precision) farklı IoU eşiklerinde ölçülür: AP50, AP75 ve AP50:95 en yaygın kriterlerdir. Panoptik görevlerde Panoptic Quality (PQ) metriği hem tanıma hem bölütleme başarısını birlikte değerlendirir. Yüksek doğruluk için güçlü GPU gereklidir; ancak YOLOv8-seg ve SAM'ın mobil versiyonları edge cihazlarda çalışabilmektedir.

arrow_forward grid_4x4

Jacobian Matrix (Jacobian Matrisi)

Jacobian Matrisi, birden fazla değişkene bağlı olan vektör değerli bir fonksiyonun birinci dereceden kısmi türevlerini düzenli biçimde gösteren matematiksel yapıdır. f: Rⁿ → Rᵐ türünde bir fonksiyon için Jacobian, m×n boyutunda bir matristir; her (i,j) girişi ∂fᵢ/∂xⱼ kısmi türevine eşittir. Bu matris, bir noktanın yakınında fonksiyonun nasıl değiştiğini lineer olarak özetler. Tarihsel köken açısından Jacobian, 19. yüzyılda Alman matematikçi Carl Gustav Jacob Jacobi tarafından çok değişkenli integrallerde koordinat dönüşümlerini incelemek amacıyla geliştirilmiştir. Çok boyutlu koordinat değişimlerinde "Jacobian determinantı" alan ölçekleme faktörü olarak ortaya çıkar ve integralin doğru hesaplanmasını sağlar. Derin öğrenmedeki rolü bakımından Jacobian, geri yayılım (backpropagation) algoritmasının matematiksel çekirdeğinde yer alır. Bir sinir ağı katmanı y = f(x) dönüşümü gerçekleştirdiğinde, kayıp fonksiyonunun x'e göre gradyanı zincir kuralıyla şöyle hesaplanır: ∂L/∂x = Jᵀ · (∂L/∂y). Pratikte tam Jacobian matrisi belleğe sığmayabilir; büyük mimarilerde giriş ve çıkış boyutları milyonları aşar. Bu nedenle modern otomatik türev kütüphaneleri (PyTorch autograd, JAX) gerçekte Jacobian matrisini oluşturmaz — yalnızca Jacobian-vektör çarpımlarını (JVP, ileri mod) veya vektör-Jacobian çarpımlarını (VJP, geri mod) hesaplar. İleri mod otomatik türevleme JVP kullanır ve küçük giriş — büyük çıkış durumlarında verimlidir. Geri mod (reverse-mode) ise VJP kullanır ve PyTorch'un backward() çağrısının temelidir; büyük giriş — tek kayıp skaleri durumlarında (tipik sinir ağı eğitimi) tercih edilir. Diğer uygulamalar arasında şunlar sayılabilir: normalizing flow modellerinde olasılık yoğunluğu hesabı için Jacobian determinantı kullanılır; meta-öğrenme algoritması MAML'ın iç döngü gradyanları Jacobian zincirlemesi gerektirir; robotik kol kinematiklerinde eklem açılarından uç-efektör konumuna dönüşüm Jacobian aracılığıyla ifade edilir. Kaybolan gradyan sorununu (vanishing gradient) anlamak için de Jacobian spektrumu incelenir: Jacobian'ın özdeğerleri 1'den küçükse gradyanlar katmanlar boyunca sıfıra yaklaşır.

arrow_forward code_blocks

Keyword Detection Nedir? Sesli Asistanlarda Anahtar Kelime Tespiti (Anahtar Kelime Tespiti)

Keyword detection (anahtar kelime tespiti), bir ses sinyalinde veya metin akışında önceden tanımlanmış sözcükleri ya da ifadeleri gerçek zamanlı olarak tanıyan yapay zeka tabanlı bir tekniktir. Sesli asistanlar, akıllı hoparlörler ve çağrı merkezi sistemlerinde temel bir bileşen olan bu teknoloji, sürekli dinleme (continuous listening) ile tetikleme kelimelerini milisaniyeler içinde ayırt edebilir. Teknik altyapı açısından keyword detection, genellikle iki aşamalı bir pipeline üzerinde çalışır. İlk aşamada küçük ve hesaplama açısından hafif bir model (örneğin MobileNet tabanlı ses sınıflandırıcısı) cihaz üzerinde sürekli çalışarak olası tetikleme kelimelerini tarar. Pozitif bir sinyal alındığında daha kapasiteli bir konuşma tanıma motoru devreye girer. Bu yaklaşım hem pil ömrünü korur hem de gizlilik açısından daha güvenli bir çözüm sunar; veriler tetikleyici kelime tespit edilene kadar buluta gönderilmez. Anahtar kelime tespiti için yaygın olarak kullanılan mimariler arasında Convolutional Neural Network (CNN) tabanlı ses sınıflandırıcıları, Recurrent Neural Network (RNN) ve dikkat mekanizmalı hibrit modeller yer alır. "Hey Siri", "OK Google" ve "Alexa" gibi wake-word sistemleri bu teknolojinin en bilinen uygulamalarıdır. Gömülü sistemlerde çalışan keyword detection modelleri, düşük gecikme süresi (≤200ms) ve yüksek yanlış pozitif dayanıklılığı gibi katı kısıtlamalara tabi tutulur. Arka plan gürültüsü, farklı aksanlar ve konuşma hızları modelin sağlamlığını test eden başlıca zorluklardır. Bu nedenle modeller genellikle ONNX veya TFLite ile optimize edilerek edge cihazlara deploy edilir. NLP alanında ise keyword detection, metin tabanlı belgelerde belirli kavramları otomatik olarak işaretlemek, içerik moderasyonu yapmak veya arama motorlarını optimize etmek amacıyla kullanılır. Ses ve metin pipeline'larının kesiştiği bu nokta, keyword detection'ı modern yapay zeka sistemlerinin vazgeçilmez bir bileşeni haline getirir.

arrow_forward code_blocks

Mel Spectrogram (Mel Spektrogramı)

Mel Spektrogramı, bir ses sinyalinin frekans içeriğini zamanla birlikte görselleştiren ve insan işitme sisteminin algısını taklit eden bir ses temsil yöntemidir. "Mel" adı, müzikal aralıkların algısal eşdeğerliğini ölçen mel ölçeğinden gelir: insan kulağı düşük frekanslardaki farkları yüksek frekanslara göre çok daha hassas algılar ve mel ölçeği bu logaritmik ilişkiyi matematiksel olarak modeller. Mel Spektrogramı oluşturma süreci birkaç adımdan oluşur. İlk olarak ham ses sinyaline Kısa Zamanlı Fourier Dönüşümü (STFT — Short-Time Fourier Transform) uygulanır; bu işlem, sinyali birbiriyle örtüşen kısa pencereler hâlinde analiz ederek her pencere için frekans bileşenlerini ortaya koyar. Elde edilen güç spektrumu ardından mel filtre bankasından geçirilir: insan işitmesinin frekansları algılama biçimini yansıtan üçgen filtrelerden oluşan bu banka, düşük frekansları ince, yüksek frekansları ise kaba bir çözünürlükte gruplar. Son olarak her filtre çıkışının logaritması alınır; bu adım, insan işitmesinin ses gücünü logaritmik olarak algılaması gerçeğine dayanır ve modelin dinamik aralığını daraltarak öğrenmeyi kolaylaştırır. Mel Spektrogramları derin öğrenme tabanlı ses uygulamalarında standart bir giriş temsili hâline gelmiştir. Konuşma tanıma sistemleri (ASR — Automatic Speech Recognition), metinden konuşmaya sentezi (TTS), ses sınıflandırması, müzik analizi ve ses kaynak ayrıştırma gibi görevlerde model mimarileri ham dalga biçimi yerine mel spektrogramları işler. Bunun temel nedeni, spektrogramın bir görüntü olarak temsil edilebilmesi ve böylece başarısı kanıtlanmış 2D evrişimli sinir ağlarının (CNN) bu göreve uygulanabilmesidir. OpenAI'ın Whisper modeli ve Google'ın TTS altyapısı, mel spektrogramları ara gösterim olarak kullanır. WaveNet gibi ses üretim modelleri mel spektrogramları hedef koşul olarak alabilir. Popüler ses sınıflandırma yarışmalarında (ESC-50, UrbanSound8K) mel spektrogram tabanlı CNN mimarileri referans çözümler arasında yer alır. Temel hiperparametreler arasında örnekleme oranı (genellikle 16 kHz veya 22.05 kHz), pencere boyutu (512 veya 1024 örnek), atlama miktarı (hop length) ve mel filtre sayısı (80 veya 128) bulunur.

arrow_forward ⚡

Mixed Precision Training Nedir? FP16/BF16 ile Hızlı AI Eğitimi (Karışık Kesinlikli Eğitim)

Karışık Kesinlikli Eğitim (Mixed-Precision Training), derin öğrenme modellerinin eğitim sürecini hızlandırmak ve bellek kullanımını optimize etmek amacıyla farklı kayan nokta kesinliklerini bir arada kullanan bir tekniktir. Yöntem, ileri ve geri yayılım hesaplamaları ile matris çarpımları için düşük kesinlikli sayı formatları (FP16 veya BF16) kullanırken, model ağırlıklarının ana kopyasını ve kayıp biriktirmesini tam kesinlikte (FP32) tutar. Bu hibrit yaklaşım, sayısal kararlılığı ve model doğruluğunu korurken bellek tüketimini yaklaşık %50 azaltır ve eğitim hızını 2-3 kat artırır. Teknik, NVIDIA'nın Volta ve Turing GPU mimarilerinde Tensor Core'ların tanıtılmasıyla pratik hale gelmiştir. PyTorch (torch.cuda.amp) ve TensorFlow gibi popüler çerçeveler, Otomatik Karışık Kesinlik (AMP) araçlarıyla geliştiricilerin bu tekniği minimal kod değişikliğiyle uygulamasını kolaylaştırır. İki düşük kesinlikli format arasında önemli bir ayrım bulunur: FP16, 10-bit mantis ile yüksek hassasiyet sunar ancak dar bir dinamik aralığa sahipken; BF16 (Brain Float 16), FP32 ile aynı 8-bit üstel aralığı kullanarak taşma ve alt-taşma sorunlarını büyük ölçüde giderir. Bu nedenle büyük dil modeli eğitiminde BF16, FP16'ya kıyasla daha stabil bir seçenek olarak öne çıkmaktadır. Gradient underflow riskine karşı dinamik kayıp ölçeklendirmesi (loss scaling) uygulanır; kayıp değeri geri yayılım öncesinde büyütülür, gradyanlar hesaplandıktan sonra ölçek geri alınır. Karışık kesinlikli eğitim, 2017 yılında Micikevicius ve ekibi tarafından Baidu Research ile NVIDIA işbirliğiyle geliştirilmiş ve ICLR 2018'de yayımlanmıştır. GPT, LLaMA, Stable Diffusion ve Vision Transformer (ViT) gibi modern modellerin eğitiminde endüstri standardı haline gelen bu teknik, sınırlı GPU bütçesiyle daha büyük modeller eğitmeyi ya da aynı donanımda daha büyük toplu iş boyutları (batch size) kullanmayı mümkün kılmaktadır. Gradient birikim (gradient accumulation) stratejisiyle birleştirildiğinde efektif batch boyutu daha da artırılabilir.

arrow_forward group_work

Mixture of Experts (MoE) (Uzmanların Karışımı)

Uzmanların Karışımı (Mixture of Experts — MoE), büyük dil modellerinin hesaplama verimliliğini artırmak için geliştirilmiş bir mimari yaklaşımdır. Geleneksel yoğun (dense) transformer modellerinde her girdi, ağın tüm parametrelerinden geçer; MoE mimarisinde ise her token yalnızca belirli alt ağlar tarafından işlenir. MoE'nin temel bileşeni, "uzman" adı verilen birbirinden bağımsız beslemeli ileri (feed-forward) katmanlardır. Bu uzmanlara ek olarak bir kapı (gating) ağı bulunur; kapı ağı her giriş için hangi uzmanların etkinleştirileceğine karar verir. Tipik bir MoE katmanı 8 ila 64 uzman barındırır; ancak her token için yalnızca 2–4 tanesi aktive edilir. Bu seçici aktivasyon, modelin toplam parametre sayısını büyütürken hesaplama maliyetini sabit tutar. Seyrek aktivasyon (sparse activation) olarak adlandırılan bu özellik, MoE'yi büyük ölçekte son derece çekici kılar. Örneğin Mistral'ın Mixtral 8x7B modeli, 46,7 milyar parametreye sahip olmasına karşın çıkarım sırasında yalnızca 12,9 milyar parametre kullanır; bu da onu çok daha küçük görünen 13B modeller kadar hızlı yapar. Benzer şekilde GPT-4'ün MoE tabanlı olduğu yaygın biçimde raporlanmış olup Google'ın Gemma 4 serisi de MoE mimarisini benimsemiştir. Türk yapay zeka ekipleri için MoE, özellikle bulut çıkarım maliyetleri söz konusu olduğunda kritik bir tasarruf aracıdır. Aynı kalitedeki yoğun modele kıyasla çıkarım başına daha az FLOP harcanır; bu da API maliyetlerini doğrudan düşürür. Öte yandan MoE modellerini yerel olarak çalıştırmak, tüm uzman ağırlıklarının RAM veya VRAM'e yüklenmesini gerektirdiğinden bellekte yoğun bir profil çıkarır; bu nedenle tüketici donanımında dikkatli bellek planlaması şarttır. MoE'nin temel sınırlılıkları arasında yük dengeleme güçlüğü öne çıkar: eğitim sırasında kapı ağı bazı uzmanlara aşırı yüklenebilir, diğerlerini boş bırakabilir. Bu sorunu gidermek için yardımcı kayıp (auxiliary loss) fonksiyonları kullanılır. Dağıtık çıkarım altyapısında ise farklı uzmanlara denk düşen tokenların farklı cihazlara yönlendirilmesi gerekebilir; bu da iletişim ek yükü doğurur.

arrow_forward science

MLflow (MLflow)

MLflow, makine öğrenmesi yaşam döngüsünü uçtan uca yönetmek için tasarlanmış açık kaynaklı bir MLOps platformudur. 2018 yılında Databricks tarafından başlatılan proje, kısa sürede yapay zeka ve veri bilimi topluluğunun en yaygın benimsenen araçlarından biri hâline gelmiştir. MLflow'un temel felsefesi, ML projelerinde sıkça yaşanan yeniden üretilemezlik ve organizasyon sorunlarını sistematik biçimde çözmektir. Platform dört ana bileşenden oluşur: MLflow Tracking, MLflow Projects, MLflow Models ve MLflow Model Registry. MLflow Tracking bileşeni deney parametrelerini, metriklerini, yapıtlarını ve kaynak kodunu merkezi bir depoda kayıt altına alır; böylece farklı model konfigürasyonlarını karşılaştırmak ve en iyi performansı veren yaklaşımı bulmak kolaylaşır. Bir veri bilimcisi aynı sinir ağı mimarisini farklı öğrenme hızları, veri ön işleme adımları veya hiperparametre kümeleriyle eğittiğinde MLflow her çalışmayı otomatik olarak kayıt altına alır ve görsel karşılaştırma araçları sunar. MLflow Projects bileşeni, kodu ve bağımlılıkları bir araya getiren yeniden kullanılabilir paketler oluşturmayı mümkün kılar; farklı takımların birbirinin çalışmalarını kolaylıkla çoğaltmasına olanak tanır. MLflow Models ise eğitilmiş modeli çoklu dağıtım biçimlerine dönüştürür: REST API, Python fonksiyonu, Docker konteyneri veya Apache Spark UDF olarak sunulabilir. Model Registry bileşeni, modellerin geliştirme aşamasından üretim ortamına geçişini yönetir; staging, production ve archived gibi durum etiketleriyle model sürümleme sürecini düzenler ve takım onaylarını gerektiren iş akışları tanımlamayı destekler. MLflow, scikit-learn, TensorFlow, PyTorch, XGBoost ve LangChain gibi popüler kütüphanelerle yerel entegrasyona sahiptir. Bulut ortamlarında AWS SageMaker, Azure ML ve Google Vertex AI ile de birlikte çalışabilir. Açık kaynak yapısı kurumların kendi altyapılarında çalıştırmasına ve ihtiyaca göre özelleştirmesine imkân tanır. GitHub üzerinde on binlerce yıldızla güçlü bir topluluk desteğine sahip olan platform, büyük ölçekli kuruluşlarda ve araştırma kurumlarında giderek yaygınlaşmaktadır. MLflow 2.x sürümüyle birlikte LLM izleme yetenekleri genişlemiş, prompt mühendisliği ve model değerlendirme araçları eklenmiştir.

arrow_forward hub

Multimodal AI (Çok Modlu Yapay Zeka)

Çok modlu yapay zeka (Multimodal AI), metin, görüntü, ses ve video gibi farklı veri türlerini - modaliteleri - aynı anda işleyebilen ya da bunlar arasında çeviri yapabilen yapay zeka sistemlerini tanımlar. Tek modaliteyle (örneğin yalnızca metinle) çalışan "unimodal" modellerden farklı olarak, gerçek dünya sorunlarının karmaşıklığını daha iyi yansıtan bütüncül bir anlama kapasitesi hedefler. Teknolojik temel açısından çok modlu modeller genellikle ayrı encoder mimarileri üzerine inşa edilir: metin için Transformer tabanlı dil modeli, görüntü için ViT (Vision Transformer) veya CNN tabanlı görsel encoder kullanılır; bu iki temsil bir "füzyon katmanı" veya çapraz dikkat (cross-attention) mekanizmasıyla birleştirilir. CLIP (Contrastive Language-Image Pretraining), 400 milyonluk metin-görüntü çiftiyle eğitilerek bu alanda standart hâline gelen erken dönem modeldir. Öne çıkan sistemler şunlardır: **GPT-4o** (OpenAI), metin + görüntü + ses girişini gerçek zamanlı işler ve çok düşük gecikmeyle yanıt verir. **Gemini** (Google), doğrudan çok modlu eğitimle geliştirilmiş; video anlama konusunda öne çıkar. **Claude 3** (Anthropic), görüntü ve PDF analizi destekler. **LLaVA ve InternVL** açık kaynak alternatifleri arasındadır. Uygulama alanları geniştir: görüntüden otomatik raporlama (tıbbi görüntüleme bulgu özeti), sesli asistan + kamera entegrasyonu (akıllı gözlük), çok dilli okuma (OCR + çeviri), video özetleme, e-ticaret ürün etiketleme ve engelli bireyler için erişilebilirlik uygulamaları. Başlıca zorluklar şunlardır: modaliteler arasında "anlamsal boşluk" (semantic gap), eğitim verisi ve hesaplama maliyetinin yüksekliği, hallüsinasyonun görsel bağlamda da devam etmesi ve güvenlik açıkları (görsel prompt injection: zararlı metin gömülü görüntü). 2026 itibarıyla video anlama ve gerçek zamanlı çok modlu akıl yürütme alanında yoğun rekabet sürmektedir. Türkiye'de çok modlu yapay zeka uygulamaları e-devlet belge okuma sistemleri, e-ticaret görsel etiketleme ve sağlık alanında radyoloji rapor desteklemede giderek yaygınlaşmaktadır. Mobil cihazlara entegre edilebilen küçük multimodal modeller bu kullanım senaryolarını daha erişilebilir kılmaktadır.

arrow_forward code_blocks

Multimodal Learning (Çok Modlu Öğrenme)

Multimodal learning (çok modlu öğrenme), bir yapay zeka modelinin metin, görsel, ses ve video gibi birden fazla veri türünü (modalite) aynı anda işleyerek anlam çıkarmasına olanak tanıyan makine öğrenmesi yaklaşımıdır. İnsan algısına benzer şekilde birden fazla duyudan gelen bilgileri birleştirme yeteneği kazandırır. Geleneksel yapay zeka sistemleri tek bir modaliteye odaklanırken (yalnızca metin veya yalnızca görsel), çok modlu öğrenme bu sınırı aşar. Farklı modalitelerin verileri ortak bir gömülü uzayda (shared embedding space) hizalanır; böylece model "bu resimde ne yazıyor?" veya "bu sesle hangi görsel eşleşir?" gibi çapraz-modal soruları yanıtlayabilir. Temel teknikler arasında çelişkili öğrenme (contrastive learning), çapraz-modal dikkat (cross-modal attention) ve çift kodlayıcı (dual encoder) mimarileri öne çıkar. OpenAI'nin 2021'de tanıttığı CLIP modeli, metin-görsel çiftlerini milyonlarca örnekle eğiterek sıfır-atış görüntü sınıflandırmasını mümkün kıldı ve alanın temel taşlarından biri oldu. 2023'te GPT-4V tek kule (single-tower) mimarisiyle görüntü ve metni birleştirirken Google Gemini çok sayıda modaliteyi destekleyen kapsamlı bir model sundu. 2024'te GPT-4o metin, ses ve görseli gerçek zamanlı işleyebilir hale getirdi. Uygulama alanları oldukça geniştir: görsel soru cevaplama (VQA), görüntü altyazısı oluşturma, metin-görsel üretim (DALL-E, Stable Diffusion), tıbbi görüntü analizi ve otonom sürüş sistemleri. Zorluklar arasında modal hizalama güçlüğü, eksik modalite yönetimi ve yüksek hesaplama maliyeti yer alır. Çok modlu sistemlerin eğitiminde veri uyumu kritik bir zorluktur: farklı modalitelerden gelen verilerin zaman ve anlam boyutunda doğru eşleştirilmesi gerekir. Bu nedenle büyük ölçekli internet verisiyle ön-eğitim yapılır, ardından görev-spesifik ince ayar uygulanır. Araştırmacılar ayrıca tek bir modelin tüm modaliteleri birlikte öğrenmesiyle ortaya çıkan çapraz-modal transfer öğrenimini (cross-modal transfer) de aktif biçimde incelemektedir. Bu yaklaşım, kısıtlı etiketli veriye sahip modalitelerde başarımı belirgin ölçüde artırmaktadır.

arrow_forward architecture

Neural Architecture Search (NAS) Nedir? Otomatik Model Tasarımı (Nöral Ağ Mimarisi Arama)

Neural Architecture Search (NAS), bir makine öğrenimi görevi için en uygun sinir ağı mimarisini insan müdahalesi olmadan otomatik olarak keşfeden ve AutoML alanının temel dallarından birini oluşturan yapay zeka tekniğidir. Geleneksel derin öğrenme iş akışında araştırmacılar katman sayısı, bağlantı desenleri, aktivasyon fonksiyonları ve boyut seçimleri gibi onlarca tasarım kararını elle yapılandırır; bu süreç uzman bilgisi gerektirir ve haftalarca sürebilir. NAS bu manuel döngüyü sistematik bir optimizasyon problemine dönüştürerek hem süreyi hem gerekli uzmanlığı azaltır. NAS üç temel bileşenden oluşur: arama uzayı (olası mimarilerin yapısal şablonu), arama stratejisi (hangi adayların değerlendirileceğini belirleyen algoritma) ve performans tahmini (mimarileri derecelendiren ölçüm yöntemi). Pekiştirmeli öğrenme tabanlı RL-NAS, evrimsel algoritmalar, gradyan tabanlı DARTS (Differentiable Architecture Search) ve ağırlık paylaşımlı One-Shot NAS bu bileşenlerin farklı kombinasyonlarını kullanır. Google Brain'in 2017'deki ilk RL-NAS çalışması 800 GPU'da 28 gün gerektirirken, 2018'de tanıtılan DARTS bu maliyeti tek bir GPU-gününe indirdi. Weight Sharing yöntemleri ek 100× hızlanma sağladı. EfficientNet ve NASNet, ImageNet sıralamasında manuel tasarlanan modelleri geride bırakarak endüstri standardı haline geldi; EfficientNet B7 sürümü %84,4 Top-1 doğruluğu ile kıyaslama testlerini yeniden tanımladı. Günümüzde donanım farkındalıklı NAS, mobil cihaz gecikmesini ve bellek kısıtlarını arama hedefine katarak kenar cihazlara özel mimariler üretir. Apple Neural Engine ve Qualcomm Snapdragon için optimize edilmiş modeller bu teknikle tasarlanmaktadır. NAS-LLM çalışmaları ise transformatör başlık sayısı, FFN genişliği ve dikkat mekanizması yapısı gibi hiper-mimari kararları otomatikleştirmeye yönelmektedir. NAS'ın pratik sınırları arasında klasik yöntemlerin yüksek hesaplama maliyeti, bulunan mimarinin eğitim verisi ve donanıma özgü olması ile küçük veri kümelerinde genelleme güçlüğü yer alır. Uygulamada Google Vertex AI AutoML ve Azure Automated ML NAS işlevselliği sunarken, açık kaynak timm kütüphanesi daha esnek bir başlangıç noktası oluşturur.

arrow_forward mediation

Neural Network (Yapay Sinir Ağı)

Yapay sinir ağı (İngilizce: neural network, kısaltma: ANN — Artificial Neural Network), insan beynindeki biyolojik nöronların birbirleriyle bilgi alışverişi yapma biçiminden ilham alınarak tasarlanmış bir makine öğrenimi modelidir. Veriler, ağın içinde birbirine bağlı yapay nöronlar (düğümler) üzerinden geçerken ağırlıklı toplamlar ve aktivasyon fonksiyonları gibi matematiksel işlemlere tabi tutulur; ağ, eğitim boyunca bu ağırlıkları güncelleyerek verideki örüntüleri kendi kendine öğrenir. Bu mimari, derin öğrenmenin (deep learning) yapıtaşıdır. Görüntü tanımadan ses sentezine, makine çevirisinden ChatGPT gibi büyük dil modellerine kadar modern yapay zekanın neredeyse tüm yetenekleri sinir ağlarına dayanır. ANN'in geleneksel programlamadan temel farkı, kuralların insan tarafından yazılmaması, örneklerden türetilmesidir. Klasik bir algoritmada "kediyi tanıma" kuralını satır satır kodlamanız gerekirken, bir sinir ağına binlerce kedi fotoğrafı gösterirsiniz; ağ, kenar, doku ve şekil gibi özellikleri katman katman kendisi keşfeder. Bu yaklaşım, elle kural yazmanın pratikte imkânsız olduğu karmaşık problemlerde (yüz tanıma, konuşma anlama, protein yapısı tahmini) sinir ağlarını vazgeçilmez kılar. Standart bir ANN üç ana katman tipinden oluşur: verinin modele girdiği Girdi Katmanı, karmaşık hesaplamaların gerçekleştirildiği bir veya daha fazla Gizli Katman ve tahminin üretildiği Çıktı Katmanı. Katmanlar arası bağlantıların yoğunluğu ile derinliği, modelin öğrenebileceği örüntülerin karmaşıklığını doğrudan belirler. Öğrenme mekanizması geri yayılım (backpropagation) algoritmasına dayanır: tahmin ile gerçek değer arasındaki hata, zincir kuralıyla geriye doğru yayılarak tüm ağırlıklar güncellenir. Pratikte üç mimari ailesi öne çıkar: görüntü işleyen CNN'ler, sıralı verileri modelleyen RNN'ler ve günümüz dil modellerinin temeli olan Transformer'lar. Kavramın kökü 1943'teki McCulloch-Pitts nöron modeline ve 1958'deki Perceptron'a kadar uzanır; büyük veri ile GPU gücünün buluştuğu 2010'lu yıllarda derin sinir ağları alanın merkezine yerleşti ve o günden bu yana yapay zekadaki ilerlemenin temel motoru olmayı sürdürmektedir. PyTorch, TensorFlow ve JAX bu modellerin geliştirildiği başlıca çerçevelerdir.

arrow_forward functions

Neural ODE (Nöral Adi Diferansiyel Denklem)

Neural ODE (Nöral Adi Diferansiyel Denklem), derin öğrenme modellerindeki gizli durumun (hidden state) değişimini ayrık katman geçişleri yerine sürekli bir diferansiyel denklemle tanımlayan yapay sinir ağı mimarisidir. Geleneksel derin ağlarda gizli durum h_{l+1} = h_l + f(h_l) biçiminde ayrık adımlarla güncellenir — bu yapı, Euler yöntemiyle çözülen bir ODE'nin ayrık yaklaşımına karşılık gelir. Neural ODE ise bu ayrık yapıyı dh/dt = f(h(t), t, θ) denklemiyle süreklilik boyutuna taşır ve çıkışı bir ODE çözücüsü (örn. Dormand–Prince, Runge-Kutta) yardımıyla hesaplar. 2018 NeurIPS konferansında Ricky T. Q. Chen, Yulia Rubanova, Jesse Bettencourt ve David Duvenaud tarafından tanıtılan bu mimari üç temel avantaj sunar. Birincisi bellek verimliliğidir: geri yayılım için adjoint (eşlenik) yöntemi kullanılır, bellek maliyeti katman sayısından bağımsız O(1) olarak kalır; geleneksel geri yayılımda bu maliyet katman sayısıyla doğrusal büyür. İkincisi uyarlanabilir derinliktir: ODE çözücüsü hata toleransına göre gereken kadar fonksiyon değerlendirmesi yapar, basit girdiler için daha az, karmaşık dinamikler için daha fazla hesaplama harcar. Üçüncüsü düzensiz örneklenmiş veriler için doğal uyumluluktur: klasik LSTM ve GRU gibi modeller eşit zaman aralığı varsayımına dayanırken Neural ODE herhangi bir t değerinde çözüme erişebildiğinden tıbbi sensör verisi, finans ve astrofizik gibi alanlarda doğrudan uygulanabilir. Öne çıkan varyantlar arasında hastalık ilerlemesini modelleyen Latent ODE ve yüksek boyutlu yoğunluk tahmini için ODE çerçevesini kullanan Sürekli Normalleştirici Akışlar (CNF) sayılabilir. Temel pratik kısıt, ODE çözücünün her ileri geçişte birden fazla ağ değerlendirmesi gerektirmesi ve sert (stiff) diferansiyel denklemlerin çözücü adımını büyük ölçüde artırabilmesidir. Bu nedenle hız öncelikli sistemlerde hâlâ ResNet ve Transformer mimarileri tercih edilmekte; Neural ODE ise fizik bilgili öğrenme, robotik ve biyomedikal veri analizi gibi niş ama önemli alanlarda güçlü bir araç olarak konumlanmaktadır.

arrow_forward graphic_eq

Neural TTS (Nöral TTS (Sinir Ağı Tabanlı Metin-Ses Dönüşümü))

Nöral TTS (Neural Text-to-Speech — Nöral Metinden Konuşmaya Dönüşüm), derin öğrenme modelleri kullanarak yazılı metni doğal ve insan sesine yakın konuşmaya dönüştüren ses sentezi teknolojisidir. Geleneksel kural tabanlı (formant synthesis) veya birleştirici (concatenative synthesis) yöntemlerinin aksine nöral TTS, büyük miktarda konuşma verisi üzerinde eğitilen uçtan uca sinir ağlarıyla son derece gerçekçi ses kalitesi üretir. Modern nöral TTS sistemleri genellikle iki aşamadan oluşur: akustik model ve vokoder. Akustik model, metni bir ara temsil (çoğunlukla mel-spektrogram) biçimine dönüştürür; vokoder ise bu ara temsili ham ses dalgasına çevirir. Tacotron 2, dikkat mekanizması (attention mechanism) kullanan bir seq2seq akustik modeldir. FastSpeech 2 ise paralelleştirme sayesinde çok daha hızlı çalışır. VITS (Variational Inference with adversarial learning for end-to-end TTS), hem akustik modeli hem de vokoderi tek bir modelde birleştirip gerçek zamanlı sentez sağlar. Vokoder cephesinde WaveNet otoregresif ama yavaş çalışırken, HiFi-GAN ve BigVGAN GAN tabanlı mimarileriyle gerçek zamanlı ses sentezi sunar. Ses klonlama (voice cloning), nöral TTS'in en dikkat çekici uygulamasıdır. ElevenLabs gibi platformlar yalnızca birkaç saniyelik ses örneğiyle yüksek kaliteli kişiselleştirilmiş sesler üretebilmektedir. Zero-shot ses klonlama modellerinde (YourTTS, OpenVoice) eğitim verisi olmaksızın yeni bir sesin taklidi yapılabilmektedir. Duygusal ton, vurgu ve konuşma hızı kontrolü modern sistemlerin standart özellikleri arasına girmiştir. Endüstriyel alanda OpenAI TTS, Google WaveNet (Cloud Text-to-Speech), Microsoft Azure TTS ve Amazon Polly bu teknolojiyi bulut API'leri olarak sunmaktadır. Sesli asistanlar, ekran okuyucular, podcast üretimi, oyun karakterleri ve otomatik müşteri hizmetleri başlıca kullanım senaryolarıdır. SSML (Speech Synthesis Markup Language) ile geliştiriciler ton, hız ve telaffuz nüansları üzerinde ayrıntılı kontrol sağlayabilir. Ses klonlama teknolojisinin kötüye kullanım potansiyeli (deepfake ses), etik ve hukuki tartışmaların merkezine oturmuştur. Sahte ses içeriğinin tespiti için audio watermarking ve ses parmak izi teknolojileri geliştirilmektedir.

arrow_forward video

Object Tracking (Nesne Takibi)

Object Tracking (Nesne Takibi), video akışlarında belirli nesnelerin hareketini kareden kareye sürekli izleyen bir bilgisayarlı görü disiplinidir. Kişiler, araçlar, hayvanlar veya endüstriyel bileşenler gibi her türlü cisim bu teknikle takip edilebilir. Nesne tespitinden (object detection) temel farkı şudur: tespit her kareye bağımsız bakarken, takip nesnelerin zaman içindeki sürekli kimliğini (ID) koruyarak hareketlerini izler. Algoritma tasarımında iki temel mimari yaklaşım öne çıkar. Algıla-ve-Takip Et (Detection-Based Tracking) yaklaşımında her karede YOLO veya Faster R-CNN gibi bağımsız bir dedektör çalışır; ardından Kalman filtresi ve Macar algoritması mevcut iz listesiyle eşleştirme yapar. 2016 yılından bu yana endüstri standardı hâline gelen SORT ve DeepSORT bu yaklaşımın öncüleridir. İkinci yaklaşım olan uçtan uca transformer tabanlı modeller ise TrackFormer ve MOTR gibi ağlarla temsil edilir; tespit ve takibi tek mimari içinde birleştirir ve el yapımı birleştirme kuralı gerektirmez. Temel performans metrikleri arasında MOTA (Multi-Object Tracking Accuracy), IDF1 (kimlik süreklilik skoru) ve HOTA yer alır. Uluslararası MOT Challenge yarışması bu metrikleri standartlaştırmış olup ByteTrack ve BoT-SORT en güncel karşılaştırma listelerinde lider konumdadır. Başlıca zorluklar şunlardır: Örtüşme (occlusion), nesne başka bir cismin arkasında geçici olarak kaybolduğunda kimlik kaybına yol açar. Hız değişimleri ve ani yön dönüşleri Kalman filtresi tahminlerini güçleştirir. Benzer görünümlü nesneler ID anahtarı (ID switch) hatasını artırır. Küçük veya uzak nesneler ise dedektörün güven eşiğinin altında kalabilir. Gerçek zamanlı sistemlerde YOLO ile ByteTrack kombinasyonu yaygın tercih olurken, piksel düzeyinde hassasiyet gerektiren uygulamalarda Meta'nın 2024 tarihli SAM 2 modeli öne çıkmaktadır. Nesne takibi; otonom araçlar, spor analizi, akıllı güvenlik kameraları ve tıbbi görüntüleme alanlarında endüstri standardı hâline gelmiştir.

arrow_forward code_blocks

OCR (OCR — Optik Karakter Tanıma)

OCR (Optical Character Recognition — Optik Karakter Tanıma), görüntü, taranmış belge veya fotoğraf içindeki basılı ya da el yazısı karakterleri analiz ederek düzenlenebilir ve aranabilir dijital metne dönüştüren teknolojidir. 1950'lerin sonunda ortaya çıkan OCR, başlangıçta basit şablon eşleştirme ve piksel karşılaştırma algoritmalarına dayanırken; günümüzde derin öğrenme mimarileri sayesinde çok daha güçlü bir yapıya kavuşmuştur. Modern bir OCR sistemi dört temel aşamadan oluşur: (1) Görüntü ön işleme — gürültü giderme, eğim düzeltme (deskew), kontrast normalizasyonu ve renk segmentasyonu. (2) Metin bölgesi tespiti — satır ve kelime kutularının belirlenmesi, paragraf sıralamasının çıkarılması. (3) Karakter veya kelime düzeyinde segmentasyon ve özellik çıkarımı. (4) Model tabanlı tanıma ve dil modeli destekli hata düzeltme. Geleneksel sistemler CNN (Evrişimsel Sinir Ağı) ve LSTM kombinasyonunu kullanırken; son nesil Transformer tabanlı modeller — TrOCR, Donut, Nougat, DeepSeek-OCR — görsel kodlayıcı ile dil çözücüsünü birleştirerek belge düzeni anlayışını yeni bir düzeye taşımaktadır. Bu modeller artık sadece karakterleri değil; tabloları, formları, matematiksel ifadeleri ve karmaşık çok sütunlu sayfa yapılarını da yapılandırılmış çıktıya dönüştürebilmektedir. OCR'nin kullanım alanları son derece geniştir: finans sektöründe fatura ve çek işleme, sağlıkta hasta kayıtlarının dijitalleştirilmesi, hukuk alanında sözleşme tarama, e-ticarette ürün katalog otomasyonu, pasaport ve kimlik doğrulama sistemleri, kütüphane arşivlerinde tarihi belgelerin dijital ortama aktarılması bunların başında gelir. Türkçe gibi özel karakterler içeren diller için ğ, ü, ş, ı, ö, ç gibi harflerin doğru tanınması ayrı bir önem taşır; bu nedenle Türkçe dil paketi veya özel eğitilmiş model kullanımı gerekebilir. 2025-2026 itibarıyla çok modelli büyük dil modelleri (GPT-4o, Claude, Gemini) doğrudan görüntüden metin ve anlam çıkartabilmekte; bu durum OCR'yi 'belge zekası' adı verilen daha geniş bir alanda yeniden konumlandırmaktadır. İyi koşullar altında modern OCR sistemleri %99'un üzerinde doğruluk oranına ulaşabilirken, düşük kaliteli görüntü ve el yazısında bu oran %85-95 aralığına düşmektedir.

arrow_forward 🔍

Örüntü Tanıma (Pattern Recognition) Nedir? (Örüntü Tanıma)

Örüntü tanıma (Pattern Recognition), ham verilerdeki anlamlı yapıları, tekrarlayan kalıpları ve ilişkileri otomatik olarak tespit edip sınıflandırmayı amaçlayan yapay zeka ve makine öğrenmesi disiplinidir. Görüntü, ses, metin ve zaman serileri gibi çeşitli veri tiplerinde çalışabilir; veri madenciliğinden bilgisayarlı görüşe, doğal dil işlemeden biyometriye kadar geniş bir uygulama yelpazesi sunar. Disiplinin kökleri 1957'ye uzanır: Frank Rosenblatt'ın geliştirdiği Perceptron, biyolojik sinir hücrelerinden ilham alan ilk öğrenebilir örüntü tanıma sistemiydi. İlk dönemde istatistiksel yöntemler (Bayes sınıflandırıcıları, doğrusal diskriminant analizi) ve yapısal yaklaşımlar hâkimdi. 1980-2000 yılları arasında destek vektör makineleri (SVM) ve gizli Markov modelleri (HMM) öne çıktı; bu yöntemler konuşma tanıma ve el yazısı okumada önemli ilerleme kaydetti ve ticari ürünlere girdi. 2012 yılında AlexNet'in ImageNet yarışmasında hata oranını %26'dan %15'e düşürmesi, derin öğrenme tabanlı örüntü tanımanın dönüm noktası oldu. Evrişimli sinir ağları (CNN), görüntüdeki pikselleri doğrudan işleyerek hiyerarşik özellikleri katman katman otomatik keşfeder; elle öznitelik mühendisliği gerekmez. Transformer mimarileri ise metin, ses ve görüntüde aynı anda üstün performans sergileyerek örüntü tanımayı çok kipli (multimodal) bir alana taşıdı. Temel çalışma döngüsü beş adımdan oluşur: ham veri edinimi, ön işleme (gürültü giderme, normalizasyon), öznitelik çıkarımı, model eğitimi ve sınıflandırma/tahmin. Denetimsiz öğrenmede ise etiket kullanılmadan veri kümeleri bulunur; bu yöntem anomali tespiti ve müşteri segmentasyonunda özellikle değerlidir. Günümüzde örüntü tanıma; tıbbi görüntülemede kanser tespiti, otonom araçlarda nesne algılama, konuşma asistanlarında ses-metin dönüşümü, finansal sahtekârlık tespiti ve biyometrik kimlik doğrulama gibi kritik alanlarda rol üstlenmektedir. OpenCV, scikit-learn, TensorFlow ve PyTorch gibi açık kaynak kütüphaneler, bu tekniği araştırmacılardan endüstriyel mühendislere kadar geniş bir kitleye erişilebilir ve uygulanabilir kılmaktadır.

arrow_forward linear_scale

Parameters (Parametreler)

Parametreler (parameters), makine öğrenmesi ve derin öğrenme modellerinde eğitim süreci boyunca optimizasyon algoritmaları tarafından güncellenen öğrenilebilir değerlerdir. Sinir ağlarında ağırlıklar (weights) ve biaslar (biases) en temel parametre türleridir; bu değerler, modelin girdiden çıktıya olan dönüşümü nasıl gerçekleştireceğini belirler. Model parametrelerinin sayısı, bir modelin kapasitesini ve ifade gücünü doğrudan etkiler. GPT-2 yaklaşık 117 milyon, GPT-3 ise 175 milyar parametreden oluşur; bu fark, modellerin dil anlama ve üretme kapasitelerindeki büyük uçurumu açıklar. Ancak parametre sayısı tek başına performansı garanti etmez; veri kalitesi, mimari tasarım ve eğitim stratejisi de kritik rol oynar. Parametreler, hiperparametrelerden farklıdır. Hiperparametreler (öğrenme hızı, batch boyutu, katman sayısı) eğitim öncesinde tasarımcı tarafından belirlenir ve eğitim sürecinde değişmez. Parametreler ise geri yayılım (backpropagation) algoritmasıyla her eğitim adımında güncellenir. Model büyüklüğünü ölçmek için kullanılan parametre sayısı, hesaplama maliyetini ve bellek gereksinimini de doğrudan etkiler. 7 milyar parametreli bir modelin tam hassasiyetle (FP32) yüklenmesi yaklaşık 28 GB bellek gerektirir; kuantizasyon teknikleri (INT8, INT4) büyük modelleri tüketici donanımında kullanılabilir kılmak için kritik önem taşır. Aktivasyon fonksiyonları, katman normalizasyonları ve dikkat mekanizmalarının ağırlıkları da birer parametredir. Transformer mimarilerinde dikkat başlıklarının sorgu, anahtar ve değer matrislerindeki ağırlıklar, modelin hangi bağlamsal bilgilere odaklanacağını öğrenir. Fine-tuning sırasında yalnızca belirli katmanların parametrelerini güncellemek (LoRA, prefix tuning gibi PEFT yöntemleri) hesaplama maliyetini dramatik biçimde düşürebilir; bu yaklaşımda modelin geri kalan parametreleri dondurulur (frozen) ve yalnızca küçük bir adaptasyon matrisi eğitilir. Parametre paylaşımı (parameter sharing), özellikle evrişimli sinir ağlarında (CNN) hafıza kullanımını azaltmak için başvurulan bir tekniktir; aynı filtre ağırlıkları görüntünün farklı bölgelerinde uygulanır. Mixture-of-Experts (MoE) mimarilerinde toplam parametre sayısı çok büyük olsa da her çıkarım adımında yalnızca küçük bir alt küme (uzman) aktif hâle gelir; bu yaklaşım hesaplama verimliliğini artırır. Örneğin Mixtral 8x7B modeli 46 milyar toplam parametreye sahip olsa da aktif parametre sayısı yalnızca 12 milyardır.

arrow_forward code_blocks

Pooling (Havuzlama Katmanı)

Havuzlama (Pooling) katmanı, evrişimli sinir ağlarının (CNN) temel bileşenlerinden biridir; özellik haritalarının uzamsal boyutlarını sistematik biçimde küçülterek en önemli bilgilerin yoğunlaştırılmasını sağlar. Evrişim katmanlarından elde edilen yüksek boyutlu aktivasyon haritaları, belirli bir pencere (kernel) içindeki değerleri tek bir değere özetleyerek daha küçük bir temsile dönüştürülür. En yaygın kullanılan türü maksimum havuzlama (max pooling) dur. Bu yöntemde belirlenen pencere (genellikle 2×2) içindeki en yüksek değer alınır ve özellik haritasının boyutu küçültülür. Max pooling, keskin ve belirgin özellikleri ön plana çıkarır; nesne tanıma ve sınıflandırma görevlerinde uygulamaların yaklaşık yüzde 80-90 ında bu yöntem tercih edilir. Ortalama havuzlama (average pooling) ise penceredeki tüm değerlerin ortalamasını alarak daha yumuşak bir temsil oluşturur. Gürültüye karşı daha dirençli olmakla birlikte bazen belirgin özellikleri zayıflatabilir. Küresel ortalama havuzlama (Global Average Pooling, GAP), tüm özellik haritasını tek bir değere indirgeyen modern bir yaklaşımdır. Tam bağlantılı katmanların yerini alabilmesi, parametre sayısını dramatik biçimde azaltır. VGG mimarisinin 138 milyon parametresi ResNet te 25 milyona inmiş olup bu farkın büyük bölümü GAP kullanımından kaynaklanmaktadır. MobileNet ve EfficientNet gibi hafif mimarilerde GAP artık standart bir seçenek hâline gelmiştir. Havuzlama katmanları öğrenilemeyen işlemlerdir; hiçbir ağırlık içermez. Geri yayılım sırasında max pooling yalnızca maksimum değerin bulunduğu konuma gradyanı iletirken diğer konumlara sıfır aktarır (switch mekanizması). Average pooling ise gradyanı penceredeki tüm konumlara eşit biçimde dağıtır. Havuzlamanın kritik bir katkısı translasyon değişmezliği (translation invariance) dir: bir nesne görüntüde birkaç piksel kaymış olsa bile max pooling, bölgenin en güçlü aktivasyonunu yakaladığından benzer sonuçlar üretebilir. Tarihsel olarak AlexNet (2012) ve VGG (2014) gibi öncü mimariler havuzlamaya yoğun biçimde başvurmuştur. Günümüzde adımlı evrişim (strided convolution) ve dilate evrişim gibi öğrenilebilir alternatifler önem kazanmış; Vision Transformer (ViT) gibi dikkat tabanlı modeller ise uzamsal alt örnekleme için dikkat mekanizmalarını tercih etmiştir. Buna karşın, evrişimli tabanlı ve gömülü sistem uygulamalarında havuzlama vazgeçilmez bir bileşen olmayı sürdürmektedir.

arrow_forward integration_instructions

PyTorch (Açık Kaynak Derin Öğrenme Çerçevesi)

PyTorch, Meta AI Araştırma Laboratuvarı (FAIR) tarafından 2016 yılında yayımlanan, Python tabanlı açık kaynaklı bir derin öğrenme çerçevesidir. Lua tabanlı Torch kütüphanesinin modern Python uyarlaması olarak doğan proje, 2022'den bu yana Linux Foundation çatısı altındaki PyTorch Foundation tarafından yönetilir; NVIDIA, AMD, Google, Microsoft, Intel ve IBM gibi şirketler yönetim kuruluna üyedir. Sinir ağlarını tasarlamak, eğitmek ve üretim ortamına almak için tensör işlemlerinden model servisine kadar uzanan eksiksiz bir araç seti sunar. PyTorch'u rakiplerinden ayıran temel özellik, çalışma zamanında inşa edilen dinamik hesaplama graflarıdır (define-by-run). TensorFlow 1.x döneminin statik graflarının aksine, model kodu satır satır yürütülürken graf anlık olarak oluşur; araştırmacı standart Python hata ayıklayıcısını doğrudan kullanabilir, if/else ve döngü içeren değişken mimariler doğal söz dizimiyle yazılır. Autograd sistemi bu grafın üzerinden gradyanları otomatik hesaplar: requires_grad=True atanmış bir tensör üzerindeki tüm işlemler kaydedilir, .backward() çağrısıyla geri yayılım (backpropagation) elle kodlanmadan tamamlanır. Bu iki mekanizmanın birleşimi, özel kayıp fonksiyonlarından deneysel katman tasarımlarına kadar her fikrin sıradan Python koduyla ifade edilebilmesi anlamına gelir. Çerçevenin çekirdeğini dört modül oluşturur: torch.Tensor NumPy benzeri çok boyutlu dizileri CPU ve GPU belleğinde tutar; torch.nn hazır katmanları (Linear, Conv2d, Transformer) ve kayıp fonksiyonlarını barındırır; torch.optim SGD, Adam ve AdamW gibi optimizasyon algoritmalarını sunar; DataLoader ise veri setlerini çok işlemcili mini-batch akışına çevirir. Bir eğitim döngüsü tipik olarak 15-20 satır koddan ibarettir ve her adımı okunabilir Python olarak kalır. 2023'te çıkan PyTorch 2.0, bu esnekliği performansla birleştirdi. torch.compile tek satırlık bir çağrıyla modeli TorchDynamo ve TorchInductor üzerinden derleyerek tipik eğitim iş yüklerinde %30-100 arası hızlanma getirir; 2025 sonunda yayımlanan 2.9 sürümüyle proje FlexAttention, torch.export ve AOTInductor gibi derleyici tabanlı araçları olgunlaştırmıştır. GPU tarafında NVIDIA CUDA ile derin entegrasyonun yanına AMD ROCm, Apple Silicon için MPS ve Intel GPU (XPU) desteği eklenmiştir; model tek satır .to('cuda') ile hızlandırıcıya taşınır. Akademik araştırmada PyTorch 2019-2020'den itibaren TensorFlow'u geçerek fiili standart hâline geldi; Papers with Code üzerindeki yeni makale uygulamalarının %70'ten fazlası PyTorch kullanır. Llama, Whisper, Stable Diffusion ve DINOv2 gibi modellerin resmi kodları PyTorch ile yazılmıştır; Hugging Face Transformers kütüphanesi birincil backend olarak PyTorch'u benimser ve bir milyondan fazla önceden eğitilmiş modele tek API ile erişim verir. Büyük dil modeli çağının kritik altyapısı da aynı ekosistemde yaşar: OpenAI 2020'de araştırma yığınını PyTorch üzerinde standartlaştırdı; vLLM çıkarım motoru, TorchTitan dağıtık eğitim kütüphanesi ve LoRA tabanlı ince ayar araçlarının tamamı doğrudan PyTorch üzerine kuruludur. Ekosistem paketleri kullanım alanlarını genişletir: TorchVision görüntü, TorchAudio ses, PyTorch Lightning eğitim altyapısı, ExecuTorch ise mobil ve gömülü cihazlarda çıkarım için geliştirilmiştir. BSD-3-Clause lisanslı proje, GitHub'da 90 binin üzerinde yıldıza ulaşmıştır ve araştırma prototipinden milyarlarca kullanıcılı üretim sistemlerine kadar aynı kod tabanıyla ilerlemeye imkân tanır. Türkçe kaynak, üniversite müfredatı ve iş ilanları açısından da derin öğrenme kariyerine başlamak isteyenler için ilk öğrenilmesi gereken çerçeve konumundadır.

arrow_forward sync

RNN (Recurrent Neural Network) (Tekrarlayan Sinir Ağı)

RNN (Recurrent Neural Network, Tekrarlayan Sinir Ağı), sıralı verileri adım adım işlerken önceki adımlardan gelen bilgiyi bir gizli durum (hidden state) vektöründe taşıyan yapay sinir ağı mimarisidir. Klasik ileri beslemeli ağlar her girdiyi bağımsız değerlendirir; RNN ise bir cümleyi okuyan insan gibi soldan sağa ilerler, her kelimede o ana kadar gördüklerinin özetini günceller. Bu döngüsel yapı, çıktının yalnızca mevcut girdiye değil, tüm geçmiş bağlama bağlı olduğu problemler için tasarlanmıştır: dil modelleme, konuşma tanıma, makine çevirisi, zaman serisi tahmini ve sensör verisi analizi. Matematiksel olarak her zaman adımında aynı ağırlık matrisleri paylaşılır: h_t = f(W_x·x_t + W_h·h_(t-1) + b). Eğitim, zaman içinde geri yayılım (Backpropagation Through Time, BPTT) ile yapılır; ağ, dizinin uzunluğu kadar "açılır" ve gradyanlar geriye doğru akıtılır. Bu süreçte gradyanların üstel biçimde küçülmesi (vanishing gradient) standart RNN'in en bilinen zayıflığıdır: 30-50 adımdan uzun bağımlılıklar pratikte öğrenilemez. 1997'de Hochreiter ve Schmidhuber'in LSTM'i, 2014'te Cho ve ekibinin GRU'su bu sorunu kapı mekanizmalarıyla büyük ölçüde çözdü ve 2017'ye kadar NLP'nin fiili standardı oldu. 2017'deki Transformer mimarisi, paralel eğitim avantajıyla büyük dil modellerinde RNN'in yerini aldı; ancak dikkat mekanizmasının dizi uzunluğuyla O(n²) ölçeklenen maliyeti, doğrusal karmaşıklıklı alternatif arayışını yeniden başlattı. RWKV-7 (2025), Mamba-2 ve xLSTM (2024) gibi modern tekrarlayan mimariler, RNN'in O(n) çıkarım verimliliğini Transformer düzeyinde ifade gücüyle birleştirerek 2023-2026 döneminde bir "RNN rönesansı" yarattı. Bu mimarilerin kritik avantajı bağlam uzunluğundan bağımsız sabit boyutlu durum vektörüdür; KV-cache belleği tutmak gerekmediği için uç cihazlarda ve maliyet-duyarlı uygulamalarda belirgin bir ekonomi sunarlar. Bugün RNN ailesi; akış halinde konuşma tanıma, gömülü cihazlarda düşük gecikmeli çıkarım ve uzun bağlamlı verimli dil modelleri araştırmalarında aktif biçimde kullanılmakta, hibrit Transformer-SSM mimarileriyle de yeni bir senteze doğru evrilmektedir.

arrow_forward sentiment_satisfied

Sentiment Analysis (Duygu Analizi (Sentiment Analysis))

Duygu analizi (Sentiment Analysis), metin verilerindeki öznel ifadelerden duygusal eğilimi — pozitif, negatif veya nötr — otomatik olarak çıkaran doğal dil işleme (NLP) görevidir. Müşteri yorumları, sosyal medya paylaşımları, anket yanıtları ve haber metinleri gibi yapılandırılmamış metinleri anlamlandırmak için yaygın biçimde kullanılır. Yöntemler üç ana kategoride incelenir: **Kural tabanlı yaklaşımlar**, önceden tanımlanmış kelime listeleri (VADER, SentiWordNet) ve sözdizimi kuralları kullanır; hızlı ve açıklanabilir ancak bağlam ve ironi konusunda sınırlıdır. **Makine öğrenimi tabanlı yaklaşımlar**, Naive Bayes, SVM ve lojistik regresyon gibi algoritmalarla etiketli veriden öğrenir; kural tabanlıdan daha esnek ama veri bağımlıdır. **Derin öğrenme ve LLM tabanlı yaklaşımlar**, BERT, RoBERTa ve GPT ailesi modeller nüanslı duygu ifadelerini, ironik söylemleri ve alan spesifik jargonu çok daha iyi kavrar. Görev tanımları bakımından temel duygu sınıflandırması (pozitif/negatif/nötr) en basit biçimdir. **Kapsam tabanlı (aspect-based) duygu analizi**, bir ürün yorumundaki farklı özelliklere (kamera, pil, ekran) ayrı duygu puanları atar — "kamerası harika ama pili berbat" gibi ifadeler bu yöntemle doğru işlenir. **Duygu yoğunluğu** analizi, yalnızca yön değil kuvvet de belirler. **Çok dilli duygu analizi**, özellikle Türkçe gibi morfolojik açıdan zengin diller için ek zorluklar barındırır. Uygulama alanları şunlardır: marka itibar yönetimi (sosyal medya izleme), ürün geliştirme (müşteri geri bildirimi önceliklendirme), finans sektöründe haber ve tweet duygusuyla fiyat hareketi tahmini, siyasi kampanya analizi ve çağrı merkezi kayıt analizi. Türkiye'de e-ticaret yorumları ve sosyal medya analitiği en yaygın kullanım alanlarıdır. Başlıca zorluklar: ironi ve alaycılık tespiti, alan değişimi (domain shift) — bir modelin film yorumları üzerindeki başarısı tıp metinlerinde düşebilir —, çok dilli bağlam, gizli duygu ifadeleri ve etiketleyiciler arası anlaşmazlık. Türkçe için TRSentiNet ve Turkish Sentiment Analysis veri setleri geliştirilmiş olmakla birlikte İngilizce kaynaklarla kıyaslandığında hâlâ sınırlı kalmaktadır.

arrow_forward record_voice_over

Speaker Verification (Konuşmacı Doğrulama)

Konuşmacı Doğrulama (Speaker Verification), bir ses kaydının iddia edilen kişiye ait olup olmadığını doğrulamak için kullanılan yapay zeka tabanlı biyometrik kimlik doğrulama teknolojisidir. Temel amacı "Bu ses gerçekten bu kişiye mi ait?" sorusunu yanıtlamaktır; bu bakımdan her ses kaydının kim tarafından üretildiğini belirleyen konuşmacı tanımlama (speaker identification) ile aynı şey değildir. Doğrulama süreci 1:1 karşılaştırma yaparken, tanımlama 1:N aramadır. Sistem, bir kişinin sesinden karakteristik özellikler (ses gömülü vektörleri / vocal embeddings) çıkarır ve bu özellikleri kayıtlı referans modeli ile karşılaştırır. Ses yolunun anatomik yapısı, artikülasyon biçimleri, melodik özellikler, formant frekansları ve konuşma hızı gibi biyometrik veriler bir parmak izi gibi kişiyi benzersiz şekilde tanımlar. Geleneksel sistemlerde Gaussian Mixture Model ile Universal Background Model (GMM-UBM) birleşimi ve i-vektörler kullanılırken, derin öğrenme çağı ile birlikte d-vektörler ve x-vektörler öne çıktı. 2018'de Johns Hopkins Üniversitesi tarafından geliştirilen x-vektörler, Time Delay Neural Network (TDNN) mimarisini istatistiksel havuzlama katmanıyla birleştirerek çok daha gürbüz gömülü vektörler üretir. Son nesil sistemlerde ise ECAPA-TDNN (Emphasized Channel Attention, Propagation and Aggregation in TDNN) mimarisi öne çıkmaktadır; bu yapı kısa ve uzun vadeli konuşma özelliklerini birlikte modeller. Konuşmacı doğrulama iki senaryoda çalışır: metne bağımlı (text-dependent) sistemler kullanıcıdan belirli bir parola cümlesi söylemesini isterken, metinden bağımsız (text-independent) sistemler serbestçe konuşulan herhangi bir sesi analiz eder. Metinden bağımsız yaklaşımlar daha pratik olmakla birlikte daha zordur; bankacılık çağrı merkezleri, akıllı asistan kimlik doğrulaması ve güvenli kapı sistemleri gibi geniş çaplı uygulamalarda yaygınlaşmaktadır. Sistemin performansı Eşit Hata Oranı (Equal Error Rate — EER) ile ölçülür: yanlış kabul (sahte sesin geçmesi) ile yanlış red (gerçek kullanıcının reddedilmesi) oranlarının eşitlendiği noktayı ifade eder. İyi bir modern sistem EER'i %1'in altında tutar. Azure AI Speech, AWS ve Google Cloud gibi bulut platformları hazır API'lar sunarken, açık kaynak ekosistemde SpeechBrain ve Resemblyzer popüler araçlardır.

arrow_forward code_blocks

Torch Nedir? PyTorch'un Temeli Derin Öğrenme Kütüphanesi (Torch)

Torch, derin öğrenme modellerinin kurulup eğitildiği, GPU hızlandırmalı tensör hesaplama kütüphanesidir; bugün bu ad, Python'da `import torch` komutuyla çağrılan **PyTorch** çerçevesinin çekirdek paketini ifade eder. Yani "torch" ile PyTorch ayrı iki araç değildir: PyTorch projenin adı, `torch` ise kod içinde kullanılan paket adıdır. Hikaye 2001'de İsviçre'deki Idiap Araştırma Enstitüsü'nde C++ tabanlı orijinal Torch ile başladı. Ronan Collobert liderliğindeki ekip 2011'de kütüphaneyi Lua diliyle **Torch7** olarak yeniden yazdı; DeepMind ve Facebook araştırmacıları yıllarca bu sürümü kullandı. 2016'da Meta AI (o dönemki adıyla Facebook AI Research), aynı çekirdek felsefeyi Python'a taşıyarak PyTorch'u yayımladı. Lua tabanlı Torch7'nin geliştirilmesi 2018'de durdu ve tüm ekosistem PyTorch çatısı altında birleşti. 2022'den beri proje, Linux Foundation bünyesindeki **PyTorch Foundation** tarafından bağımsız biçimde yönetiliyor. Torch'u öne çıkaran üç teknik özellik var. Birincisi, NumPy benzeri sezgisel API ile çalışan ve `.to("cuda")` çağrısıyla GPU'ya taşınabilen **tensör** yapısı. İkincisi, geri yayılım (backpropagation) gradyanlarını tek bir `.backward()` çağrısıyla otomatik hesaplayan **Autograd** motoru. Üçüncüsü, hesaplama grafiğini her çalıştırmada anlık kuran **define-by-run** yaklaşımı; bu esneklik, hata ayıklamayı standart Python araçlarıyla yapmayı mümkün kılar. PyTorch 2.x dönemiyle (Aralık 2022'de duyuruldu, 2.0 Mart 2023'te çıktı) tabloya `torch.compile` eklendi: tek satırlık bu çağrı, modeli TorchInductor derleyicisiyle optimize ederek eğitimde tipik olarak %30-200 arası hızlanma getirir. 2025'te yayımlanan 2.6-2.9 sürümleri FP8 desteği, torchao ile nicemleme (quantization) ve Blackwell GPU uyumu gibi yenilikler taşıdı. Rakamlar üstünlüğü net gösteriyor: Hugging Face'teki modellerin %90'ından fazlası PyTorch formatında yayımlanıyor, NeurIPS gibi konferanslardaki uygulamalı makalelerin yaklaşık %80'i PyTorch kullanıyor. GPT, Llama ve Stable Diffusion gibi modellerin eğitim altyapısı da torch üzerine kurulu. Türkiye'de üniversite laboratuvarlarından bankacılık ve e-ticaret ekiplerine kadar derin öğrenme çalışan hemen her ekip, ilk satırı `import torch` olan kodlarla üretim yapıyor.

arrow_forward dns

TPU (Tensor Processing Unit) (Tensör İşlem Birimi)

TPU (Tensor Processing Unit), Google tarafından büyük ölçekli makine öğrenimi iş yüklerini, özellikle derin sinir ağı eğitimini ve çıkarsama işlemlerini hızlandırmak için tasarlanmış özel amaçlı bir entegre devre (ASIC — Application-Specific Integrated Circuit). 2016 yılında Google'ın dahili kullanım için geliştirdiği bu donanım, 2018'den itibaren Google Cloud üzerinden dış kullanıcılara da sunulmuştur. TPU'lar, matris çarpma işlemlerine (matrix multiplication) özelleşmiş yapılarından dolayı standart CPU ve GPU'dan farklılaşır. Derin öğrenme modellerindeki en hesaplama yoğun operasyon — örneğin transformer'ların dikkat hesaplaması veya konvolüsyonel katmanlar — matris çarpımı içerir. TPU'nun Systolic Array mimarisi bu operasyonu paralel ve yüksek bant genişliğiyle gerçekleştirir. Systolic Array'de matris elemanları bir dizi hesaplama birimine dalga biçiminde akar; bu yaklaşım bellekten okuma sayısını minimize ederek bellek bant genişliğini verimli kullanır. TPU sürümleri tarihsel gelişimi yansıtır: TPU v1 (2016) yalnızca çıkarsama yaparken; TPU v2 ve v3 hem eğitim hem çıkarsamayı destekler. TPU v4 ile birlikte büyük dil modellerinin (LLM) eğitimi için optimize özellikler eklendi. 2024'te duyurulan TPU v6 Trillium ise enerji verimliliği ve çip başına hesaplama yoğunluğunu daha da artırdı. Google'ın PaLM, Gemini ve AlphaFold modelleri TPU kümelerinde (pod) eğitilmiştir. Google Cloud TPU Pod'ları, binlerce TPU çekirdeğini yüksek bant genişlikli ağla birleştirir. TPU v4 Pod 4.096 çip ve 600 Gbps ağ bağlantısı içerir. Bu mimari, model paralelliği ve veri paralelliğini eş zamanlı uygulamaya olanak tanır: model çok büyükse katmanlar çiplere bölünür, veri büyükse her çip farklı mini-batch işler. Gemini Ultra bu ölçekte bir altyapıda eğitilmiştir. Yazılım açısından JAX, TensorFlow ve PyTorch XLA ile TPU'lar programlanabilir. JAX, Python kodunu XLA (Accelerated Linear Algebra) derleyicisiyle TPU üzerinde çalıştırır; jax.jit() ile fonksiyon derlenir, pmap() ile çok cihazlı paralel yürütme yapılır. Kullanıcılar Google Colab veya Cloud TPU aracılığıyla TPU'ya erişebilir. Google Research TPU programı ise araştırmacılara ücretsiz erişim imkânı tanır.

arrow_forward transform

Transfer Learning (Transfer Öğrenme)

Transfer Öğrenme (Transfer Learning), büyük ve kapsamlı veri kümeleriyle önceden eğitilmiş bir modelin öğrendiği bilgiyi, farklı ama ilişkili başka bir göreve aktarma tekniğidir. Geleneksel makine öğrenmesinde her görev için model sıfırdan eğitilirdi; bu yöntem hem milyonlarca etiketli örnek hem de aylarca süren hesaplama gücü gerektiriyordu. Transfer öğrenmede iki temel aşama birbirini tamamlar: ön eğitim (pre-training) ve ince ayar (fine-tuning). Ön eğitim aşamasında model, geniş kapsamlı bir veri kümesiyle genel bilgi edinir. GPT modellerinin internet metinleriyle dil kalıplarını kavraması ya da ResNet'in ImageNet üzerindeki 14 milyon görüntüyle şekil ve doku özelliklerini çıkarması bu aşamaya örnektir. İnce ayar aşamasında ise bu temel model, çok daha küçük ve görev özgü bir veri kümesiyle yeniden optimize edilir; birkaç yüz örnek bile rekabetçi sonuçlar verebilir. Üç ana strateji öne çıkar. Özellik çıkarma (feature extraction) yönteminde ön eğitimli modelin ağırlıkları dondurulur, yalnızca son katman yeni göreve göre eğitilir. Tam ince ayar (full fine-tuning) tüm ağırlıkları günceller ve daha yüksek doğruluk sunar. LoRA ile PEFT ise küçük adaptör matrisleri ekleyerek hesaplama verimliliğini korur; büyük dil modellerinin ince ayarında standart bir yaklaşım haline gelmiştir. Hangi stratejinin seçileceği, mevcut etiketli veri miktarına ve hedef görevin kaynak görevle olan yakınlığına bağlıdır. Günümüzde BERT, RoBERTa ve LLaMA gibi ön eğitimli modeller, Türkçe duygu analizi, tıbbi metin sınıflandırması ve kod üretimi gibi alanlarda az veriyle yüksek başarı oranları sunmaktadır. Kaynak ve hedef görevler arasındaki büyük farklılık "negatif transfer" riskini doğurur; bu nedenle model ve alan seçimi dikkatli yapılmalıdır. Transfer öğrenme, modern yapay zekanın temel bileşenlerinden biri olarak büyük dil modellerinin geniş kitleler tarafından kullanılmasında belirleyici bir rol üstlenmektedir.

arrow_forward hub

Transformer (Dönüştürücü Mimarisi)

Transformer, 2017'de Google araştırmacılarının 'Attention Is All You Need' makalesiyle tanıttığı ve bugünkü yapay zeka modellerinin büyük bölümünün temelini oluşturan derin öğrenme mimarisidir. Veriyi kelime kelime, sıralı biçimde işleyen RNN ve LSTM modellerinin aksine Transformer, Self-Attention (öz-dikkat) mekanizmasıyla bir dizideki tüm öğeleri aynı anda işler: her kelime, cümledeki diğer tüm kelimelerle ilişkisini eşzamanlı hesaplar. Bu paralel çalışma biçimi iki büyük sorunu birden çözer. Birincisi, GPU'ların matris çarpımındaki gücünden tam olarak yararlanıldığı için eğitim çok daha hızlıdır; devasa veri setleriyle milyarlarca parametreli model eğitmek ancak bu mimariyle pratik hale gelmiştir. İkincisi, uzak kelimeler arasındaki bağlamsal ilişkiler kaybolmaz; model uzun bir metnin başındaki bilgiyi sonunda da hatırlar. Her token için Query, Key ve Value vektörleri hesaplanır; bu üç vektörün matematiksel etkileşimi, cümledeki her kelimenin hangi diğer kelimelere ne ölçüde 'dikkat edeceğini' belirler. Transformer'ın önemi dil işlemeyle sınırlı kalmadı. ChatGPT, Claude, Gemini ve Llama gibi büyük dil modellerinin (LLM) tamamı bu mimari üzerine kuruludur. Görüntü tarafında Vision Transformer (ViT) sınıflandırma ve nesne tanımada CNN'lere güçlü bir alternatif oldu; Whisper konuşma tanımada, AlphaFold 2 ise protein yapısı tahmininde aynı temeli kullanır. Mimarinin kritik bir özelliği öngörülebilir ölçeklenmesidir: parametre, veri ve hesaplama arttıkça performans da düzenli biçimde artar. Bu ölçekleme yasaları son yılların yapay zeka araştırma gündemini belirlemiş; GPT-2'den itibaren her nesil modelde gözlemlenen tutarlı performans artışı, araştırmacıları modelleri büyütmeye yöneltmiştir. Standart dikkat mekanizmasının karesel hesaplama maliyeti nedeniyle FlashAttention ve kayan pencere dikkati gibi verimlilik teknikleri aktif bir araştırma alanı olmayı sürdürmektedir. Çok modlu Transformer'lar metin, görüntü, ses ve video gibi farklı veri türlerini tek bir model içinde işleyerek yapay zekanın uygulama sınırlarını daha da genişletmektedir.

arrow_forward trending_down

Vanishing Gradient Problem (Kaybolan Gradyan Problemi)

Kaybolan Gradyan Problemi (Vanishing Gradient Problem), derin sinir ağlarında geri yayılım (backpropagation) sırasında gradyanların ağın giriş katmanlarına doğru ilerledikçe üstel biçimde küçülmesi ve pratikte sıfıra yaklaşmasıyla ortaya çıkan eğitim istikrarsızlığıdır. Bu durum, girişe yakın katmanların neredeyse hiç güncellenmemesine ve dolayısıyla ağın düzgün öğrenememesine yol açar. Sorunun matematiksel kökü, zincir kuralındaki çarpım yapısındadır. Sigmoid veya tanh aktivasyon fonksiyonlarının türevleri en fazla 0.25 değerini alır; bu nedenle L katmanlı bir ağda gradyan, geri yayılım sırasında her katmanda bu faktörle çarpılarak L. kuvvet kadar küçülür. 10 katmanlı bir ağda 0.25^10 ≈ 0.000001'lik bir küçülme, girişe yakın ağırlıkların güncellenmesini fiilen imkânsız hale getirir. Problem ilk kez Sepp Hochreiter tarafından 1991'deki diplom tezinde sistematik olarak analiz edilmiştir. Modern derin öğrenme, bu sorunu büyük ölçüde çözen birkaç teknik geliştirmiştir. **ReLU (Rectified Linear Unit)** aktivasyon fonksiyonu, pozitif değerler için türevi sabit 1 olarak tutar; bu sayede gradyan çarpımları zincirde birikmez. **Batch Normalization**, her katmanın çıkışını normalize ederek gradyan akışını düzenler ve çok daha derin ağların eğitilmesini mümkün kılar. **Skip Connection (artık bağlantı)**, He et al.'ın ResNet makalesinde (2015) önerilmiş; gradyanın katmanları atlayarak doğrudan önceki katmanlara akmasını sağlar ve 152 katmanlı ağların başarıyla eğitilmesine olanak tanımıştır. **LSTM (Long Short-Term Memory)**, kaybolan gradyan problemini aşmak amacıyla özel hücre geçiti mekanizmasıyla tasarlanmış bir RNN mimarisidir; Hochreiter & Schmidhuber tarafından 1997'de önerilmiştir. Kaybolan gradyan probleminin karşıtı olan **Patlayan Gradyan (Exploding Gradient)** sorununda ise gradyanlar kontrol edilemez biçimde büyür. Bu ikisi birlikte derin öğrenmenin iki temel eğitim istikrarsızlığını oluşturur. Patlayan gradyan için gradient clipping (gradyan kırpma) tekniği yaygın biçimde kullanılır. Günümüzde bu sorunların çözülmüş olması, yüzlerce hatta binlerce katmanlı ağların başarıyla eğitildiği modern derin öğrenme mimarilerinin zeminini hazırlamıştır.

arrow_forward flare

Variational Autoencoder (VAE) (Varyasyonel Oto-Kodlayıcı)

Variasyonel Otokodlayıcı (VAE — Variational Autoencoder), gizli uzayda (latent space) olasılıksal bir dağılım öğrenerek yeni veri örnekleri üretebilen üretken derin öğrenme modelidir. 2013 yılında Kingma ve Welling tarafından önerilen VAE, otokoderın gizli uzay temsilini deterministik bir noktadan ibaret olmak yerine olasılıksal bir dağılım (çoğunlukla Gaussian) olarak modellemektedir. VAE mimarisinin iki ana bileşeni vardır: kodlayıcı (encoder) ve kod çözücü (decoder). Encoder, girdi verisini gizli uzaydaki bir ortalama (mean) ve varyans vektörü olarak kodlar; gerçek gizli vektör bu Gaussian dağılımından örneklenir. Decoder, bu gizli vektörü orijinal veri uzayına geri dönüştürmeye çalışır. Eğitim sırasında iki kayıp terimi vardır: yeniden yapım kaybı (reconstruction loss — girdinin çıktıya ne kadar benzediği) ve KL sapma kaybı (KL divergence — gizli dağılımın standart normale ne kadar yakın olduğu). Bu iki terimin toplamı ELBO (Evidence Lower BOund) adını alır ve VAE'nin maksimize etmeye çalıştığı hedeftir. Reparametrizasyon hilesi (reparameterization trick) eğitimi mümkün kılan kritik adımdır: örnekleme operasyonu türevlenebilir değildir, bu nedenle z = mu + sigma * epsilon formülüyle epsilon ~ N(0,1) sabit rastgelelikten gelir. Böylece gradyan mu ve sigma üzerinden akar ve model geri yayılım ile eğitilir. GAN'larla (Generative Adversarial Network) karşılaştırıldığında VAE'nin eğitimi daha kararlıdır; ancak üretilen örnekler çoğu zaman daha bulanık görünür. GAN'lar çok daha keskin görseller üretse de eğitim kararsızlığı ve mod çöküşü (mode collapse) sorunlarıyla mücadele eder. Diffusion modelleri ise her iki yaklaşımın dezavantajlarını büyük ölçüde aşarak görsel kalitede yeni bir standart belirlemiştir. VAE'nin gizli uzayının düzgün ve yapılandırılmış (smooth, structured latent space) olması onu yorumlanabilir temsil öğrenmesi (disentangled representation learning) için çekici kılar. beta-VAE KL ağırlığını artırarak her gizli boyutun farklı anlam taşımasını hedefler. VQ-VAE gizli uzayı süreksiz (discrete) yapar; bu özellik DALL-E 1 ve dil modeli tabanlı görsel kodlama sistemleri için önem taşır. Uygulama alanları; görüntü üretimi, anomali tespiti, eksik veri doldurma, yüz sentezi ve ilaç keşfinde molekül uzayında anlamlı interpolasyonu kapsar.

arrow_forward grid_goldenratio

Vector Space (Vektör Uzayı)

Vektör uzayı (vector space), matematiksel olarak vektörlerin tanımlandığı ve bu vektörler üzerinde toplama ile skaler çarpma işlemlerinin belirli aksiyomları karşılayacak şekilde gerçekleştirilebildiği soyut bir yapıdır. Makine öğrenmesi ve yapay zeka bağlamında ise vektör uzayı, veri noktalarının (metin, görüntü, ses, kullanıcı davranışı gibi) sayısal temsillere dönüştürüldüğü ve bu temsiller arasındaki anlamsal ilişkilerin geometrik mesafe ve yön kavramlarıyla ifade edildiği çok boyutlu bir uzaydır. Doğal dil işleme alanında kelime gömmeleri (word embeddings) bu kavramın en çarpıcı uygulamasını sunar. Word2Vec, GloVe ve fastText gibi modeller, her kelimeyi vektör uzayında bir noktayla temsil eder; anlamca yakın kelimeler geometrik olarak da birbirine yakın konumlanır. Bu sayede "kral - adam + kadın = kraliçe" gibi vektör aritmetiği işlemleri anlam taşıyan sonuçlar verir. Benzer ilişkiler ülke-başkent çiftlerinde, fiil zamanlarında ve cinsiyet analoglarında da gözlemlenir. Transformatör tabanlı dil modellerinde (BERT, GPT, LLaMA) ise gizli katmanların ürettiği gömme vektörleri latent space (gizil uzay) olarak adlandırılır. Bu yüksek boyutlu uzay, modelin öğrendiği soyut özellikleri barındırır; benzer semantik yapıdaki girdiler bu uzayda yakın kümelerde bulunur. Retrieval-Augmented Generation (RAG) sistemlerinde belgeler ve sorgular bu uzayda temsil edilerek kosinüs benzerliğiyle eşleştirilir. Görüntü işlemede CNN ve Vision Transformer modelleri, pikselleri vektör uzayındaki noktalara dönüştürür ve nesne tanıma, yüz tanıma ile stil aktarımı gibi işlemleri bu uzay üzerinde gerçekleştirir. Öneri sistemlerinde kullanıcı ve ürün vektörleri aynı uzaya gömülerek etkileşim olasılığı hesaplanır. Vektör veritabanları (Pinecone, Weaviate, Milvus) bu vektörleri indeksleyerek milyonlarca boyut arasında milisaniyeler içinde benzerlik araması yapar. Boyutsallık laneti (curse of dimensionality) yüksek boyutlu uzaylarda mesafe metriklerinin anlamsızlaşmasına yol açabilir; bu nedenle boyut indirgeme teknikleri (PCA, UMAP, t-SNE) ve Yaklaşık En Yakın Komşu (ANN) algoritmaları modern yapay zeka sistemlerinin vazgeçilmez araçlarıdır.

arrow_forward code_blocks

Veri Bilimi (Veri Bilimi)

Veri bilimi; ham veri setlerinden anlamlı içgörüler, örüntüler ve tahminler çıkarmak için istatistik, matematik, makine öğrenmesi ve bilgisayar bilimini bir araya getiren disiplinlerarası bir alandır. İş dünyasından sağlık bilimine, finans sektöründen sosyal medya analizine kadar geniş bir yelpazede uygulanır. Bir veri bilimi projesi genellikle beş temel aşamadan oluşur: veri toplama ve temizleme (veri setlerinin %60-80'i bu aşamaya ayrılır), keşifsel veri analizi (EDA), model geliştirme ve eğitim, model değerlendirme ile son olarak dağıtım ve izleme. Bu süreç, CRISP-DM (Cross-Industry Standard Process for Data Mining) metodolojisiyle standart hale getirilmiştir. Python ve R, veri biliminin iki temel programlama dilidir. Python ekosistemi —Pandas, NumPy, Scikit-learn, TensorFlow ve PyTorch— endüstri standardı haline gelmiştir. SQL ise yapılandırılmış veritabanlarıyla çalışmak için vazgeçilmezdir. Veri bilimcisi olmak; istatistiksel düşünme, kodlama becerisi ve alan uzmanlığı üçgenini gerektirdiğinden bu meslektaşlar iş dünyasında oldukça değerlidir. 2024 verilerine göre ABD'de median veri bilimcisi maaşı yıllık 130.000 dolar civarındadır. Türkiye'de ise deneyimli veri bilimcilere olan talep her yıl hızla artmaktadır. Yapay zeka ve büyük dil modellerinin (LLM) yükselişiyle birlikte veri bilimi alanı derin bir dönüşüm geçirmektedir. Kod üretme, veri temizleme otomasyonu ve doğal dil tabanlı analiz gibi görevlerde yapay zeka desteği standart hale gelmektedir; bu durum veri bilimcilerin daha stratejik ve yüksek değerli işlere odaklanmasını mümkün kılmaktadır. MLOps ve LLMOps pratiklerinin olgunlaşmasıyla birlikte veri bilimciler artık yalnızca model kurmakla kalmıyor, üretim sistemlerini tasarlıyor ve izliyor. Veri kalitesi, önyargı tespiti ve yorumlanabilirlik (explainability) gibi konular modern veri bilimcinin temel sorumluluk alanına girmiş bulunmaktadır. Ayrıca büyük kuruluşlarda veri mühendisliği, veri analitiği ve makine öğrenmesi mühendisliği rolleriyle iç içe geçen veri bilimi, günümüzde çok boyutlu bir kariyer yoluna dönüşmüştür.

arrow_forward code_blocks

Veri Seti (Veri Seti)

Veri seti (İngilizce: dataset), makine öğrenimi ve yapay zeka modellerinin eğitilmesinde, doğrulanmasında ve test edilmesinde kullanılan yapılandırılmış veri koleksiyonudur. Her yapay zeka sisteminin temeli kaliteli veri setlerine dayanır; en sofistike algoritmalar bile yetersiz ya da önyargılı verilerle başarısız olur. Bir veri seti genellikle üç alt kümeye ayrılır. Eğitim seti (training set), modelin örüntüleri ve ilişkileri öğrendiği ana veri kümesidir; toplam verinin yaklaşık yüzde yetmiş ila seksenini oluşturur. Doğrulama seti (validation set), geliştirme sürecinde hiperparametrelerin ayarlanması ve aşırı uyumun (overfitting) önlenmesi için kullanılan ara değerlendirme kümesidir. Test seti ise yalnızca nihai değerlendirmede kullanılır; modelin hiç görmediği bu veriler, gerçek dünya genelleme kapasitesinin tarafsız ölçütünü sağlar. Yaygın bölünme oranı 80/10/10 olmakla birlikte, veri kümesinin büyüklüğüne göre bu oranlar ayarlanabilir. Yapay zeka tarihinde kritik rol oynayan çeşitli kıyaslama (benchmark) veri setleri mevcuttur. MNIST, 70.000 el yazısı rakam görüntüsünden oluşur ve derin öğrenme için standart giriş veri setidir. ImageNet, 14 milyondan fazla etiketlenmiş görüntü içerir; AlexNet modelinin 2012 deki çığır açan başarısı bu veriyle elde edilmiştir. COCO (Common Objects in Context), 330.000 i aşkın görüntüyle nesne algılama ve segmentasyon görevlerinin altın standardıdır. Common Crawl ise petabaytlarca web sayfasını barındıran dev bir açık kaynak olup GPT-4, Llama ve hemen tüm büyük dil modellerinin ön eğitim sürecinde kullanılmaktadır. Bir veri setinin kalitesini belirleyen dört ana faktör vardır: boyut, etiket doğruluğu, çeşitlilik ve sınıf dengesi. Düşük etiket kalitesi model doğruluğunu yüzde otuza kadar düşürebilirken, dengesiz sınıf dağılımı modeli azınlık sınıflarını tanımakta yetersiz kılar. Veri seti önyargısı (dataset bias) özellikle dikkat gerektiren bir sorundur: tarihsel ayrımcılık barındıran eğitim verileri bu önyargıyı model çıktısına taşır. Örneğin yalnızca açık tenli yüzlerle eğitilen yüz tanıma sistemleri koyu tenli bireylerde anlamlı biçimde daha yüksek hata oranı üretmektedir. Veri zehirlenmesi (data poisoning) önemli bir güvenlik tehdididir: saldırganlar eğitim setine kasıtlı olarak bozuk örnekler ekleyerek modelin davranışını manipüle eder. Araştırmalar, sağlık alanındaki AI sistemlerinin yalnızca 100-500 zehirli örnekle yüzde altmışın üzerinde olasılıkla tehlikeye atılabildiğini ortaya koymaktadır. Türkçe doğal dil işleme açısından önemli bir not: Türkçe veri setleri İngilizce emsallerine kıyasla çok daha sınırlı ölçekte kalmaktadır. Bu durum, Türkçe NLP modellerini düşük kaynaklı dil (low-resource language) kategorisinde bırakmakta ve İngilizce modellerine kıyasla daha düşük performans sergilemelerine yol açmaktadır.

arrow_forward record_voice_over

Voice Conversion (Ses Dönüştürme)

Ses dönüştürme (Voice Conversion), kaynak konuşmacıya ait bir ses kaydındaki dilsel içeriği — söylenen kelimeler ve ifadeler — koruyarak ses tonu, tını, formantlar ve fonetik özellikleri hedef konuşmacının ses kimliğiyle yeniden üretme teknolojisidir. Konuşma işleme alanının önemli bir alt dalı olan bu teknoloji, son yıllarda derin öğrenme yöntemlerinin güçlenmesiyle birlikte müzik üretimi, oyun sesi ve erişilebilirlik uygulamalarında yaygın bir kullanım alanı bulmaktadır. Ses dönüştürme sistemleri üç ana aşamadan oluşur. Özellik çıkarma aşamasında kaynak ses kaydı mel-spektrogram temsiline dönüştürülür; temel frekans (F0) ve fonetik içerik HuBERT veya ContentVec gibi öz-denetimli modellerle ses kimliğinden ayrıştırılır. Bu aşama "ne söylendiğini" kimlikten bağımsız biçimde temsil etmenin temelidir. Konuşmacı dönüşümü aşamasında kaynak konuşmacıya özgü tını, formant yapısı ve ses kalitesi parametreleri, hedef konuşmacının öğrenilmiş ses vektörüne (speaker embedding) eşlenir. Ses yeniden sentezi aşamasında ise dönüştürülmüş spektral özelliklerden ham ses dalgası üretilir; HiFi-GAN ve BigVGAN gibi nöral vocoderlar bu adımda yüksek kaliteli çıktı üretir. Mimariler açısından bakıldığında VAE tabanlı yaklaşımlar ses özelliklerini latent uzayda temsil ederek konuşmacı kimliği ile içeriği ayrıştırır; eşleştirilmiş veriye ihtiyaç duymaz. CycleGAN-VC eşleştirilmemiş verilerle döngüsel tutarlılık kaybı üzerinden çalışır. Difüzyon modelleri Gaussian gürültüden başlayarak yüksek doğallıkta ses üretir; hesaplama maliyeti görece daha yüksektir. RVC (Retrieval-based Voice Conversion) ise 2023'te açık kaynak olarak yayımlandıktan sonra düşük gecikme ve yüksek ses kalitesiyle en yaygın kullanılan araç haline gelmiştir. Teknoloji erişilebilirlik alanında da anlamlı katkılar sunmaktadır: konuşma bozukluğu olan bireyler için sesleri daha anlaşılır biçime dönüştürmek, larenjektomi hastalarına yeni bir ses kazandırmak ve çok dilli içeriklerde doğal seslendirme üretmek bunların başında gelmektedir. Gerçek zamanlı sistemlerde gecikme 100 ms'nin altına indirilerek canlı yayın ve oyun uygulamalarında kullanılabilir hale getirilmiştir. Deepfake ses üretimiyle kesişen etik boyutu nedeniyle teknoloji, ses doğrulama ve sahtekarlık tespiti araştırmalarını da beraberinde getirmektedir.

arrow_forward shield

Adversarial Examples (Düşmanca Örnekler)

Adversarial Examples (Düşmanca Örnekler), derin öğrenme modellerinin karar sınırlarındaki kırılgan noktaları istismar etmek amacıyla orijinal giriş verisine matematiksel olarak hesaplanmış küçük ama kasıtlı pertürbasyonlar eklenerek oluşturulan ve modelin yanlış sınıflandırma yapmasına ya da beklenmedik çıktı üretmesine yol açan özel saldırı girdileridir. Pertürbasyonlar çoğunlukla insan algı eşiğinin altında kalır; başka bir deyişle değiştirilmiş görüntü ya da metin insana özgün ile özdeş görünür, ancak model bunu tamamen farklı bir sınıf olarak sınıflandırır. Ian Goodfellow, Jonathon Shlens ve Christian Szegedy 2014 yılında yayımladıkları 'Explaining and Harnessing Adversarial Examples' başlıklı seminal çalışmada, Fast Gradient Sign Method (FGSM) ile herhangi bir görüntü üzerinde modelin kaybının gradyanı yönünde epsilon büyüklüğünde tek adımlık bir güncellemenin modeli yanıltmaya yettiğini gösterdi. Bu keşif, saldırı-savunma silahlanma yarışının fitilini ateşledi. Saldırı türleri iki temel eksende ayrılır. Gradient tabanlı beyaz kutu (white-box) saldırılar modelin ağırlıklarına tam erişimle çalışır: FGSM tek adımlı ve hızlıdır; Projected Gradient Descent (PGD) yinelemeli ve çok daha güçlüdür; Carlini & Wagner (C&W) en küçük pertürbasyon normuyla en yüksek yanıltma başarısını hedefler. Siyah kutu (black-box) saldırılar ise yalnızca model çıktısına erişimle tahmin saldırısı yapar; adversarial pertürbasyonların modeller arasında aktarılabilirliği (transferability) bu saldırıları pratikte tehlikeli kılar. Savunma yöntemlerinin başında adversarial training gelir: modeli adversarial örnekler de dahil edilerek yeniden eğitmek, bilinen saldırılara karşı dayanıklılığı artırır, ancak daha güçlü yeni saldırılara karşı yeterli olmayabilir. Certified defense yaklaşımları (Randomized Smoothing, interval bound propagation) matematiksel olarak kanıtlanmış dayanıklılık garantisi sunar; input preprocessing, feature squeezing ve detection-based yöntemler de kullanılan katmanlı savunma stratejileri arasındadır. Adversarial Examples artık sadece görüntü sınıflandırmasında değil, LLM jailbreak'inde, konuşma tanıma sistemlerinde, nesne tespitinde ve otonom araç algı sistemlerinde doğrudan güvenlik tehdidi oluşturmaktadır. NIST AI RMF ve AB Yapay Zeka Kanunu bu tür saldırılara karşı dayanıklılık gerekliliklerini çerçeveleyen düzenleyici belgeler arasındadır.

arrow_forward manage_search

Mechanistic Interpretability (Mekanistik Yorumlanabilirlik)

Mekanistik Yorumlanabilirlik (Mechanistic Interpretability), yapay sinir ağlarının iç hesaplama mekanizmalarını tersine mühendislik yöntemleriyle anlama ve açıklama çabasıdır. Bu disiplin, büyük dil modelleri ve derin öğrenme sistemlerinin "kara kutu" olarak adlandırılan opak yapısını çözerek hangi nöronların hangi kavramları kodladığını, hangi devrelerin (circuit) belirli hesaplamaları yürüttüğünü ve bu bileşenlerin birbirleriyle nasıl etkileşime girdiğini açıklamayı hedefler. Alan üç soyutlama katmanı üzerinde yoğunlaşır: Nöron düzeyinde tek bir aktivasyon biriminin hangi özellikleri (feature) temsil ettiği incelenir; devre düzeyinde nöronlar ve dikkat kafaları arasındaki örüntüler haritalanır; algoritma düzeyinde ise modelin gerçekleştirdiği üst düzey hesaplamaların soyut açıklaması yapılır. Bu hiyerarşi, "modelde ne oluyor?" sorusunu aşamalı olarak yanıtlamayı mümkün kılar. Başlıca araçlardan biri Seyrek Otokodlayıcılardır (Sparse Autoencoder — SAE). SAE'ler, modelin iç aktivasyonlarını yorumlanabilir, monosemantik (tek anlamlı) özelliklere ayrıştırarak polisemantikliği (bir nöronun birden fazla kavramı kodlaması) azaltır. Anthropic'in geliştirdiği devre izleme (circuit tracing) tekniği, Claude 3.5 Haiku üzerinde çok adımlı akıl yürütme, halüsinasyon ve reddedişler (refusal) konusunda nedensel haritalar üretmiştir. Google DeepMind ise benzer teknikleri dil ve görüntü modellerine uygulamıştır. 2026 yılında MIT Breakthrough Technology listesine giren mekanistik yorumlanabilirlik; AI güvenliği, model denetimi, halüsinasyon tespiti ve kötüye kullanım önleme açısından kritik bir altyapı haline gelmiştir. Anthropic, Google DeepMind ve EleutherAI bu alanda öncü araştırma gruplarıdır. Alan 2021'de yalnızca bir avuç araştırmacıya sahipken 2026'da yüzlerce aktif katkıcıya ulaşmıştır. Araştırmacıların kullandığı temel deneysel yöntemlerden biri aktivasyon yamalamadır (activation patching): bir modelin belirli bir bileşeni kontrollü biçimde değiştirilerek bu bileşenin nihai çıktıya katkısı ölçülür. Bu yöntem, hangi devrenin hangi göreve nedensel olarak bağlı olduğunu doğrulamak için kritiktir. Lineer temsil sondalaması (linear probing) ise model katmanları arasındaki bilginin hangi noktada kodlandığını saptamak için kullanılır. Bu araçlar, mekanistik yorumlanabilirliği salt gözlemsel değil, nedensellik odaklı bir disiplin haline getirir.

arrow_forward cable

NVLink (GPU Ara Bağlantısı)

NVLink, NVIDIA'nın GPU'lar arasında doğrudan, yüksek bant genişlikli ve düşük gecikmeli veri aktarımı kuran özel ara bağlantı teknolojisidir. Geleneksel PCIe veri yolunda GPU'lar birbirleriyle CPU üzerinden haberleşmek zorundadır; NVLink bu dolambaçlı yolu ortadan kaldırır ve bir GPU'nun diğerinin belleğine doğrudan erişmesine izin verir. Büyük dil modellerinin eğitiminde onlarca, hatta yüz binlerce GPU'nun aynı anda çalıştığı 2026 ortamında bu doğrudan bağlantı, çok-GPU sistemlerinin temel yapı taşı hâline geldi. Teknoloji 2016'da Pascal mimarili P100 GPU ile 160 GB/s toplam bant genişliğiyle tanıtıldı. Volta (V100) ile 300 GB/s'ye, Ampere (A100) ile 600 GB/s'ye, Hopper (H100/H200) ile 900 GB/s'ye çıkan değer, Blackwell (B200/GB200) mimarisindeki NVLink 5.0'da GPU başına 1,8 TB/s'ye ulaştı. Karşılaştırmak gerekirse PCIe 5.0 x16 yaklaşık 128 GB/s taşır; NVLink 5.0 bunun yaklaşık 14 katıdır. NVIDIA'nın yol haritasında 2026 sonunda gelmesi beklenen Vera Rubin platformuyla NVLink 6.0'ın bant genişliği GPU başına 3,6 TB/s'ye çıkacak. İkiden fazla GPU'yu birleştirmek için NVIDIA, NVSwitch anahtar yongasını geliştirdi. NVSwitch, tüm GPU'ları all-to-all (herkesten herkese) topolojide eşit bant genişliğiyle bağlar. Bu mimarinin en çarpıcı örneği GB200 NVL72 rafıdır: 72 Blackwell GPU tek bir NVLink alanında birleşir ve toplam 130 TB/s NVLink bant genişliğiyle tek bir dev GPU gibi programlanır. Mayıs 2025'te duyurulan NVLink Fusion programı, teknolojiyi ilk kez üçüncü taraflara açtı: MediaTek, Marvell, Fujitsu ve Qualcomm gibi firmalar kendi CPU ve özel yongalarını NVIDIA GPU'larına NVLink ile bağlayabiliyor. Buna karşılık AMD, Intel, Google ve Microsoft'un başını çektiği UALink konsorsiyumu, NVLink'e açık standart bir alternatif geliştirmeye çalışıyor. GPT-4 sonrası devasa modellerin eğitiminde gradyan senkronizasyonu ve tensor paralelliği trafiği PCIe kapasitesini kolayca aştığından, NVLink bugün yapay zeka altyapısındaki en kritik rekabet alanlarından biridir.

arrow_forward accessibility_new

Pose Estimation (Poz Tahmini)

Poz Tahmini (Pose Estimation), görüntü veya video karelerinden insan vücudunun anatomik eklem noktalarını (keypoints) otomatik olarak tespit eden ve bu noktalar arasındaki bağlantılarla iskelet yapısı oluşturan bir bilgisayarlı görü tekniğidir. Omuzlar, dirsekler, bilekler, kalçalar, dizler ve ayak bilekleri gibi 17 ila 133 arası değişen sayıda eklem noktası tahmin edilerek kişinin tüm vücut duruşu sayısal olarak modellenir. Teknoloji iki temel boyut üzerinde sınıflandırılır. İki Boyutlu (2B) Poz Tahmini, görüntüdeki piksel koordinatlarında x ve y değerleri olarak eklem noktalarını belirler; hesaplama yükü düşüktür ve gerçek zamanlı uygulamalarda öne çıkar. Üç Boyutlu (3B) Poz Tahmini ise derinlik (z) bilgisini de hesaba katarak gerçek dünya koordinatlarında iskelet çıkarır; bu yöntem biyomekanik analiz ve spor performansı ölçümü için tercih edilir. Mimari yaklaşımlar açısından iki temel strateji mevcuttur. Yukarıdan Aşağıya (Top-Down) yöntemde önce bir nesne tespiti modeliyle her kişi çerçevelenir, ardından her birey için poz ayrıca hesaplanır; bu yaklaşım doğruluk açısından üstündür. Aşağıdan Yukarıya (Bottom-Up) yöntemde ise görüntüdeki tüm eklem noktaları tek seferde tahmin edilip bireylere atanır; kalabalık sahnelerde daha verimli çalışır. Alandaki öncü araçlar şunlardır: Carnegie Mellon Üniversitesi'nin geliştirdiği OpenPose (2017) çok kişili poz tahmininde referans çalışma olmuştur; Google'ın MediaPipe BlazePose mimarisi 30 FPS'in üzerinde gerçek zamanlı mobil çalışma sağlar; transformer tabanlı ViTPose ve ViTPose++ ise COCO ve MPII başarım ölçütlerinde en yüksek sonuçları elinde tutmaktadır. Uygulama alanları son derece geniştir: spor performansı analizi ve koçluk, fizyoterapi ve rehabilitasyon takibi, artırılmış ve sanal gerçeklik etkileşimi, oyun kontrolü, güvenlik kamerasında davranış analizi, endüstriyel ergonomi denetimi ve insansız araç sistemlerinde insan algısı bu alanların başında gelir. Temel teknik zorluklar arasında örtülme (occlusion), kıyafet çeşitliliği nedeniyle görünüm değişkenliği, bakış açısı belirsizliği ve kaynakları sınırlı cihazlarda gerçek zamanlı işleme bulunmaktadır. Derin öğrenme yöntemleri ve büyük ölçekli veri setleri bu zorlukların büyük bölümünü aşmayı başarmıştır.

arrow_forward hub

Residual Network (ResNet) (Artık Ağ (ResNet))

Residual Network (ResNet), derin sinir ağlarındaki gradyan kaybı problemini atlama bağlantıları (skip connections) ile çözen ve yüzlerce katmanlı ağların eğitimini mümkün kılan derin öğrenme mimarisidir. 2015 yılında Kaiming He, Xiangyu Zhang, Shaoqing Ren ve Jian Sun tarafından Microsoft Research'te geliştirildi; "Deep Residual Learning for Image Recognition" makalesi 250 binden fazla atıfla derin öğrenme tarihinin en çok referans verilen çalışmalarından biridir. ResNet-152, ILSVRC 2015 (ImageNet) yarışmasını yüzde 3,57 top-5 hata oranıyla kazandı ve insan seviyesi kabul edilen yüzde 5 sınırının altına indi. ResNet'ten önce ağ derinleştikçe doğruluk artacağına düşüyordu: 56 katmanlı düz bir ağ, 20 katmanlı olandan hem eğitim hem test setinde daha kötü sonuç veriyordu. Bu bozunma (degradation) sorununun kaynağı, geri yayılım sırasında hata sinyalinin katmanlar boyunca üstel olarak küçülmesi, yani gradyan kaybıydı. ResNet'in temel fikri artık öğrenmedir (residual learning). Klasik bir katman hedef dönüşüm H(x)'i doğrudan öğrenmeye çalışır; ResNet bloğu ise yalnızca artığı, F(x) = H(x) − x farkını öğrenir ve çıktıyı F(x) + x toplamıyla üretir. Eklenen kimlik kısayolu (identity shortcut) ek parametre getirmez, gradyanın alt katmanlara engelsiz akmasına izin verir ve bir katmanın işlevsiz kalması gerektiğinde F(x)'in sıfıra itilmesini yeterli kılar. Varyantlar katman sayısıyla anılır: ResNet-18, 34, 50, 101 ve 152. ResNet-50'den itibaren 1×1 → 3×3 → 1×1 konvolüsyonlu bottleneck bloklar hesap yükünü düşürür; ResNet-50 yaklaşık 25,6 milyon parametre ve 4,1 GFLOP ile hız-doğruluk dengesinin endüstri standardı olmuştur. Artık bağlantı fikri bilgisayarla görmenin ötesine taştı: Transformer mimarisinin her katmanı, dolayısıyla GPT-5, Claude Opus 4.5 ve Gemini 3 gibi 2026'nın büyük dil modelleri aynı prensiple çalışan bir residual stream üzerine kuruludur. Nesne tespiti (Faster R-CNN, YOLO ailesi), anlamsal bölütleme, tıbbi görüntü analizi ve uydu görüntüsü işleme alanlarında ResNet omurgaları hâlâ referans modeldir.

arrow_forward layers

Semantic Segmentation (Semantik Bölütleme)

Semantik bölütleme (semantic segmentation), bir görüntüdeki her pikseli belirli bir anlam kategorisiyle etiketleyen bilgisayarla görme görevidir. Nesne tespitinin sınırlayıcı kutular ürettiği ve örnek bölütlemenin aynı sınıftaki nesneleri birbirinden ayırt ettiği aksine; semantik bölütleme pikselleri sınıf düzeyinde sınıflandırır. Çıktı, her piksel için atanmış bir sınıf etiketinden oluşan yoğun bir haritadır. Bu görev, 2014 yılında UC Berkeley'den Long ve arkadaşları tarafından önerilen Tamamen Evrişimli Ağlar (FCN) ile derin öğrenme ekosisteminde köklü bir dönüşüm yaşadı. FCN, kesin piksel tahminlerini üretebilen ilk uçtan uca eğitilebilir mimari olarak kabul edilir; tam bağlantılı katmanları evrişimli katmanlarla değiştirerek değişken boyutlu girdi alabilir hâle geldi. 2015 yılında tıbbi görüntüleme için geliştirilen U-Net, simetrik kodlayıcı-kod çözücü yapısına atlama bağlantıları ekleyerek konumsal bilginin korunmasını sağladı; az örnekli veri kümelerinde bile yüksek başarım gösterdi. Google Brain'in DeepLab serisi, atrous (genişletilmiş) evrişim ile alıcı alanı büyüterek çok ölçekli bağlamı yakaladı. DeepLabV3+ (2018), ayrıntılı bir kod çözücü ekleyerek sınır piksellerindeki doğruluğu belirgin biçimde iyileştirdi. Günümüzde SegFormer ve Mask2Former gibi transformer tabanlı mimariler, küresel dikkat mekanizmasıyla uzun mesafeli bağımlılıkları yakalıyor ve semantik, örnek ile panoramik bölütlemeyi tek yapıda birleştiriyor. Başarım ölçütü olarak mIoU (Mean Intersection over Union) kullanılır. Cityscapes (19 kentsel sınıf), ADE20K (150+ sınıf) ve PASCAL VOC (21 sınıf) temel kıyaslama veri kümeleridir. Özerk araçlar, tıbbi görüntüleme, uydu fotoğrafı analizi ve endüstriyel kalite denetimi en yaygın uygulama alanlarıdır. Gerçek zamanlı çalışması gereken otonom araç sistemlerinde model boyutu ile çıkarım hızı arasındaki denge kritik bir tasarım kararı olmayı sürdürmektedir. Veri etiketleme maliyeti yüksek olduğundan zayıf ve yarı denetimli öğrenme yöntemleri araştırmacılar arasında giderek daha fazla ilgi görmektedir.

arrow_forward code_blocks

Skip Connection Nedir? Atlama Bağlantısı ve Derin Öğrenme (Atlama Bağlantısı)

Skip connection (atlama bağlantısı), derin sinir ağı mimarilerinde bir katmanın girdisinin bir veya daha fazla katman atlanarak ileriki bir katmana doğrudan iletilmesi tekniğidir. 2015 yılında Microsoft Research ekibinin ResNet (Residual Network) mimarisinde popüler hale getirdiği bu yapı, derin öğrenme tarihinin en etkili mimari yeniliklerinden biri olarak kabul edilmektedir. Derin sinir ağlarının temel sorunu, gradyan kaybı (vanishing gradient) problemidir: geri yayılım (backpropagation) sırasında hata sinyali katmanlar boyunca üstel biçimde küçülerek iletilir ve en alt katmanlar öğrenme sürecinden yetersiz yararlanır. 2015 öncesinde 20-30 katmanı aşan ağlar pratikte eğitilemiyordu. Skip connection bu sorunu köklü biçimde çözer. Mathematiksel olarak bir skip connection bloğu şu şekilde ifade edilir: çıktı = F(x) + x. Burada F(x) katmanların öğrendiği artık (residual) dönüşümü, x ise doğrudan iletilen kimlik terimidir. Bu toplama işlemi, gradyanın hem dönüşüm yolundan hem de kesintisiz kimlik yolundan geriye akabilmesini sağlar. Ağ artık hedef çıktıyı sıfırdan öğrenmek yerine yalnızca neyin değişmesi gerektiğini öğrenir; bu da eğitimi hem hızlandırır hem de stabilize eder. Skip connection, yalnızca bilgisayarla görme alanında değil, modern yapay zeka ekosisteminin tamamında kalıcı bir iz bırakmıştır. Transformer mimarisi her encoder ve decoder bloğunda skip connection ile katman normalizasyonunu (layer normalization) birleştiren yapıyı kullanır. GPT, BERT, ViT ve LLaMA gibi büyük dil modelleri ile görüntü dönüştürücülerinde bu tasarım ilkesi temel bir bileşen haline gelmiştir. U-Net medikal görüntülemede encoder-decoder bağlantıları için, DenseNet ise yoğun bağlantı blokları için farklı skip connection türleri kullanır. Skip connection'ın önemi, 2015 ImageNet yarışmasında ResNet-152'nin insan düzeyini aşan yüzde 3.57 hata oranıyla birinci gelmesiyle somutlaşmıştır. Bu sonuç, derin öğrenme topluluğunun ağ derinliğine bakışını kökten değiştirmiş ve yüzlerce hatta binlerce katmanlı modellerin eğitilmesinin önünü açmıştır.

arrow_forward developer_board

Tensor Core (Tensor Çekirdeği)

Tensor Core, NVIDIA'nın 2017'de Volta mimarisiyle (V100) tanıttığı, matris çarpma-biriktirme (Matrix Multiply-Accumulate, MMA: D = A × B + C) işlemini tek saat döngüsünde gerçekleştiren özel donanım birimidir. Derin öğrenme modellerinin hem eğitimi hem çıkarımı dev matris çarpmalarından oluştuğu için bu birimler, modern yapay zekâ hesaplamasının fiili motoru konumundadır. Klasik CUDA çekirdekleri genel amaçlı skaler ve vektör işlemler için tasarlanmıştır; Tensor Core ise sabit işlevli bir matris motorudur. Bir warp (32 iş parçacığı), `wmma` API'si üzerinden 16×16 matrisleri 4×4 bloklara bölerek işler ve aynı hassasiyetteki FP32 CUDA hesabına kıyasla teorik tepe verimini kata katlar: FP16 modunda yaklaşık 8×, düşük bitli formatlarda çok daha fazlası. En kritik yetenek karma hassasiyettir (mixed precision): çarpma FP16, BF16 veya FP8 gibi kısa formatlarda yapılırken biriktirme FP32'de tutulur. Böylece bellek bant genişliği ihtiyacı yarıya iner, model doğruluğu büyük ölçüde korunur. PyTorch'ta `torch.autocast`, TensorFlow'da `tf.keras.mixed_precision` bu donanımı şeffaf biçimde devreye alır; cuBLAS, cuDNN ve TensorRT kütüphaneleri de arka planda Tensor Core kullanır. Nesil gelişimi hızlıdır: Volta FP16 ile başladı, Turing (2018) INT8/INT4 ekledi, Ampere (A100, 2020) TF32, BF16 ve 2:4 yapısal seyreklik getirdi, Hopper (H100, 2022) FP8 ve Transformer Engine ile LLM eğitiminin standardı oldu. Blackwell (B200/GB200, 2024) 5. nesil Tensor Core'larda FP4 ve FP6 formatlarını, 2. nesil Transformer Engine'i ve mikro ölçekleme (MX) veri tiplerini tanıttı; B200 tek başına FP4'te 9 PFLOPS'u aşan yoğun matris verimi sunar. 2026 itibarıyla GPT, Claude, Gemini ve Llama sınıfı modellerin eğitimi on binlerce Blackwell GPU'luk kümelerde, çıkarımı ise FP8/FP4 nicemlemeyle Tensor Core'lar üzerinde koşar; NVIDIA'nın Rubin mimarisi de 2026 yol haritasında aynı çizgiyi sürdürür.

arrow_forward 🖼️

Image Captioning (Görüntü Altyazılama)

Image Captioning (Görüntü Altyazılama), bir görüntünün içeriğini otomatik olarak doğal dilde açıklayan çok modlu (multimodal) yapay zeka tekniğidir. Erişilebilirlik alt metni üretmekten e-ticaret ürün açıklamasına, güvenlik kamerası analizinden tıbbi görüntü raporlamasına uzanan geniş bir kullanım yelpazesine sahiptir. Teknik açıdan modern sistemler encoder-decoder çerçevesine dayanır. Görüntü encoder'ı (ViT, CNN veya bunların birleşimi), piksel matrisini yoğun bir özellik vektörüne sıkıştırır. Metin decoder'ı (genellikle transformer tabanlı bir dil modeli), bu vektörü koşul olarak alarak sözcük sözcük açıklamayı üretir. Eğitim için görüntü-metin çifti veri setleri kullanılır: MS-COCO (her görüntü için 5 farklı insan referansı), Flickr30K ve Conceptual Captions başlıca kaynaklardır. 2022'de Salesforce'un yayımladığı BLIP (Bootstrapping Language-Image Pre-Training), web'den derlenen gürültülü görüntü-altyazı çiftlerini kendi kendine filtreleyerek eğitim kalitesini artırdı. Microsoft'un GIT (Generative Image-to-Text) modeli, her decoder katmanına görsel özellik enjekte ederek metinsel bağlamı korur. Google DeepMind'ın Flamingo modeli büyük dil modelini görsel girdi ile koşullandırarak few-shot image captioning'de yeni referanslar belirledi. BLIP-2, LLaVA ve Qwen-VL gibi daha yeni sistemler ise görüntü altyazılamanın ötesine geçerek görsel soru yanıtlama (VQA) ve yönerge takibini tek mimaride birleştirmektedir. Değerlendirmede BLEU, METEOR ve ROUGE gibi metin benzerliği metrikleri yanı sıra, image captioning'e özgü CIDEr (Consensus-based Image Description Evaluation) ve SPICE metrikleri kullanılır. CIDEr, insan referans açıklamalarıyla konsensüse dayalı n-gram benzerliğini ölçer; SPICE ise sahne grafiği (scene graph) ayrıştırması yaparak anlamsal doğruluğu değerlendirir. Türkiye'de erişilebilirlik mevzuatı (Ekim 2023'ten itibaren kamu web sitelerinde WCAG 2.1 AA zorunluluğu) görüntü altyazılama teknolojisine kurumsal talebi artırmaktadır. E-ticaret platformları görsel ürün kataloğunu metin olarak indeksleyerek arama motorlarında görünürlük elde etmekte; medya ve yayın arşivleri tarihî fotoğrafları otomatik etiketlemek için bu teknikten yararlanmaktadır.

arrow_forward code_blocks

Keypoint Detection (Anahtar Nokta Tespiti)

Anahtar nokta tespiti (keypoint detection), bir görüntü veya videodaki anlam taşıyan belirli nokta konumlarını tespit eden bilgisayarlı görü görevidir. Bu noktalar; insan vücudundaki eklem yerleri (dirsek, diz, omuz), yüz anatomisi (göz köşeleri, burun, ağız), ya da nesneler üzerindeki köşe ve kenar noktaları olabilir. Her anahtar nokta, bir koordinat çifti (x, y) ve isteğe bağlı görünürlük skoru ile temsil edilir. Klasik yöntemler arasında Harris köşe detektörü (1988), SIFT (Scale-Invariant Feature Transform, 2004) ve ORB (Oriented FAST and Rotated BRIEF) sayılabilir. Bu yöntemler, el ile tasarlanmış matematiksel özniteliklere dayanır ve ölçek ile döndürme değişmezliği sunar. Ancak derin öğrenme çağında, CNN tabanlı mimariler bu klasik yöntemlerin çok ötesine geçti. Modern derin öğrenme yaklaşımları ısı haritası (heatmap) stratejisi benimser: ağ, her olası anahtar nokta konumu için bir olasılık haritası üretir; haritanın doruk noktası ilgili eklem ya da anatomi konumuna karşılık gelir. HRNet (High-Resolution Network), StackedHourglass ve YOLO'nun poz başlığı bu anlayışla çalışan başlıca modellerdir. ViTPose gibi Transformer tabanlı mimariler ise küresel dikkat mekanizması ile bağlamı daha geniş bir alanda değerlendirir ve COCO kıyaslamalarında üstün başarı çıtaları koyar. Uygulamalar arasında insan poz tahmini, yüz tanıma, el takibi, artırılmış gerçeklik, spor video analitiği, tıbbi görüntüleme, otonom araç algısı ve robotik kavrama planlaması sayılabilir. Standart kıyaslama için COCO Keypoints veri kümesi ve OKS (Object Keypoint Similarity) metriği yaygın olarak kullanılır. Birden fazla kişinin bulunduğu sahnelerde top-down yaklaşım (önce kişi tespiti, ardından her kişi için nokta tahmini) ve bottom-up yaklaşım (tüm iskelet noktalarını bul, sonra kişilere ata) olmak üzere iki temel strateji uygulanır. MediaPipe, OpenPose ve Ultralytics YOLO-pose bu iki yaklaşımın popüler uygulamalarıdır. Video tabanlı uygulamalarda zamansal tutarlılık kritik öneme sahiptir; Kalman filtresi veya hareketli ortalama ile nokta yörüngesi düzeltilerek titreme azaltılır. 3D anahtar nokta tespitinde ise VideoPose3D gibi modeller, 2D tahminleri derinlik boyutuna kaldırarak üç boyutlu iskelet çıkarır. Türkiye'de spor bilimleri ve rehabilitasyon alanında keypoint detection tabanlı hareket analizi uygulamaları giderek yaygınlaşmaktadır.

arrow_forward 🎹

MIDI Sentezi (MIDI Sentezi)

MIDI sentezi (MIDI synthesis), yapay zeka modellerinin büyük MIDI veri kümelerinden müzikal örüntüleri öğrenerek orijinal sembolik müzik dizileri ürettiği üretken AI teknolojisidir. Sembolik müzik temsili olan MIDI, ses dalgalarını değil; nota adı, başlama zamanı, süre ve hız (velocity) gibi müzikal olayları kodlar. Bu yapılandırılmış temsil, MIDI'yi ses sentezine kıyasla çok daha analiz edilebilir ve üretilebilir kılar. OpenAI'ın 2019'da tanıttığı MuseNet, transformer mimarisini sembolik müziğe uyarlayan öncü modeldir: 4 dakikaya kadar uzanan, piyano, keman ve flüt başta olmak üzere ondan fazla enstrümanı kapsayan çok sesli eserler üretebilir; Bach'tan Chopin'e, Mozart'tan modern pop'a 10 farklı besteci stilini taklit eder. Google Magenta projesinin Music Transformer modeli, uzun vadeli yapıyı korumak için görece dikkat (relative attention) mekanizmasını kullanır; bu sayede yüzlerce adım önceki müzikal motiflere tutarlı biçimde atıfta bulunabilir. 2021'de Microsoft Research tarafından geliştirilen MusicBERT, BERT'in çift yönlü kodlama yaklaşımını sembolik müziğe taşır; bar, beat ve enstrüman bilgisini ayrı token akışları olarak temsil ederek tür sınıflandırma, melodi çıkarma ve hız tahmini gibi çok görevli müzik anlama problemleri için güçlü temel model işlevi görür. Mimari açıdan MIDI sentezi üç temel yaklaşımda gelişmiştir. LSTM ve GRU tabanlı yinelemeli ağlar, kısa vadeli melodic bağımlılıkları yakalamak için erken dönemde yaygınlaştı. Transformer tabanlı modeller uzun vadeli müzikal yapıyı çok daha iyi modelleyerek baskın mimari konumuna yükseldi. Diffusion modelleri ise son yıllarda sembolik alana taşınmaya başlandı; gürültüden nota düzeyine adım adım geri çekilme yaklaşımı stil çeşitliliğini artırıyor. Eğitim veri setleri arasında Lakh MIDI Dataset (170.000+ parça), GiantMIDI-Piano ve MAESTRO (piyano yarışması kayıtları) öne çıkmaktadır. Endüstri uygulamaları; oyun motorları için anlık çevre müziği üretimi, film ön-taslak (mockup) skorlama, DAW (Digital Audio Workstation) eklentileri ve müzik eğitim araçlarını kapsamaktadır. MuseScore, Hooktheory ve Amper Music bu teknolojiyi üretim iş akışlarına entegre etmiştir.

arrow_forward 🧠

Residual Attention Ağı Nedir? (Artıksal Dikkat Ağı)

Residual Attention Ağı (Residual Attention Network — RAN), Fei Wang ve ekibinin CVPR 2017'de tanıttığı, ResNet'in artıksal öğrenme prensibiyle dikkat mekanizmasını harmanlayan bir evrişimli sinir ağı mimarisidir. Temel fikir, her dikkat modülünü iki paralel dalla çalıştırmaktır: özellik dönüşümü gerçekleştiren trunk branch ile bu özellikler üzerinde yumuşak uzamsal dikkat maskeleri üreten mask branch. Trunk branch standart evrişimsel katmanlardan oluşurken mask branch encoder-decoder yapısına sahiptir. Max-pooling ile özellik haritası aşamalı olarak küçültülür (downsampling); ardından bilinear üst örnekleme (upsampling) ile orijinal çözünürlüğe geri döner. Mask branch çıktısı sigmoid aktivasyonuyla [0,1] aralığına sıkıştırılarak yumuşak maske oluşturulur. Bu maske trunk çıktısıyla eleman çarpımı (element-wise multiplication) uygulanır: yüksek dikkat değeri taşıyan bölgeler güçlendirilirken düşük değerli gürültülü ya da alakasız bölgeler baskılanır. Artıksal bağlantı bu noktada kritik rol üstlenir: dikkat çıktısına orijinal trunk özelliği eklenir (H = F × M + F; burada F trunk özelliği, M ise maske). Bu formülasyon maskenin sıfıra yaklaştığı durumda bile ham trunk sinyalinin korunmasını güvence altına alır; dolayısıyla dikkat modülleri ağı degrade etmeden katman derinliği arttıkça birikimli dikkat öğrenilmesine izin verir. Orijinal çalışmada dikkat modülleri üç uzamsal çözünürlük aşamasında bağımsız olarak öğrenilir. Başarım açısından CIFAR-10'da %3.90, CIFAR-100'de %20.45 ve ImageNet Top-5 sınıflandırmasında %4.8 hata oranı elde edilerek dönemin referans sonuçlarının üzerine çıkılmıştır. Mimari etki açısından RAN, CBAM (Convolutional Block Attention Module, ECCV 2018), BAM (Bottleneck Attention Module) ve kanal dikkatini uzamsal dikkatle birleştiren birçok türev çalışmaya ilham vermiştir. Modern nesne tespiti mimarileri (YOLO serileri), U-Net türevi medikal görüntü segmentasyonu modelleri ve uydu görüntü işleme uygulamaları dikkat kapıları (attention gating) mekanizmasını doğrudan bu çalışmanın çizgisinden devşirmiştir. Türkiye'deki bilgisayarlı görü araştırma grupları patoloji görüntüsü analizi ve uzaktan algılama problemlerinde artıksal dikkat mimarilerini referans almaktadır.

arrow_forward code_blocks

Sinirsel Stil Transferi (Sinirsel Stil Transferi)

Sinirsel stil transferi (Neural Style Transfer, NST), bir kaynak görüntünün fotografik içeriğini — nesneler, yapı, kompozisyon — korurken başka bir referans görüntünün sanatsal stilini — fırça darbeleri, renk paleti, doku — bu görüntüye aktaran derin öğrenme tekniğidir. 2015 yılında Leon Gatys, Alexander Ecker ve Matthias Bethge tarafından yayımlanan 'A Neural Algorithm of Artistic Style' başlıklı çalışmayla kamuoyuna tanıtılan bu yöntem, evrişimli sinir ağlarının (CNN) özellik çıkarma kapasitesini sanatsal bir amaca yöneltmiştir. Teknik; bir fotoğrafı Van Gogh'un Yıldızlı Gece tablosunun stiliyle yeniden işlemek ya da bir çizimi Monet empresyonizmi içinde canlandırmak gibi uygulamaları mümkün kılmıştır. NST, derin öğrenme ile yaratıcı görsel üretimin kesişim noktasındaki en erken ve en etkili örneklerden biri olmuştur. Teorik temeli, önceden eğitilmiş bir CNN ağının — genellikle ImageNet üzerinde eğitilmiş VGG-16 ya da VGG-19 — hem içerik hem de stil bilgisini katmansal özellikler aracılığıyla ayrıştırabilmesine dayanmaktadır. İçerik bilgisi, ağın derin katmanlarındaki yüksek seviyeli aktivasyonlarda kodlanırken; stil bilgisi farklı katmanlardaki özellik haritaları arasındaki istatistiksel korelasyonları temsil eden Gram matrisleriyle yakalanmaktadır. Optimizasyon süreci, rastgele gürültüden başlayan bir görüntüyü yüzlerce gradyan adımıyla hem içerik kaybını hem de stil kaybını eş zamanlı azaltacak biçimde şekillendirir. Bu kayıpların ağırlıklı toplamını minimize etmek, iki kaynaktan gelen bilgiyi dengeli biçimde harmanlayan son çıktıyı üretir. Johnson ve arkadaşlarının 2016'da geliştirdiği hızlı stil transferi, önceden eğitilmiş bir dönüştürücü ağ kullanarak işlemi gerçek zamanlı hıza taşımıştır. AdaIN (Adaptive Instance Normalization) yaklaşımı ise herhangi bir stil görüntüsünü tek bir modelle anlık uygulamanın yolunu açmış; bu fikir StyleGAN başta olmak üzere pek çok modern üretken mimarinin içine taşınmıştır. NST günümüzde akıllı telefon uygulamaları, sosyal medya filtreleri, oyun tasarımı ve film konsept sanatı gibi geniş bir alanda kullanılmakta; difüzyon modellerinin yükselişiyle birlikte ise daha semantik ve kontrol edilebilir stil aktarımının temeline ilham kaynağı olmayı sürdürmektedir.

arrow_forward code_blocks

Softmax (Softmax Fonksiyonu)

Softmax fonksiyonu, yapay sinir ağlarında çok sınıflı sınıflandırma görevlerinde kullanılan temel matematiksel dönüşümdür. Ham model çıktıları olan logit vektörünü alır ve tüm elemanları (0, 1) aralığında, toplamı tam olarak 1'e eşit olan bir olasılık dağılımına dönüştürür. Matematiksel formülü σ(zᵢ) = exp(zᵢ) / Σⱼ exp(zⱼ) şeklindedir; her bileşen üstel fonksiyondan geçirilip normalize edilir. Fonksiyon, üstel doğası gereği büyük değerleri daha da büyütür, küçük değerleri bastırır. Bu sayede model en olası sınıfı ön plana çıkarır; sonuçlar doğrudan sınıf üyeliği olasılığı olarak yorumlanır. İkili sınıflandırma için kullanılan sigmoid fonksiyonunun her çıktıyı bağımsız olarak 0-1 aralığına sıkıştırmasından farklı olarak softmax, vektör düzeyinde çalışır ve sınıflar arasında rekabetçi normalizasyon yapar; toplamın daima 1 olması garantilendiğinden çıktılar doğru olasılık semantiği taşır. Sayısal kararlılık kritik bir konudur. Büyük logit değerlerinde exp(zᵢ) kayan nokta taşmasına yol açabilir. Standart çözüm, tüm bileşenlerden maksimum değeri çıkarmaktır: σ(zᵢ) = exp(zᵢ − max(z)) / Σⱼ exp(zⱼ − max(z)). Bu form matematiksel olarak özdeştir ama üstel değerleri kontrol altında tutar. PyTorch, TensorFlow ve NumPy bu optimizasyonu dahili olarak uygular. Sıcaklık ölçeklendirmesi (temperature scaling), fonksiyonun davranışını ayarlamak için kullanılır: Softmax(z / T). T = 1 standart çıktı, T büyüdükçe daha yayvan ve belirsiz bir dağılım, T küçüldükçe ise daha keskin ve kararlı bir dağılım ortaya çıkar. Bilgisinin damıtımı (knowledge distillation) tekniğinde yüksek sıcaklık kullanılarak öğretmen modelin logitleri yumuşatılır; öğrenci model sert etiketler yerine bu yumuşak hedefleri öğrenerek daha iyi genelleme yapar. Transformers mimarisindeki dikkat mekanizmasında da softmax merkezi bir rol üstlenir. Sorgu (Q) ve anahtar (K) matrislerinin nokta çarpımı hesaplanır; boyut ölçeklendirmesiyle √d_k'ya bölünür, ardından softmax uygulanarak her sorgu pozisyonu için dikkat ağırlıkları elde edilir: Attention(Q, K, V) = softmax(QK⊤ / √d_k) · V. Burada softmax iki işlevi bir arada yerine getirir: ağırlıkların toplamını 1'e normalize eder ve modelin seçici odaklanmasını destekler.

arrow_forward hd

Süper Çözünürlük Nedir? AI ile Görüntü Netleştirme (Süper Çözünürlük)

Süper çözünürlük (super-resolution), düşük çözünürlüklü (Low-Resolution / LR) bir görüntüden yüksek çözünürlüklü (High-Resolution / HR) bir görüntü elde etme işlemidir. Geleneksel bicubic enterpolasyon yöntemi yalnızca komşu piksel değerlerinin ağırlıklı ortalamasını alarak görüntüyü büyütür; bu süreç var olan bilginin yeniden dağıtılmasından ibarettir ve kenarları yumuşatıp bulanık bir sonuç üretir. Derin öğrenme tabanlı süper çözünürlük modelleri ise farklı bir strateji izler: milyonlarca LR–HR görüntü çiftinden öğrendikleri istatistiksel örüntüleri kullanarak görüntüde var olmayan piksel bilgisini halüsinasyon yoluyla üretirler. Bu 'halüsinasyon', kontrollü ve istatistiksel açıdan tutarlı olduğunda gerçek bir görsel zenginleşme yaratır; ancak yanlış öğrenilmiş bir modelde asıl görüntüde bulunmayan yapılar da eklenebilir. SRCNN (2014) alanın ilk derin öğrenme modelidir; üç konvolüsyon katmanıyla bile bicubic yöntemini PSNR metriğinde net biçimde geride bırakmıştır. SRGAN (2017) ise GAN çerçevesini devreye sokarak perceptual kaliteyi matematiksel metriklerden ayırdı: model daha düşük PSNR üretmesine rağmen insan gözüne çok daha doğal göründü. ESRGAN ve Real-ESRGAN gerçek dünya bozulmalarına (JPEG artefaktı, film tanesi, odak bulanıklığı) dayanıklı hale gelirken, SwinIR (2021) Swin Transformer mimarisiyle uzun menzilli bağımlılıkları yakalayarak referans model konumuna yükseldi. 2023'ten itibaren StableSR ve DiffBIR gibi difüzyon tabanlı modeller, gürültüyü kademeli olarak gidererek son derece gerçekçi dokular ve yüz detayları üretmeyi başardı. Uygulama alanları son derece geniştir: tıbbi görüntülemede MRI ve BT kesitlerinin netliği artırılırken, uydu görüntülerinde bina veya arazi örtüsü tespiti iyileştirilir. Dijital arşivlerde bozulmuş fotoğraflar restore edilir, video akışında düşük bant genişliği için sıkıştırılmış içerik yüksek çözünürlükte yeniden yapılandırılır. PSNR ve SSIM uzun süre temel metrikler olarak kullanılmış; ancak LPIPS ve DISTS gibi perceptual metrikler, insan algısıyla çok daha iyi örtüşen ölçümler sunmaktadır. Video süper çözünürlükte kareler arası tutarlılık ek bir zorluk oluşturur: optik akış hizalaması veya temporal attention mekanizmaları bu titreme (flickering) sorununu gidermek için kullanılır.

arrow_forward code_blocks

WaveNet (WaveNet)

WaveNet, Google DeepMind tarafından 2016 yılında geliştirilen ve ham ses dalgalarını doğrudan üreten çığır açıcı bir derin sinir ağı modelidir. Geleneksel metin-okuma (TTS) sistemlerinin aksine, WaveNet sesi fonem veya melodik bileşenler düzeyinde değil, dalga formunun her tek örnek noktasında üretir; bu sayede çıktı, gerçek insan sesine çok daha yakın bir doğallık ve ifade zenginliği kazanır. Modelin temel mimarisi, seyreltilmiş nedensel konvolüsyonlar (dilated causal convolutions) üzerine kuruludur. 'Nedensel' yapı, modelin yalnızca geçmiş örnekleri kullanarak bir sonraki örneği tahmin etmesini sağlar; bu da kausalitenin korunmasını ve gerçek zamanlı konuşma üretimine uygun bir yapı elde edilmesini olanaklı kılar. 'Seyreltme' faktörü ise üstel şekilde büyüyen bir receptive field sağlar — model az parametre ile geniş bir bağlamı görebilir ve uzun vadeli bağımlılıkları yakalayabilir. Saniyede 16.000 ila 24.000 ses örneği üreten WaveNet, İngilizce ve Mandarin Çincesi testlerinde dönemin en iyi TTS sistemlerini açık ara geride bıraktı. Modelin en önemli dezavantajı, örnekleri tek tek (otoregresif) üretmesiydi; bu durum çıkarımı son derece yavaşlatıyordu, saniyeler süren üretim dakikalarca bekletebiliyordu. Bu sorunu aşmak için DeepMind, 2017'de Parallel WaveNet'i tanıttı. Olasılık yoğunluğu damıtma tekniğini kullanan bu model, orijinalin 1.000 kat üzerinde hızda ses üretebiliyor ve gerçek zamanlı kullanımı mümkün kılıyordu. Google Asistan'ın TTS altyapısı bu Parallel WaveNet modeliyle güçlendirildi ve milyonlarca kullanıcıya sunuldu. WaveNet yalnızca metin-okuma alanıyla sınırlı kalmadı; müzik üretimi, piyano müziği sentezi ve ses kodlaması gibi alanlara da başarıyla uyarlandı. Tacotron 2, WaveRNN ve SoundStream gibi günümüz ses üretim modellerinin büyük çoğunluğu WaveNet mimarisinden ilham almıştır. Bu yönüyle WaveNet, modern yapay zeka ses teknolojilerinin temel taşlarından biri olarak tarihe geçmiştir.

arrow_forward code_blocks

Adam Optimizer (Adam Optimize Edici)

Adam Optimizer (Adaptive Moment Estimation), derin öğrenme modellerinin eğitiminde kullanılan ve her parametre için ayrı, uyarlanabilir öğrenme oranları hesaplayan bir optimizasyon algoritmasıdır. 2014 yılında Diederik Kingma ve Jimmy Ba tarafından önerilen Adam, klasik Stochastic Gradient Descent (SGD) yönteminin sınırlamalarını aşmak amacıyla geliştirilmiştir. Adam'ın temel gücü, hem birinci moment tahminini (momentum — gradyanların ağırlıklı ortalaması) hem de ikinci moment tahminini (RMSProp benzeri — gradyanların kareli ortalamasının ağırlıklı ortalaması) aynı anda takip etmesinden kaynaklanmaktadır. Bu iki bileşen birleştirilerek her parametre güncelleme adımı, hem geçmiş gradyan yönünü hem de geçmiş gradyan büyüklüğünü dikkate alır; bu yapı sayede sık güncellenen parametreler küçük adımlar atarken seyrek güncellenen parametreler büyük adımlar atabilmektedir. Algoritmanın iki kritik hiperparametresi vardır: β₁ (varsayılan 0.9) birinci moment için üstel bozunma oranını, β₂ (varsayılan 0.999) ikinci moment için üstel bozunma oranını kontrol eder. ε (epsilon, varsayılan 1e-8) sıfıra bölünmeyi önlemek için eklenen küçük bir sabittir. Öğrenme oranı genellikle 1e-3 ile 1e-4 arasında seçilir. Adam, başlangıç moment tahminlerinin sıfıra yanlılığını düzeltmek için önyargı düzeltmesi (bias correction) mekanizması içerir. Bu mekanizma özellikle eğitimin ilk adımlarında daha kararlı güncellemeler yapılmasını mümkün kılar. GPT, BERT, ResNet ve diğer modern derin öğrenme modellerinin büyük çoğunluğu varsayılan olarak Adam ile eğitilmektedir. AdaGrad ve RMSProp algoritmalarının avantajlarını birleştiren Adam, geniş bir model sınıfında iyi performans sergilemektedir. Doğal dil işleme, bilgisayarlı görü ve pekiştirmeli öğrenme gibi alanlarda fiilî standart optimizasyon algoritması hâline gelmiştir. Büyük ölçekli model eğitiminde Adam'ın bellek tüketimi kritik bir etkendir. Her parametre için iki moment tahmini saklandığından bellek maliyeti SGD'nin yaklaşık üç katıdır. Bu nedenle 2024-2025 döneminde Llama 3 ve Gemini 1.5 gibi mimarilerin bazı varyantlarında 8-bit ve 4-bit Adam uygulamaları (bitsandbytes kütüphanesi) kullanılarak GPU bellek tüketimi önemli ölçüde azaltılmıştır.

arrow_forward language

AGI (Yapay Genel Zeka)

AGI (Artificial General Intelligence — Yapay Genel Zeka), bir insanın yapabileceği her türlü zihinsel ve bilişsel görevi en az insan düzeyinde anlayabilen, öğrenebilen ve uygulayabilen teorik yapay zeka sistemidir. Günümüzdeki yapay zeka sistemlerinin tamamı "Dar Yapay Zeka" (Narrow AI) kategorisindedir: satrançta dünya şampiyonunu yenebilirler ya da doğal dil üretiminde büyük başarı gösterebilirler; ancak insan gibi bağlamlar arası geçiş yapamaz, yeni alanlara kendiliğinden uyum sağlayamazlar. AGI ile Narrow AI arasındaki temel fark "transfer" kapasitesidir. İnsan zekası, yeni bir durumda daha önce öğrenilmiş kavramları yeniden yapılandırabilir ve değişmeyen ilkeleri tanıyabilir; bu yeteneğe "çerçeve dışı genelleme" denir. Mevcut büyük dil modelleri (GPT-4, Gemini, Claude) bu yeteneğe kısmi yaklaşım sergilese de araştırmacılar bu durumu gerçek AGI olarak tanımlamaz. AGI'ye giden yolda öne sürülen teorik yaklaşımlar çeşitlidir. Ölçekleme hipotezi, yeterince büyük modellerin belirli bir eşiği geçtikten sonra AGI düzeyine ulaşabileceğini savunur. Alternatif olarak nörobilimden ilham alan modeller, bilişin bir bütün olarak taklit edilmesi gerektiğini öne sürmektedir. OpenAI, DeepMind ve Anthropic AGI'nin bu on yılın sonuna kadar ulaşılabilir bir hedef olduğunu değerlendirirken pek çok araştırmacı bu öngörüyü iyimser bulmaktadır. Güvenlik boyutuyla AGI araştırmaları, "hizalama problemi" olarak bilinen temel soruyu gündeme taşır: İnsan düzeyinde bir zekayı insan değerleriyle uyumlu biçimde çalışacak şekilde nasıl garantileriz? Bu soru yapay zeka güvenliği araştırmalarının merkezi sorunsalı haline gelmiştir. Türkiye'de AGI tartışmaları hem akademik camiada hem de teknoloji politikası çevrelerinde giderek daha fazla yer bulmaktadır. Otonom ajan sistemleri, çok adımlı planlama yetenekleri ve araç kullanımıyla (tool use) AGI tartışmalarına yeni bir boyut kazandırmıştır. Bu sistemlerin bir sonraki kritik eşiği aşıp aşmayacağı; epistemik bütünlük, nedensel muhakeme ve öz-farkındalık yeteneklerinin kazanılmasına bağlı olduğu düşünülmektedir. ASI (Artificial Superintelligence) ise AGI'nin ötesinde insan zekasını her alanda çok katbe geçen bir teorik sonraki adıma karşılık gelmektedir.

arrow_forward code_blocks

AI Trustworthiness (Güvenilir Yapay Zeka)

AI Trustworthiness (Güvenilir Yapay Zeka), bir yapay zeka sisteminin teknik güvenilirlik, etik uygunluk ve sosyal kabul edilebilirlik boyutlarını kapsayan çok katmanlı bir değerlendirme çerçevesidir. Tek bir özelliği tanımlamaktan öte, birbiriyle bağlantılı altı temel ilke bütününü ifade eder: güvenlik (safety), sağlamlık (robustness), adillik (fairness), şeffaflık (transparency), hesap verebilirlik (accountability) ve mahremiyet (privacy). Avrupa Birliği, 2019'da yayımladığı 'Güvenilir Yapay Zeka için Etik Kılavuzu'nda bu kavramı operasyonelleştirdi ve ardından gelen AB Yapay Zeka Yasası'nın (EU AI Act, 2024) teorik omurgasını oluşturdu. Yasa, yapay zeka sistemlerini risk düzeylerine göre sınıflandırırken güvenilirlik kriterlerini merkeze alır. Teknik açıdan bir modelin güvenilir sayılabilmesi için dağıtım kayması (distribution shift) altında tutarlı davranması, hasım saldırılara (adversarial attacks) karşı dayanıklı olması ve hata yaptığında bu hatayı izlenebilir biçimde açıklayabilmesi beklenir. Sosyal boyutuyla ise sistemin korunan gruplara karşı ayrımcılık yapmadığı, kararlarının yetkili bir insan tarafından gözden geçirilebildiği ve kullanıcıların sisteme ne kadar güveneceğini bilerek karar alabildiği anlamına gelir. NIST AI Risk Management Framework (2023), ISO/IEC 42001 ve IEEE Ethically Aligned Design standartları güvenilir yapay zeka inşa etmek için pratik metodolojiler sunar. Üretim ortamlarında güvenilirlik; model kartları (model cards), kırmızı takım tatbikatları (red-teaming) ve sürekli izleme süreçleriyle pekiştirilir. Büyük dil modellerinin (LLM) günlük hayata entegrasyonuyla birlikte AI trustworthiness tartışması teoriden pratiğe taşındı. Halüsinasyon oranları, örtülü önyargılar ve veri gizliliği ihlalleri bu güvenilirliği tehdit eden başlıca sorunlar arasında yer alır. Örneğin bir işe alım sistemi cinsiyet önyargısı taşıyorsa ya da bir tıbbi yapay zeka nadir vakaları gözden kaçırıyorsa, bu sistemlerin güvenilir olduğundan söz etmek mümkün değildir. Güvenilirliği ölçmek için çeşitli değerlendirme araçları geliştirilmiştir: AI Fairness 360 kütüphanesi adalet metriklerini ölçer; Captum kütüphanesi modelin hangi girdilere dikkat ettiğini görselleştirir; PrivacyMeter gizlilik sızıntı riskini tahmin eder. Denetim pratikleri kapsamında üçüncü taraf algoritmik denetimler ve devlet düzenleyici kurumlarının incelemeleri de giderek yaygınlaşmaktadır. Tüm bu çabalar, güvenilir yapay zekanın yalnızca bir tasarım hedefi değil, aynı zamanda ölçülebilir ve denetlenebilir bir standart olması gerektiğini ortaya koymaktadır.

arrow_forward code_blocks

ASR (Automatic Speech Recognition) (ASR — Otomatik Konuşma Tanıma)

ASR (Automatic Speech Recognition — Otomatik Konuşma Tanıma), insan sesini gerçek zamanlı olarak metne dönüştüren yapay zeka alt dalıdır. Mikrofon gibi bir ses girişinden alınan ham ses dalgaları; akustik model, dil modeli ve çözümleme (decoding) katmanı üçlüsü aracılığıyla işlenerek yazılı çıktıya dönüştürülür. Teknolojinin kökeni 1950'lerin ilkel rakam tanıma sistemlerine dayanır; ancak derin öğrenme devriminden sonra sıçrama yaşandı. 2014'te CTC (Connectionist Temporal Classification) kaybı ve end-to-end sinir ağları, HMM (Hidden Markov Model) tabanlı geleneksel akışın yerini almaya başladı. 2022'de OpenAI'ın açık kaynaklı Whisper modeli 680.000 saatlik çok dilli veriyle eğitildi; Türkçe dahil 99 dilde yüksek doğruluk sergiledi. Bir ASR sistemi üç temel bileşenden oluşur: Akustik Model ses özelliklerini (MFCCs, mel spektrogramları) fonem olasılıklarına eşler; Dil Modeli kelime dizileri arasında en olası olanı seçer; Decoder ise ışın araması (beam search) gibi algoritmalarla en yüksek skorlu transkripti bulur. Modern transformatör tabanlı sistemlerde bu üç katman tek bir uçtan uca mimaride birleşmiştir. ASR'ın başarımı Kelime Hata Oranı (Word Error Rate — WER) ile ölçülür: %5 WER'in altı insan düzeyine yakın kabul edilir. İngilizce için önde gelen modeller %3–6 WER aralığında yer alırken, Türkçe gibi zengin çekimli dillerde veri azlığı ve morfolojik karmaşıklık nedeniyle WER daha yüksek seyredebilir. Uygulama alanları geniştir: sesli asistanlar (Siri, Google Assistant), gerçek zamanlı altyazı, çağrı merkezi analizi, tıbbi dikte sistemleri, toplantı transkripti ve erişilebilirlik araçları. Gürültülü ortam, aksan çeşitliliği ve konuşmacıya özgü kalıplar hâlâ temel zorluklar olmaya devam etmekte; bu alanda konuşmacı ayrıştırma (speaker diarization) ve gürültü bastırma ön işleme adımları kritik rol üstlenir. Özellikle Türkçe gibi eklemeli dillerde tek bir sözcüğün yüzlerce çekim formu alabilmesi, dil modeli tasarımını önemli ölçüde güçleştirmektedir.

arrow_forward psychology

Catastrophic Forgetting (Yıkıcı Unutma)

Yıkıcı Unutma (Catastrophic Forgetting ya da Catastrophic Interference), yapay sinir ağlarının yeni bir görev için eğitildiğinde önceki görevlerde öğrendikleri bilgileri ani ve büyük ölçüde yitirmesi olgusudur. İlk kez 1989'da McCloskey ve Cohen tarafından bağlantıcı modelleri inceleyen bir çalışmada tanımlanmış; Ratcliff (1990) ise olgunun teorik temellerini genişletmiştir. Temel mekanizma, geri yayılım (backpropagation) algoritmasının tüm ağırlıkları güncellemesinden kaynaklanır. Model yeni görev verisiyle eğitildiğinde ağırlık güncellemeleri, önceki görev için optimize edilmiş değerlerin doğrudan üzerine yazar. İnsan beyninin hipokampal konsolidasyon mekanizması sayesinde yeni bilgiyi eskiyi bozmadan entegre edebildiği düşünüldüğünde, standart yapay sinir ağlarının bu dezavantajı açıkça ortaya çıkar. Bu sorunu aşmak için üç temel strateji geliştirilmiştir. Düzenleme (regularization) tabanlı yöntemler, önceki görevler için kritik ağırlıkları belirleyerek bu ağırlıkların değişimini kısıtlar; en bilineni Elastic Weight Consolidation (EWC)'dir. EWC, Fisher bilgi matrisini kullanarak her ağırlığın önceki görev için ne kadar önemli olduğunu hesaplar ve buna göre L2 cezası uygular. Bellek tekrarı (memory replay) yöntemleri, geçmiş görevlerin örneklerini bir tampon bellekte saklar ya da üretici modeller aracılığıyla sentetik olarak yeniden oluşturarak yeni eğitimle karıştırır. Mimari genişleme yöntemleri ise her yeni görev için ağa ek parametreler ekler ve eski ağırlıkları dondurur; Progressive Neural Networks (PNN) ve PackNet bu yaklaşımın en bilinen örnekleridir. Yıkıcı unutma, büyük dil modellerinin güncellenmesi, robotik sistemlerin yeni beceriler kazanması ve kişiselleştirme uygulamalarında kritik bir engel oluşturmaktadır. 2020'lerin ortasında araştırmacılar, LoRA gibi parametre-verimli ince ayar yöntemleriyle EWC ve replay tekniklerini birleştiren hibrit yaklaşımlar geliştirerek bu sorunu LLM'ler bağlamında ele almaktadır. Yıkıcı unutmayı aşabilen sistemler, yapay genel zekaya (AGI) giden yolda zorunlu bir adım olarak kabul görmektedir.

arrow_forward all_inclusive

Continual Learning (Sürekli (Ömür Boyu) Öğrenme)

Sürekli Öğrenme (Continual Learning / Lifelong Learning), bir yapay zeka modelinin art arda gelen görevleri zamanla öğrenirken önceki görevlerdeki performansını koruyabilmesini hedefleyen araştırma alanıdır. Bu alandaki temel zorluk "yıkıcı unutma" (catastrophic forgetting) olgusudur: standart sinir ağları yeni bir göreve ince ayarlandığında önceki görev için öğrenilmiş ağırlıklar üzerine yazar, bu durum eski bilginin silinmesine neden olur. İnsan beyninin nöroplastisitesi, yeni bilgiyi eski bilgiyi bozmadan entegre etme kapasitesi, sürekli öğrenme araştırmalarının biyolojik ilham kaynağıdır. Çözüm yaklaşımları üç temel kategoride toplanır. Regülasyon tabanlı yöntemler (EWC — Elastic Weight Consolidation), önceki görevler için kritik ağırlıklara yüksek esneklik kısıtı uygulayarak değişimlerini yavaşlatır. Bellek tekrar yöntemleri (Memory Replay), geçmiş görevlerden örnek tamponuna alınan verilerle veya bunları taklit eden üretici modellerle güncel eğitimi destekler. Mimari genişleme yöntemleri ise her yeni görev için ağa yeni nöron veya katman kapasitesi ekleyerek eski ağırlıklara dokunmadan büyümeyi sağlar. Pratik uygulamalar açısından sürekli öğrenme özellikle sürüklenme gösteren veri dağılımlarında (concept drift) kritiktir. Gerçek zamanlı anomali tespiti, kişiselleştirilmiş öneri sistemleri ve giyilebilir sağlık cihazları gibi alanlarda model yeniden eğitimi masraflı ve sık gereklidir; sürekli öğrenme bu süreçleri daha verimli kılar. Türkiye'de fintech şirketlerinin dolandırıcılık tespit modelleri ve e-ticaret kişiselleştirme sistemleri değişen kullanıcı davranışlarına uyum sağlama ihtiyacıyla sürekli öğrenme alanına ilgi duymaktadır. Akademik açıdan ise bu alan, yapay genel zekanın (AGI) vazgeçilmez koşullarından biri olarak kabul görmektedir. Federated continual learning, hem merkezi olmayan eğitim hem de zamanla değişen görevleri birleştirerek aygıt başına modellerin kişiselleşmesine olanak tanıyan ileri düzey bir paradigmadır. Class-incremental, task-incremental ve domain-incremental olmak üzere üç temel senaryo türü, sürekli öğrenme yöntemlerinin hangi koşullar altında karşılaştırılacağını belirleyen standart ölçüt çerçevesi haline gelmiştir.

arrow_forward code_blocks

Contrastive Loss (Karşıtlıklı Kayıp)

Contrastive loss (karşıtlıklı kayıp ya da karşılaştırmalı kayıp), gömme (embedding) modellerini eğitmek için kullanılan bir kayıp fonksiyonu ailesidir. Klasik sınıflandırma kayıpları modelin doğru sınıfı tahmin etmesini ödüllendirirken, contrastive loss örnekler arasındaki geometrik ilişkiyi hedefler: benzer örnek çiftleri gömme uzayında birbirine yaklaştırılır, farklı örnek çiftleri ise belirli bir marjın (margin) ötesine itilir. Böylece model, anlamsal benzerliği vektörler arasındaki uzaklıkla ifade etmeyi öğrenir ve elde edilen temsiller arama, eşleştirme ve sıfır atışlı sınıflandırma gibi görevlere doğrudan aktarılabilir. Yaklaşımın ilk biçimi Chopra, Hadsell ve LeCun tarafından 2005 yılında Siamese ağlarla birlikte önerildi. Bu formülasyonda pozitif çiftler için kayıp, iki gömme arasındaki Öklid uzaklığının karesine eşittir; negatif çiftler için ise uzaklık marjın altına düştüğünde ceza uygulanır, marjı aşan negatifler kayba katkı yapmaz. Triplet loss (2015, FaceNet) bu fikri üçlü örneklere taşır: bir çapa (anchor) örneğinin pozitifine olan uzaklığı, negatifine olan uzaklığından en az marj kadar küçük olmalıdır. Modern derin öğrenmede en yaygın kullanılan varyant InfoNCE'dir. Burada bir pozitif örnek, aynı mini yığındaki (batch) çok sayıda negatif ile birlikte softmax tabanlı bir sınıflandırma problemine dönüştürülür ve sıcaklık (temperature) parametresi dağılımın keskinliğini kontrol eder. SimCLR'ın NT-Xent kaybı, MoCo'nun momentum kuyruğu ve CLIP'in görüntü-metin eşleştirmesi bu formülasyonun farklı uygulamalarıdır. Etiketli veri mevcut olduğunda Supervised Contrastive Loss (SupCon), aynı sınıftaki tüm örnekleri pozitif kabul ederek daha sıkı sınıf kümeleri oluşturur. Pratikte contrastive loss'un başarısı üç etkene bağlıdır: pozitif çiftlerin nasıl üretildiği (veri artırma ya da etiket), negatiflerin sayısı ve zorluğu (hard negative mining) ile marj veya sıcaklık gibi hiperparametrelerin ayarı. Yüz tanıma, görsel arama, cümle gömme modelleri (Sentence-BERT, E5), öneri sistemleri ve çok modlu modeller bu kayıp ailesinin en görünür uygulama alanlarıdır.

arrow_forward code_blocks

Cross-Entropy (Çapraz Entropi)

Çapraz Entropi (Cross-Entropy), sınıflandırma görevlerinde derin öğrenme modellerinin eğitiminde kullanılan en yaygın kayıp fonksiyonudur. Bilgi teorisinden türetilen bu metrik, modelin ürettiği olasılık dağılımının gerçek etiket dağılımıyla ne kadar uyuştuğunu ölçer; fark büyüdükçe kayıp artar ve model parametrelerini güncellemek için daha güçlü bir gradyan sinyali üretilir. Matematikte entropi, bir olayın ne kadar "sürpriz" olduğunu ölçer: nadir olaylar yüksek, yaygın olaylar düşük bilgi içerir. Çapraz entropi ise iki dağılım arasındaki bilgi kaybını ölçer. İkili sınıflandırma (binary classification) için formül: L = −[y·log(ŷ) + (1−y)·log(1−ŷ)]. Burada y gerçek etiket (0 veya 1), ŷ modelin tahmin ettiği olasılıktır. Model yanlış sınıf için yüksek olasılık verdiğinde log terimi sonsuz büyüklüğe yaklaşarak kayıp patlar; bu matematiksel baskı modeli doğru sınıfa yönlendirir. Çok sınıflı sınıflandırma (multi-class) için kategorik çapraz entropi kullanılır: L = −Σ yᵢ·log(ŷᵢ). Doğru sınıfa karşılık gelen terim dışındaki tüm yᵢ değerleri 0 olduğundan, kayıp yalnızca gerçek sınıfın tahmin olasılığına bağlıdır. Softmax aktivasyonu ile birlikte doğal bir eşleşme oluşturur: softmax çıktıları toplamı 1 olan olasılık dağılımı üretir, çapraz entropi bu dağılımla gerçek etiketi karşılaştırır. Çapraz entropi, ortalama karesel hata (MSE) yerine sınıflandırmada neden tercih edilir? MSE, olasılık tahminleri için zayıf gradyanlar üretir: model doğru etikete 0.9 olasılık verirken yanlış yönde ilerlese bile MSE gradyanı küçük kalır. Çapraz entropi ise logaritmik yapısı sayesinde yanlış sınıflara yüksek olasılık veren kötü tahminleri çok daha sert cezalandırır. Eğitimde dikkat edilmesi gereken bir nokta sayısal kararlılıktır: log(0) tanımsızdır. PyTorch ve TensorFlow gibi kütüphaneler log hesaplamasını softmax ile birleştirerek (log-sum-exp trick) bu problemi çözer; `nn.CrossEntropyLoss()` PyTorch'ta softmax + log + NLL kaybını tek adımda uygular. **Label smoothing**, gerçek etiketleri yumuşatarak (ör. 1.0 yerine 0.9, 0.0 yerine 0.1) aşırı güveni önleyen bir çapraz entropi varyantıdır. Model çok eminleştiğinde genelleme kapasitesi düşer; label smoothing bunu hafifletir ve modern transformerların eğitiminde standart hale gelmiştir.

arrow_forward code_blocks

Curriculum Learning (Müfredat Öğrenmesi)

Müfredat öğrenmesi (Curriculum Learning), makine öğrenmesi modellerini eğitirken örnekleri rastgele değil, kolaydan zora doğru sıralayarak sunan bir eğitim stratejisidir. İnsanların öğrenme biçiminden ilham alan bu yaklaşım, Yoshua Bengio ve ekibinin 2009 yılındaki seminal çalışmasıyla literatüre girmiştir. Temel fikir basittir: bir model önce kolay ve net örnekler üzerinde temel kavramları kavrar, ardından kademeli olarak daha karmaşık ve gürültülü verilere geçer. Bu düzenleme, modelin kayıp yüzeyinde daha düzgün bir yolda ilerlemesine ve yerel minimumlardan kaçınmasına yardımcı olur. Zorluk ölçütü belirlemek bu yaklaşımın kritik adımıdır. Metin sınıflandırmada cümle uzunluğu veya kelime sıklığı, nesne tanımada görüntü karmaşıklığı ya da arka plan gürültüsü, konuşma tanımada sinyal-gürültü oranı birer zorluk göstergesi olarak kullanılabilir. Bunların yanı sıra öğretmen modellerinin tahmin güveni de kademeli zorluk sıralaması için bir referans noktası işlevi görür. Öz-hızlı öğrenme (Self-Paced Learning) bu fikrin doğal bir uzantısıdır: modelin kendi kayıp değerlerine bakarak hangi örneklerin henüz hazır, hangilerinin erken olduğuna karar verdiği dinamik bir varyantdır. Çekişmeli müfredat (Adversarial Curriculum) ise bir üretici ağın eğitim sürecini zorlaştıracak örnekler ürettiği rekabetçi bir yapı kurar. Uygulamada curriculum learning; nesne algılama, makine çevirisi, diyalog sistemleri ve pekiştirmeli öğrenme görevlerinde kayda değer başarı artışları kaydetmiştir. Özellikle veri kalitesi heterojen olan büyük ölçekli veri kümelerinde aşırı öğrenmeyi azaltırken yakınsama hızını da iyileştirmektedir. Karşılaştırmalı çalışmalar, iyi tasarlanmış bir müfredat stratejisinin eğitim adım sayısını yüzde otuz ila elli oranında azaltabildiğini göstermektedir. Yöntemin sınırlılıklarına da dikkat etmek gerekir: zorluk sıralamasını tasarlamak alan uzmanlığı gerektirir ve yanlış sıralama, modeli önyargılı bir başlangıç noktasına sürükleyebilir. Ayrıca dinamik veri karıştırma (shuffling) mekanizmalarıyla uyumsuzluk sorunları ortaya çıkabilir. Buna karşın, özellikle veri etiketlemenin maliyetli olduğu senaryolarda az etiketli örnekle yüksek performans elde etmenin en sistematik yollarından biri olmaya devam etmektedir.

arrow_forward code_blocks

Deep Belief Network (Derin İnanç Ağı)

Derin İnanç Ağı (Deep Belief Network — DBN), birden fazla Kısıtlı Boltzmann Makinesi'nin (Restricted Boltzmann Machine — RBM) hiyerarşik olarak yığıldığı olasılıksal bir derin öğrenme modelidir. Her katman, bir alt katmanın gizli birimlerini temsil ederken bir üst katmanın görünür birimleri olarak işlev görür; böylece veri içindeki soyutlama düzeyi ağın derinliğiyle birlikte artar. Ham veriden başlayarak pikseller, kenarlar, şekiller ve nesneler gibi giderek daha soyut temsiller öğrenir. Modelin tarihsel önemi, Geoffrey Hinton, Simon Osindero ve Yee-Whye Teh'in 2006 yılında Science dergisinde yayımladığı dönüm noktası niteliğindeki makaleden kaynaklanmaktadır. Bu çalışma, derin ağların eğitimindeki temel güçlük olan kaybolan gradyan (vanishing gradient) sorununa pratik bir çözüm sundu: Açgözlü katman-bazlı ön eğitim (greedy layer-wise pretraining). Bu yaklaşımda her RBM katmanı, alttaki katmanın çıktısını girdi olarak alarak bağımsız ve denetimsiz biçimde eğitilir. Ardından tüm ağ, denetimli ince ayar (supervised fine-tuning) ile geri yayılım algoritması kullanılarak optimize edilir. Bir RBM, görünür ve gizli olmak üzere iki katmanlı enerji tabanlı bir olasılıksal modeldir. Kısıtlı sıfatı, aynı katmandaki birimler arasında bağlantı bulunmadığını ifade eder; bu yapı tam Boltzmann makinelerine kıyasla eğitimi hesaplanabilir kılar. RBM eğitiminde Contrastive Divergence (CD-k) algoritması kullanılır; bu yaklaşım maksimum olabilirlik tahminin pratikte uygulanabilir bir yaklaşımıdır. Pratik kullanım açısından DBN'ler 2006-2012 yılları arasında özellikle boyut indirgeme, özellik öğrenme, öneri sistemleri ve konuşma tanıma alanlarında öne çıktı. Carnegie Mellon ve Toronto Üniversitesi'nden ekipler, MNIST rakam tanıma kıyaslamasında dönemin en yüksek doğruluk oranlarını DBN ile elde etti. Microsoft Research, DBN tabanlı konuşma tanıma sistemleriyle hata oranını dramatik biçimde düşürdü. 2012'den itibaren Evrişimli Sinir Ağları (CNN) ve Uzun-Kısa Süreli Bellek (LSTM) ağlarının ImageNet ve konuşma tanımadaki başarıları, DBN'lerin kullanımını önemli ölçüde daralttı. Bununla birlikte DBN kavramı; modern üretken modellerin, özellikle Değişken Özkodlayıcılar (VAE) ve Difüzyon Modellerinin teorik zeminini anlama açısından hâlâ eğitim ve araştırma bağlamında incelenmektedir. Geoffrey Hinton, bu çalışmadaki katkıları da dahil olmak üzere derin öğrenme alanındaki başarıları nedeniyle 2018 Turing Ödülü'nü almış; 2024 yılında ise Nobel Fizik Ödülü'ne layık görülmüştür.

arrow_forward layers

Derin Öğrenme (Derin Öğrenme)

Derin öğrenme (Deep Learning), insan beyninin sinir ağı yapısından esinlenerek tasarlanmış, çok katmanlı yapay sinir ağlarını kullanan bir makine öğrenimi alt disiplinidir. "Derin" nitelemesi, girdi ile çıktı arasındaki gizli katman (hidden layer) sayısının fazlalığından gelir; bu katmanlar veriden hiyerarşik temsiller öğrenir. Alt katmanlar kenar ve doku gibi düşük düzey özellikleri yakalarken üst katmanlar nesne veya kavram gibi soyut özellikleri kodlar. Alanın dönüm noktası 2012'deki AlexNet'tir: GPU hızlandırma ve büyük veri birleşiminin derin ağları eğitilir kıldığını kanıtlayan bu model, ImageNet yarışmasında önceki rekorları kırarak derin öğrenmeyi ana akıma taşıdı. Temel yapı taşı olan yapay nöron, gelen değerleri ağırlıklı toplar ve ReLU, sigmoid gibi bir aktivasyon fonksiyonundan geçirir. Eğitimde geri yayılım (backpropagation) algoritması, çıktı hatasını katman katman geriye taşıyarak her ağırlığın güncellenmesini sağlar; gradyan inişi (gradient descent) ise bu güncellemeleri yönetir. Adam ve AdamW gibi uyarlamalı optimizatörler öğrenme hızını otomatik olarak ayarlar. Başlıca mimari aileler şunlardır: CNN (evrişimsel sinir ağları) görüntü ve video işlemede standarttır; Transformer 2017'den itibaren NLP'yi ve ardından çok modlu sistemleri domine etmektedir; RNN/LSTM zaman serisi modellemesinde kullanılır; Difüzyon Modelleri görüntü ve ses üretiminde devrim yaratmaktadır. Uygulama alanları geniştir: tıbbi görüntüleme (kanser tespiti), otonom araçlar (nesne algılama), doğal dil işleme (makine çevirisi, metin üretme), konuşma tanıma ve öneri sistemleri. Türkiye'de e-ticaret platformlarının kişiselleştirme motorları, bankacılık sektörünün dolandırıcılık tespit sistemleri ve Türkçe NLP projeleri derin öğrenmeye dayanmaktadır. Transfer öğrenme, milyonlarca örnekle önceden eğitilmiş modelleri yüzlerce ya da binlerce örnekle yeni görevlere uyarlar; bu yaklaşım derin öğrenmeyi küçük veri setlerinde de kullanılabilir kılmaktadır. PyTorch ve TensorFlow başlıca açık kaynak çerçevelerdir; Hugging Face ekosistemi binlerce hazır modele erişim sunar. Temel sınırlamalar arasında büyük veri ve yüksek hesaplama gereksinimi, yorumlanabilirlik eksikliği (kara kutu sorunu) ve dağılım kayması (distribution shift) yer almaktadır. Araştırmacılar bu sorunları ele almak için yorumlanabilir yapay zeka (XAI) teknikleri ve verimli mimari tasarımları geliştirmeyi sürdürmektedir.

arrow_forward memory

Float16 / BFloat16 (Float16 / BFloat16)

Float16 (FP16 veya yarı duyarlıklı kayan nokta), IEEE 754 standardında tanımlanan ve 16 bit (1 işaret + 5 üs + 10 mantis) kullanarak gerçek sayıları temsil eden sayı biçimidir. Standart Float32'ye (32 bit, tekli duyarlık) kıyasla bellek kullanımını yarıya indirir ve modern GPU'ların tensör çekirdeği (tensor core) donanımıyla çok daha yüksek hesaplama verimi sağlar. Derin öğrenmede Float16'nın önemi büyüktür. GPU belleği (VRAM) model eğitimindeki en sık karşılaşılan darboğazlardan biridir; modelin ağırlıklarını ve aktivasyonlarını FP16'da tutmak aynı GPU'da iki kat daha büyük modeller ya da iki kat daha büyük batch boyutları çalıştırmayı mümkün kılar. NVIDIA'nın 2018'de tanıttığı Tensor Core teknolojisi, FP16 matris çarpımlarını FP32 karşısında 4-8× hızlandırmaktadır. Ancak FP16'nın sayı aralığı (yaklaşık ±65504) ve duyarlığı FP32'den çok daha kısıtlıdır. Bu nedenle eğitimde "karma duyarlık" (mixed precision) yaklaşımı tercih edilir: ileri geçiş (forward pass) ve geri yayılım (backward pass) FP16'da, ağırlık güncellemeleri ve kayıp ölçekleme (loss scaling) ise FP32'de tutulur. PyTorch'ta torch.cuda.amp.autocast() ve TensorFlow'da tf.keras.mixed_precision API'si bu işlemi otomatik yönetir. BF16 (Brain Float16), Google tarafından geliştirilen alternatif bir 16-bit formattır: 8 üs biti kullanarak FP32 ile aynı sayı aralığını korur ancak mantis duyarlığı FP16'dan düşüktür. TPU ve NVIDIA Ampere/Hopper GPU'lar BF16'yı doğal olarak destekler; büyük dil modeli eğitiminde BF16, FP16'nın yerini giderek almaktadır. INT8 ve INT4 niceleme, model çıkarım aşamasında daha da küçük bit genişlikleri kullanarak VRAM tasarrufunu daha da ileri götürür. GPTQ, AWQ ve bitsandbytes kütüphaneleri tüketici GPU'larında büyük dil modellerini çalıştırmak için INT4 nicelemeyi yaygınlaştırmıştır. Niceleme miktarı arttıkça modelin doğruluğu düşebilir; bu ödünleşimi ölçmek için perplexity metriği kullanılır. Türkiye'de LLM araştırmacıları ve açık kaynak topluluk üyeleri, sınırlı VRAM'e sahip tüketici GPU'larında Llama ve Mistral modellerini çalıştırmak için bu tekniklere sıklıkla başvurmaktadır.

arrow_forward 🧠

Kapsül Ağı (Kapsül Ağı Nedir? Uzaysal Hiyerarşiyi Koruyan Sinir Ağı Mimarisi)

Kapsul agi (capsule network), geleneksel Evrisimsel Sinir Aglarindaki (CNN) skaler aktivasyon birimlerinin yerine "kapsul" adli vektor birimleri kullanan bir derin ogrenme mimarisidir. Her kapsul, yalnizca bir ozelligi tespitini degil o ozelligi ile ilgili yonelim, boyut ve konum gibi pose bilgisi iceren bir vektor ciktisi uretir. Bu temel fark kapsul aglarini geleneksel CNN'lerden ayrilan ve uzamsal hiyerarsiyi daha eksiksiz modellemelerini saglayan bir yapi kilar. Bu fikrin mimari babasi Geoffrey Hinton'dur; kapsul aglarinin temelini yıllarca oncesinden atmış olsa da 2017 yilındaki "Dynamic Routing Between Capsules" (Sabour, Frosst, Hinton) makalesi modern kapsul agi arastirmasinin baslangic noktasi sayilmaktadir. Geleneksel CNN'lerin max pooling katmani, bir nesnenin bir bolumde olup olmadigını algılar ama nerede oldugunu veya nasil yonlendirildigini atar. Hinton bu yaklasimi insan beyninin parcalar arasindaki iliskiyi anlamadaki becerisini modelleyemedigini one surmuş; kapsullerin bu eksikligi gidereceğini savunmustur. Dynamic routing, kapsul aglarinin merkezi hesaplama mekanizmasidur. Her alt kapsul, ust kapsullar icin potansiyel katkiyi tahmin eder ve bu katkinin ust kapsulun fiili ciktisiyla ne kadar uyuştuğuna bakarak baglantiyi iteratif sekilde gunceller. Anlasma (agreement) yuksekse baglanti guclenir; dusukse zayiflar. Bu dongusal islem, max pooling'in yaptigi basit maksimum alma yerine anlamli uzamsal iliskileri kodlar. Kapsul aglarinin pratik sinirliliklari da mevcuttur. MNIST gibi kucuk ve temiz veri kumelerinde umut verici sonuclar gosterirken ImageNet gibi buyuk olcekli karmasik veri kumelerinde standart CNN'lerle rekabet etmek hem hesaplama maliyeti hem dogruluk acisindan zordir. Alanin hala aktif arastirma konu olmakla birlikte ana akım uretim sistemlerinde standart CNN ve Transformer mimarisi hakimiyetini korumaktadir. **Sik Sorulan Sorular** **Kapsul aglari neden ana akima giremedi?** Buyuk olcekli veri kumelerinde standart CNN'lerle rekabet edemez; dynamic routing hesaplama maliyeti ve olcekleme guclugu ana akım benimsenmemesinin baslica nedenidir. **Kapsul aglari Transformer'larla karsilastirılabilir mi?** Her iki mimari de uzamsal iliskiler modelleme acisindan geleneksel CNN'den farkli; ancak farkli mekanizmaları kullanmaktadır. Transformer'larin buyuk olcekli veride basarisi, kapsul aglarinin araştirma etkisini kısmen golgede birakmiştir. **Kapsul aglari goruntu disinda kullanilabilir mi?** Prensipte evet; noktabultaji ve ses gibi alanlarda denemeler yapilmistir. Ancak buyuk olcekli goruntulerle bile zorlanan mimari, diger modalitelerde az incelenmiştir. **Kapsul aglari gunumuzde kullanılıyor mu?** Arastirma laboratuvarlarinda aktif calismalar surdurulmekte; ancak uretim sistemlerinde neredeyse hi kullanimazdir. Vision Transformer (ViT) ve benzeri mimariler buyuk olcekli gorsel algida hakimiyeti ele gecirmistir.

arrow_forward 🔢

Layer Normalization Nedir? Transformer'larda Normalizasyon Tekniği (Katman Normalizasyonu)

Layer Normalization (Katman Normalizasyonu), derin öğrenme modellerinde eğitimi hızlandırmak ve kararlılaştırmak için kullanılan bir normalizasyon yöntemidir. Jimmy Ba ve Geoffrey Hinton tarafından 2016 yılında önerilen bu teknik, her bir veri örneğinin aktivasyonlarını özellik boyutu (feature dimension) üzerinden normalleştirir; bu sayede batch boyutundan tamamen bağımsız biçimde çalışır. Yöntemin matematiksel temeli şudur: bir katmandaki H adet nöronun aktivasyonları için μ (ortalama) ve σ (standart sapma) hesaplanır, ardından her aktivasyon normalize edilir ve öğrenilebilir parametreler γ (gain) ile β (bias) ile yeniden ölçeklenir. Formül: ŷ = γ × (x − μ) / √(σ² + ε) + β. Burada ε sıfıra bölmeyi önleyen küçük bir sabittir. Batch Normalization (BN) mini-batch içindeki tüm örneklere bakarak istatistik hesaplarken, Layer Normalization yalnızca tek örneğin kendi özellik boyutuna bakar. Bu fark, BN'nin değişken uzunluklu dizilerle ve batch size=1 senaryolarında yetersiz kalmasına yol açar; LN bu sınırlamaları aşar ve Tekrarlayan Sinir Ağları (RNN) ile Transformer mimarileri için doğal seçim haline gelir. Modern büyük dil modellerinde iki yerleşim biçimi bulunur. Orijinal Transformer (Vaswani ve ark., 2017) her alt katmanın (dikkat + FFN) çıktısından sonra LN uygular; buna Post-LN denir. GPT-3, LLaMA ve çoğu modern LLM ise her alt katmanın girişine LN uygular (Pre-LN). Pre-LN, gradyan akışını daha kararlı kılar ve genellikle daha kolay eğitilir. RMSNorm, Layer Norm'un hesaplama maliyetini azaltmak için önerilmiş bir varyantıdır. Ortalama çıkarma (mean subtraction) adımını atlayarak yalnızca karekök ortalama karesiyle (RMS) normalleştirir. LLaMA 2/3 ve Mistral gibi modeller RMSNorm'u tercih eder çünkü GPT düzeyinde kaliteyi daha az işlemle elde eder. Layer Normalization, eğitim sırasında model aktivasyonlarını ölçek ve kayma bağımsız hale getirerek öğrenme hızı seçimini daha az kritik kılar ve farklı boyutlardaki modeller arasında transferi kolaylaştırır.

arrow_forward code_blocks

LPU (LPU (Language Processing Unit))

LPU (Language Processing Unit), yapay zeka girişimi Groq tarafından geliştirilen ve büyük dil modellerinin (LLM) gerçek zamanlı çıkarımını hızlandırmak için sıfırdan tasarlanan özel bir işlem birimidir. Geleneksel GPU mimarilerinin paralel hesaplama odaklı tasarımının aksine, LPU bellek bant genişliği darboğazını ortadan kaldırmak üzere optimize edilmiştir. Büyük dil modelleri GPU kümelerinde çalışırken iki kritik sorunla karşılaşır: hesaplama yoğunluğu ve bellek erişim gecikmesi. Transformer mimarisinin dikkat mekanizması, her token üretiminde model ağırlıklarını yeniden belleğe yüklemek zorundadır; bu durum DRAM trafiğini artırır ve yanıt süresini saniyeler mertebesine taşır. LPU bu sorunu kökten farklı bir mimariyle çözer. LPU'nun temel bileşenleri şu şekilde sıralanabilir: Linear Compute Engine (LCE), hesaplama adımlarını sabit ve deterministik sırada icra eder; GPU'lardaki dinamik iş planlamasından farklı olarak her işlemin ne zaman tamamlanacağı önceden bilinir. Çip üstü SRAM tamponu ise model ağırlıklarının büyük bölümünü çip üzerinde tutar; harici DRAM erişimini büyük ölçüde azaltır. Deterministic Execution özelliği sayesinde her token için gereken süre mikrosaniye hassasiyetiyle öngörülebilir; bu tutarlılık gerçek zamanlı ses ve sohbet uygulamalarında kritik önem taşır. Scale-Out ağ mimarisi ise binlerce LPU'yu düşük gecikmeli özel fabric üzerinden birbirine bağlar ve büyük modellerin (70B+) birden fazla çipte paralel çalışmasına olanak tanır. Performans açısından Groq'un kamuoyuna paylaştığı kıyaslama verileri, LPU'nun Llama 2 70B modelinde saniyede 300 token'ı aşan çıkarım hızına ulaştığını göstermektedir; bu değer A100 GPU kümelerinin birçok uygulamadaki çıktısından çok daha yüksektir. Düşük ve öngörülebilir gecikme, LPU'yu gerçek zamanlı sohbet botları, sesli asistanlar, kod tamamlama ve canlı çeviri gibi gecikmeden hassas yapay zeka uygulamaları için özellikle uygun kılar. Kısıtlamalar açısından bakıldığında LPU, GPU'ların eğitim aşamasındaki esnekliğinden yoksundur; yalnızca çıkarım için optimize edilmiştir ve model ağırlıkları değiştikçe yeniden yapılandırma gerektirebilir. GPU ekosisteminin olgunluğuna kıyasla araç, kütüphane ve topluluk desteği henüz daha dar bir yelpazeyi kapsar. Bununla birlikte LPU, hız ve gecikme öncelikli üretim dağıtımlarında giderek daha fazla tercih edilen bir donanım mimarisi haline gelmektedir.

arrow_forward code_blocks

MLP (Çok Katmanlı Algılayıcı)

MLP (Multilayer Perceptron — Çok Katmanlı Algılayıcı), en az bir gizli katman içeren ileri beslemeli (feedforward) yapay sinir ağıdır. 1958'de Frank Rosenblatt tarafından tasarlanan tek katmanlı algılayıcı yalnızca doğrusal ayrılabilir verileri sınıflandırabilirken, gizli katmanların eklenmesiyle MLP; XOR problemi dahil karmaşık, doğrusal olmayan örüntüleri öğrenme kapasitesi kazandı. MLP üç ana bileşenden oluşur. Giriş katmanı ham veriyi ağa iletir; herhangi bir hesaplama yapmaz. Bir veya daha fazla gizli katman, önceki katmanın tüm nöronlarına tam bağlı (fully connected) nöronlar barındırır ve gerçek öğrenme burada gerçekleşir. Çıkış katmanı ise sınıflandırma problemlerinde sınıf sayısı kadar, regresyon problemlerinde genellikle tek nöronlu sonuç üretir. Her nöron şu işlemi uygular: girdilerin ağırlıklı toplamını hesaplar, bir sapma (bias) değeri ekler ve doğrusal olmayan bir aktivasyon fonksiyonundan (ReLU, Sigmoid ya da Tanh) geçirir. Doğrusal olmayan aktivasyon olmadan çok katmanlı bir ağ, matematiksel olarak tek katmanlı bir ağa indirgenirdi ve karmaşık örüntüleri öğrenemezdi. MLP'yi pratik hale getiren atılım, Rumelhart, Hinton ve Williams'ın 1986'da Nature dergisinde yayımladığı geri yayılım (backpropagation) algoritmasıdır. Algoritma, çıkış hatasını zincir kuralıyla katman katman geri yayarak her ağırlığın kayba olan katkısını hesaplar; ardından optimizör (genellikle SGD veya Adam) bu gradyanlarla ağırlıkları günceller. Bu döngü on binlerce kez tekrarlanarak model adım adım öğrenir. Evrişimsel Sinir Ağları (CNN) paylaşımlı ağırlıklarla görüntü verisini çok daha verimli işlerken, MLP'nin tam bağlantılı yapısı uzamsal ilişkileri doğal olarak yakalayamaz. Tekrarlayan Sinir Ağları (RNN) metin ve zaman serisi gibi ardışık veriler için gizli bir durum taşırken, MLP sabit boyutlu girdi üzerinde çalışır. 2021'de Google Brain'in tanıttığı MLP-Mixer mimarisi, öz-dikkat (self-attention) mekanizması yerine yalnızca MLP katmanlarıyla Vision Transformer'larla rekabetçi görüntü sınıflandırma sonuçları elde etti. Bu, doğru tasarımla saf MLP'lerin de güçlü görevler üstlenebileceğini kanıtladı. Günümüzde tablo verisi, özellik çıkarımı sonrası sınıflandırma ve büyük modellerin dahili bileşeni olarak MLP aktif kullanımını sürdürmektedir.

arrow_forward code_blocks

Multi-Task Learning (Çok Görevli Öğrenme)

Çok görevli öğrenme (Multi-Task Learning, MTL), bir modelin birden fazla ilgili görevi eş zamanlı olarak öğrenmesini sağlayan makine öğrenimi paradigmasıdır. Her görevi bağımsız modelle çözmek yerine, ortak bir temsil katmanı paylaşılır; böylece bir görevden elde edilen bilgi diğer görevlerin öğrenimini güçlendirir. MTL'nin temel dayanağı, farklı görevlerin örtüşen özellik temsillerinden yararlanabileceği varsayımıdır. Örneğin bir model hem nesne tespiti hem derinlik tahmini yapıyorsa, görsel ön işleme katmanlarını paylaşmak her iki görevi de iyileştirir. Paylaşılan temsiller örtük bir düzenleme (regularization) etkisi yaratır; ek görevler modelin tek bir veri kümesine aşırı uymasını engeller ve genel özelliklerin öğrenilmesini teşvik eder. En yaygın MTL mimarisi sert parametre paylaşımıdır (hard parameter sharing): gövde katmanları tüm görevler arasında ortak tutulurken her görevin kendi çıkış başlığı (task head) bulunur. BERT, GPT ve benzeri büyük dil modelleri örtük MTL ile ön eğitim yapar; maskeli dil modelleme ve sonraki cümle tahmini gibi birden fazla sinyal aynı anda optimize edilir. Yumuşak parametre paylaşımında (soft sharing) ise her görevin ayrı parametreleri vardır ancak görevler arasındaki yakınlık kayıp fonksiyonuyla düzenlenir. MTL'nin uygulama alanları oldukça geniştir: doğal dil işlemede duygu analizi, varlık tanıma ve ilişki çıkarımının birlikte eğitimi; bilgisayarlı görüde nesne tespiti, segmentasyon ve derinlik tahmininin ortak optimizasyonu; otonom araçlarda şerit tespiti, trafik işareti tanıma ve mesafe tahmininin eş zamanlı öğrenilmesi öne çıkan örneklerdir. Negatif transfer, MTL'nin en önemli riskidir: ilgisiz veya çelişen görevler birbirinin öğrenimini olumsuz etkileyebilir. Bu durumu önlemek için görev ilişkisi analizi, gradyan çatışma tespiti (PCGrad, GradVac) ve uyarlanabilir kayıp ağırlıklandırma teknikleri kullanılır. Transfer öğrenme görevleri sıralı öğrenirken MTL eş zamanlı optimize eder; bu fark özellikle kısıtlı etiketli veri durumlarında MTL'yi avantajlı kılar. Doğru görev seçimi ve kayıp dengeleme, MTL'yi tek görevli eğitimden üstün kılan kritik tasarım kararlarıdır.

arrow_forward 🌐

NeRF Nedir? Sinirsel Radyans Alanları ile 3D Sahne Oluşturma (Sinirsel Radyans Alanları)

NeRF (Neural Radiance Fields — Sinirsel Radyans Alanları), çok sayıda 2D fotoğraftan bir 3D sahneyi örtük (implicit) bir temsille modelleyen derin öğrenme yöntemidir. Ben Mildenhall ve ekibi tarafından ECCV 2020'de sunulan bu yaklaşım, En İyi Makale Onur Ödülü alarak bilgisayarlı görü alanında çığır açtı. Teknik olarak NeRF, bir sahneyi açık geometri (mesh, point cloud) yerine sürekli bir fonksiyon olarak temsil eder. Çok katmanlı algılayıcı (MLP) tabanlı sinir ağı, beş boyutlu bir giriş alır: sahne içindeki 3D konum (x, y, z) ve kameranın bakış yönü (θ, φ). Bu girişlere karşılık ağ, ilgili noktanın RGB rengini ve optik yoğunluğunu (σ) tahmin eder. Hacimsel render (volumetric rendering) denklemi, bir ışın üzerindeki yüzlerce örnek noktanın bu tahminlerini birleştirerek nihai piksel rengini hesaplar. Eğitim sırasında model, tahmin edilen ve gerçek piksel renkleri arasındaki farkı minimize ederek sahneyi kodlayan ağırlıkları öğrenir. Klasik NeRF'in başlıca sınırlılığı yüksek hesaplama maliyetidir; tek bir sahneyi öğrenmek saatler, render ise saniyeler sürebilir. NVIDIA'nın Instant NeRF'i (2022), karma hash tablosu temsiliyle eğitim süresini saniyelere indirdi. Mip-NeRF kamera yakınlaştırma kaynaklı görüntü titremesini çözdü; Zip-NeRF ve Nerfacto birden fazla iyileştirmeyi bir araya getiren modern hibrit yaklaşımlardır. 2023'te ortaya çıkan 3D Gaussian Splatting (3DGS), her noktayı Gauss dağılımıyla temsil ederek NeRF'in örtük modelini açık bir alternatifle değiştirdi. 3DGS gerçek zamanlı render imkânı sunduğundan AR/VR uygulamaları için daha pratik olsa da NeRF araştırma kanalı DreamFusion, Block-NeRF ve EmerNeRF gibi uzantılarla canlılığını sürdürmektedir. Kullanım alanları arasında AR/VR içerik üretimi, film prodüksiyonunda VFX, robot navigasyonu, kentsel haritalama, ürün görselleştirme ve tıbbi görüntüleme öne çıkar. Google, Meta ve Apple gibi şirketler NeRF ve 3DGS tabanlı araçları tüketici ürünlerine entegre etmektedir.

arrow_forward adjust

Perceptron (Algılayıcı (Yapay Nöron))

Perceptron, 1957 yılında Frank Rosenblatt tarafından icat edilen ve biyolojik sinir hücresinden ilham alan en basit yapay sinir ağı birimidir. Modern derin öğrenmenin atası kabul edilir. Matematiksel açıdan perceptron; giriş değerlerini ağırlıklarla (weights) çarpıp topladıktan sonra bir aktivasyon eşiğine (threshold) göre çıktı üreten bir ikili sınıflandırıcıdır. Çalışma prensibi şu şekilde özetlenebilir: n adet giriş değeri (x₁, x₂, ..., xn) her biri bir ağırlıkla (w₁, w₂, ..., wn) çarpılır ve ağırlıklı toplamı hesaplanır. Bu toplamın bir bias terimi eklenerek aktivasyon fonksiyonundan (başlangıçta basamak fonksiyonu) geçirilmesiyle 0 veya 1 çıktısı üretilir. Öğrenme sürecinde yanlış sınıflandırılan örnekler için ağırlıklar perceptron öğrenme kuralına göre güncellenir. Perceptron öğrenme teoremi, doğrusal olarak ayrılabilir veri kümeleri için algoritmanın sonlu adımda yakınsayacağını kanıtlar. Ancak 1969'da Marvin Minsky ve Seymour Papert, perceptronun XOR gibi doğrusal olarak ayrılamayan problemleri çözemeyeceğini gösterdi. Bu kısıtlama "XOR problemi" olarak tarihe geçti ve yapay zeka araştırmalarında yaklaşık on yıl süren "Yapay Zeka Kışı"nı tetikledi. Çözüm, birden fazla perceptron katmanının birbirine bağlanmasıyla oluşturulan çok katmanlı algılayıcılarda (Multilayer Perceptron — MLP) bulundu. Her katman bir doğrusal olmayan aktivasyon fonksiyonu (ReLU, sigmoid, tanh) kullanarak önceki katmanın çıktılarını işler. Geri yayılım (backpropagation) algoritmasıyla bu ağlar eğitilebilir hale geldi ve modern derin öğrenmenin temeli atıldı. Günümüzde tek başına perceptron neredeyse hiç kullanılmaz; ancak her yapay nöron perceptronun modernize edilmiş bir versiyonudur. Transformer mimarisindeki dikkat (attention) mekanizmasından CNN'deki evrişim nöronlarına kadar tüm derin öğrenme yapıları perceptron ilkesini temel almaktadır. Bu anlamda perceptron, yapay zekanın köklerini anlamak için vazgeçilmez bir kavramdır. Donanım tarafında ise nöromorifik çipler, perceptron hesaplamasını biyolojik nörona daha yakın bir fiziksel modelle uygulamayı hedeflemektedir; bu alan yüksek enerji verimliliği gerektiren edge AI cihazları için araştırılmaya devam etmektedir.

arrow_forward code_blocks

Pruning (Sinir Ağı Budaması)

Sinir ağı budaması (neural network pruning), büyük ve karmaşık derin öğrenme modellerini daha küçük, hızlı ve verimli hale getirmek amacıyla modeldeki gereksiz ya da önemsiz parametreleri kaldıran bir model sıkıştırma yöntemidir. Bir insan beyninin yeni bağlantılar kurarken kullanılmayan sinaptik bağlantıları budadığı bilinmektedir; benzer bir ilkeden esinlenen bu teknik, yapay sinir ağlarına da uygulanır. Budama, çoğunlukla model eğitiminin ardından gerçekleştirilir; ancak eğitim sırasında veya eğitim öncesinde de uygulanabilen yöntemler araştırılmaktadır. Temel amacı, modelin doğruluk oranını kabul edilebilir düzeyde koruyarak parametre sayısını, bellek kullanımını ve hesaplama maliyetini önemli ölçüde düşürmektir. Budama teknikleri iki ana kategoriye ayrılır. Yapılandırılmamış budama (unstructured pruning), ağırlık matrisindeki bireysel bağlantıları kaldırır; seyrek matris yapısı oluşturur ancak standart donanımda gerçek hız kazanımı için özel kütüphane veya donanım desteği gerektirir. Yapılandırılmış budama (structured pruning) ise tüm filtreler, kanallar veya katmanlar gibi bütüncül yapıları bir bütün olarak siler; standart GPU ve CPU'larda doğrudan çıkarım hızı artışı ve model küçülmesi elde edilir. En yaygın yöntem büyüklük tabanlı budamadır (magnitude-based pruning): mutlak değeri en küçük ağırlıklar, modelin öğrendiği bilgiye katkısı az kabul edilerek kaldırılır. Ardından model, performansını yeniden kazanması için ince ayar (fine-tuning) sürecinden geçirilir. Bu "eğit → buda → ince ayar" döngüsü, hedef boyut ve doğruluk değerlerine ulaşılana kadar birkaç kez tekrarlanabilir. 2018'de Frankle ve Carlin tarafından öne sürülen Piyango Bileti Hipotezi (Lottery Ticket Hypothesis), büyük sinir ağlarının başlangıçtan beri eğitilebilir nitelikte küçük alt ağlar — "kazanan biletler" — barındırdığını ileri sürer. Bu alt ağlar, tam ağın yüzde 10 ile 20'si büyüklüğünde olmasına rağmen benzer doğruluk oranlarına ulaşabilmektedir. Budama; mobil uygulamalar, IoT cihazları ve kenar bilişim (edge computing) gibi hesaplama kapasitesinin sınırlı olduğu ortamlarda dağıtımı kolaylaştırır. Günümüzde budama çoğunlukla niceleme (quantization) ve bilgi damıtma (knowledge distillation) ile bir arada uygulanarak çok daha yüksek sıkıştırma oranlarına ulaşılır.

arrow_forward all_out

Quantum AI (Kuantum Yapay Zeka)

Kuantum Yapay Zeka (Quantum AI), kuantum mekaniğinin temel ilkelerini — süperpozisyon, dolanıklık ve girişim — klasik bilgisayarların erişemediği hesaplama kapasiteleri için kullanan araştırma alanıdır. Bu alan; kuantum hesaplama ile makine öğrenmesinin kesiştiği noktada konumlanır ve "kuantum avantajı" adı verilen belirli problem sınıflarında klasik bilgisayarları geride bırakma potansiyeli taşımaktadır. Teorik açıdan kuantum makine öğrenmesi, klasik algoritmaların belirli veri yapılarında üstel hızlanma elde edebileceği vaatlerde bulunmaktadır. HHL algoritması doğrusal denklem sistemlerini logaritmik karmaşıklıkta çözmeyi önerir; kuantum arama algoritması (Grover) ise yapılandırılmamış veritabanlarında kareköke orantılı hız avantajı sunar. Kuantum destek vektör makineleri ve kuantum sinir ağları bu teorik hızlanmaları makine öğrenmesine taşımayı hedefler. Donanım tarafında günümüzde IBM Quantum (Eagle, Osprey ve Condor işlemciler), Google Quantum AI (Sycamore) ve D-Wave (kuantum tavlama) öne çıkan platformlardır. Ancak mevcut kuantum bilgisayarlar "NISQ" (Gürültülü Orta Ölçekli Kuantum) dönemindedir: bit sayısı sınırlı, hata oranı yüksek ve bu nedenle hataya dayanıklı (fault-tolerant) operasyon mümkün değildir. Pratik kuantum avantajının makine öğrenmesine ne zaman yansıyacağı tartışmalıdır. Dequantization çalışmaları, bazı kuantum algoritmalarının klasik karşılıklarının sandığından çok daha verimli çalışabildiğini göstermiştir. Bununla birlikte optimizasyon problemleri, kimyasal simülasyon ve kriptografi alanlarında kuantum hesaplamanın dönüştürücü etkileri beklenmektedir. Türkiye'de TÜBİTAK ve çeşitli üniversiteler bu alanda teorik çalışmalar yürütmektedir. IBM ve Microsoft'un bulut tabanlı kuantum programlama ortamları (IBM Quantum Experience, Azure Quantum) yerli araştırmacıların fiziksel cihaza erişim gerektirmeksizin deney yapmasını mümkün kılmaktadır. Kuantum makine öğrenmesinin klasik alternatifleri geçemeyeceği durumlara ilişkin akademik tartışmalar sürmektedir. Klasik tensör ağları ve Monte Carlo yöntemleri bazı iddia edilen kuantum avantajlarını ortadan kaldırmıştır; ancak dolanıklığın klasikle simüle edilemeyen kesimler için gerçek bir hesaplama üstünlüğü sunabileceği görüşü araştırmacılar arasında güçlüdür.

arrow_forward code_blocks

ReLU (Doğrultulmuş Doğrusal Birim)

ReLU, yapay sinir ağlarında nöronların çıktısını belirleyen bir aktivasyon fonksiyonudur. Formülü basittir: girdi sıfırdan büyükse olduğu gibi geçer, sıfır veya altındaysa sıfır döner. Bu basitlik, derin ağlarda on yıl boyunca hâkim olan sigmoid ve tanh fonksiyonlarının yerini almasının asıl nedenidir. Sigmoid ve tanh, girdi değerleri çok büyüdüğünde ya da çok küçüldüğünde gradyanları neredeyse sıfıra yaklaştırır. Geri yayılım sırasında bu küçük gradyanlar katman katman çarpılır; on, yirmi katmanlı bir ağda en baştaki katmanlara ulaşan gradyan fiilen yokolur. Ağırlıklar güncellenemez, ağ öğrenemez. Bu soruna kaybolan gradyan problemi denir ve 1990'larda derin ağ araştırmalarının önündeki en büyük engellerden biriydi. ReLU bu problemi doğrudan çözer. Pozitif girdiler için gradyan her zaman 1'dir; çarpma işlemi değeri küçültmez. Bunun yanı sıra üs veya üstel fonksiyon gerektirmediğinden hesaplaması sigmoid ve tanh'a göre çok daha hızlıdır. GPU'larda paralel işlem yapıldığında bu fark büyük ağlarda ciddi zaman tasarrufuna dönüşür. Pratikteki etkisi 2012 AlexNet modeliyle belgelenmiştir. Krizhevsky ve ekibi, aynı mimaride sigmoid yerine ReLU kullanarak eğitim süresini altıda bire indirmiştir. O tarihten bu yana derin öğrenmede gizli katman aktivasyonu denildiğinde varsayılan seçenek ReLU olmuştur. Ancak ReLU kusursuz değildir. Negatif girdi alan nöronlar sürekli sıfır çıktısı üretir ve gradyanları sıfır olduğundan bir daha güncellenemezler. Buna ölü ReLU problemi denir. Yüksek öğrenme hızı kullanıldığında veya ağırlıklar olumsuz başlatıldığında ağdaki nöronların önemli bir kısmı bu duruma düşebilir. Bu soruna karşı geliştirilen varyantlar mevcuttur: Leaky ReLU negatif girdiler için küçük bir eğim (genellikle 0,01) kullanır. PReLU bu eğimi öğrenilebilir bir parametre haline getirir. ELU negatif bölgede üstel bir eğri kullanarak ortalama aktivasyonu sıfıra yaklaştırır. GELU ise girdiyi bir olasılık ağırlığıyla çarpar ve özellikle dil modellerinde (BERT, GPT) tercih edilir. ReLU bugün evrişimli sinir ağlarında, derin tam bağlantılı ağlarda ve görüntü sınıflandırma modellerinin büyük çoğunluğunda gizli katman aktivasyonu olarak kullanılmaktadır.

arrow_forward code_blocks

Self-Attention (Öz-Dikkat)

Öz-dikkat (self-attention), bir dizideki her tokenin aynı dizinin diğer tüm tokenleriyle ilişkisini hesaplayarak her konuma bağlam bilgisi kazandıran dikkat mekanizmasının özel bir biçimidir. Klasik dikkat mekanizmasında kaynak ve hedef diziler farklıydı; örneğin makine çevirisinde giriş cümlesi ile çıkış cümlesi ayrı dizilerdi. Öz-dikkatte ise sorgu (Q), anahtar (K) ve değer (V) vektörlerinin üçü de aynı girişten türetilir. 2017 yılında "Attention Is All You Need" makalesiyle tanıtılan transformer mimarisinin temel yapı taşı olan öz-dikkat, RNN ya da CNN katmanlarına gerek kalmadan uzun mesafeli bağımlılıkları paralel hesaplamayla öğrenir. Hesaplama üç adımda ilerler. Önce giriş gömmeleri üç ayrı projeksiyon matrisiyle Q, K ve V uzaylarına dönüştürülür. Ardından her konumun sorgu vektörü tüm anahtar vektörleriyle nokta çarpımına girer, sonuç sqrt(d_k) ile ölçeklenir ve softmax uygulanarak dikkat ağırlıkları elde edilir. Son olarak bu ağırlıklar değer vektörleri üzerinde ağırlıklı toplam alınarak her token için yeni bir bağlamsal temsil üretir. "Banka kıyısında oturdu" cümlesindeki "banka" tokeni, "kıyı" tokenine yüksek ağırlık vererek finans kurumu değil nehir kenarı anlamını kodlar. Matematiksel olarak n uzunluğundaki bir dizi için öz-dikkat O(n^2 · d) hesaplama ve bellek maliyeti gerektirir; bu nedenle çok uzun dizilerde düşük ranklı yaklaşımlar (Linformer), yerel pencere dikkati (Longformer, Sliding Window Attention) ve FlashAttention gibi IO-farkında verimlilik teknikleri geliştirilmiştir. Maskeli öz-dikkat (masked self-attention), GPT ve Llama gibi otoregresif dil modellerinde kullanılır: her konum yalnızca önceki konumlara bakabilir, gelecekteki tokenlere erişim üst üçgen maskeyle kapatılır. BERT gibi çift yönlü kodlayıcılarda ise tam öz-dikkat uygulanır; her token hem öncesindeki hem sonrasındaki tokenleri görür ve sınıflandırma görevleri için güçlü bir bağlam temsili oluşur. Uygulamada öz-dikkat tek başına değil, çok başlı dikkat (multi-head attention) biçiminde birden fazla paralel başla çalıştırılır; her baş sözdizimi, eş gönderim ya da konum yakınlığı gibi farklı ilişki türlerini yakalar. Vision Transformer görüntü yamalarını, AlphaFold2 ise protein kalıntılarını token olarak işleyerek aynı mekanizmayı dil dışına taşımıştır.

arrow_forward videocam

Sora (OpenAI Video Üreticisi)

Sora, OpenAI tarafından Şubat 2024'te duyurulan ve Aralık 2024'te genel kullanıma açılan metin-video (text-to-video) yapay zeka modelidir. Kullanıcıların doğal dil açıklamalarından dakikalara uzanan gerçekçi ve tutarlı video içerikleri üretmesine olanak tanır. Sora'nın teknik mimarisi, görsel verileri uzay-zamansal yamalar (spacetime patches) olarak kodlayan bir transformatör mimarisi üzerine inşa edilmiştir. Görüntü difüzyon modellerinin (DALL-E serisinden bilinen tekniğin) video boyutuna genişletilmesi olan bu yaklaşım, gürültüden başlayarak tutarlı bir video dizisi üretmektedir. OpenAI'nin yayımladığı teknik rapor, modelin "world simulator" olarak tasarlandığını ve fiziksel dünya dinamiklerini içsel olarak modellemeye çalıştığını vurgular. Modelin en dikkat çekici özellikleri arasında tek bir prompttan 60 saniyelik yüksek çözünürlüklü video üretme, farklı görüntü boyutlarını ve en-boy oranlarını destekleme, mevcut görüntüleri öne veya geriye doğru uzatma ve birden fazla video klibini sorunsuz birleştirme yer almaktadır. Rekabetçi bağlamda Sora, Google DeepMind'ın Veo modeli, Meta'nın Movie Gen çalışması ve Runway Gen-3 ile doğrudan rekabet etmektedir. Güvenlik açısından OpenAI, gerçekçi yanlış bilgi ve derin sahte (deepfake) üretimine ilişkin riskleri yönetmek için C2PA metadata standartlarını benimsemiştir; içerikler dijital olarak imzalanarak kaynakları izlenebilir hale getirilmektedir. Ayrıca model belirli politika kurallarını çiğneyen içerikleri (gerçek kişilerin manipülasyonu, grafik şiddet, telif ihlalleri) üretmekten kaçınacak şekilde yapılandırılmıştır. Sora ve benzeri modellerin geniş kitlelere erişmesiyle birlikte video yapım süreçleri köklü biçimde değişmektedir. Kavramsal testler için kullanılan storyboard aşamaları artık dakikalar içinde prototiplenebilmekte; reklam ajansları ve bağımsız yapımcılar prodüksiyon maliyetlerini azaltabilmektedir. Türkiye'de yaratıcı ajanslar, reklam prodüksiyon şirketleri ve bağımsız içerik üreticileri tarafından Sora'nın kullanımı hız kazanmaktadır. Telif hakları ve hakikat standartları bağlamında Türkiye'deki düzenleyici tartışmalar da bu gelişmelere eşlik etmektedir. Video üretim yapay zekası, yaratıcı endüstrinin yeniden şekillenmesinde en kritik teknolojik eşiklerden biri olarak değerlendirilmektedir.

arrow_forward code_blocks

Sparse Attention (Seyrek Dikkat)

Seyrek dikkat (Sparse Attention), standart Transformer dikkat mekanizmasının hesaplama karmaşıklığını azaltmak için geliştirilen ve her tokenin yalnızca seçilmiş bir token alt kümesiyle dikkat hesabı yaptığı bir optimizasyon yaklaşımıdır. Standart dikkat O(n²) karmaşıklığına sahiptir; n token uzunluğu arttıkça hesaplama ve bellek maliyeti karesel büyür. Seyrek dikkat bu karesel bağımlılığı kırar; farklı örüntülere göre O(n√n) veya O(n log n) karmaşıklığa düşürebilir. Temel seyrek dikkat örüntüleri şunlardır: (1) **Yerel pencere dikkati** — her token yalnızca yakın komşularıyla ilişki kurar; (2) **Uzun adımlı dikkat (strided)** — her token belirli aralıklarla seçilmiş uzak tokenleri de kapsar; (3) **Küresel token dikkati** — belirli ayrıcalıklı tokenler (ör. [CLS]) tüm diğer tokenlerle etkileşir. BigBird ve Longformer bu stratejileri birleştirerek hem yerel bağlamı hem de uzun menzilli bağımlılıkları yakalar. FlashAttention ailesi seyrek dikkat olmasa da IO-aware bir kernel optimizasyonu sunarak dikkat hesabını GPU bellek hiyerarşisine göre yeniden düzenler; böylece uzun bağlamlarda hem hız hem de bellek verimliliği sağlar. Mixture of Depths ve Ring Attention gibi 2024-2026 dönemine ait yaklaşımlar ise seyrek hesaplamanın donanım ve model mimarisine daha derin entegrasyonunu araştırmaktadır. Pratik kullanımda GPT-3'ün Sparse Transformer varyantı, OpenAI'nin erken uzun bağlam çalışmalarından biri olmuştur. Günümüzde 1M token ve üzeri bağlam pencerelerini destekleyen modeller (Claude 3.5, Gemini 1.5 Pro) genellikle FlashAttention ve bunun varyantlarını yoğun dikkat için kullanırken, bazı hibrit mimariler katman bazında seyrek ve yoğun dikkati karıştırır. Seyrek dikkat, özellikle uzun belge işleme, kod analizi, genomik veri ve video dizileri gibi alanlarda kritik önem taşır; bu alanlarda tam dikkat bellek sınırlarını aşmaktadır. Türkiye'deki geliştiriciler için bu optimizasyonlar; uzun hukuki belgeler, çok sayfalı raporlar veya uzun konuşma oturumları üzerinde çalışan uygulamalarda belirgin fark yaratmaktadır.

arrow_forward code_blocks

Speech Synthesis (Konuşma Sentezi)

Konuşma sentezi (Speech Synthesis veya TTS — Text-to-Speech), yazılı metnin yapay zeka modelleri aracılığıyla sesli konuşmaya dönüştürülmesi sürecidir. Modern TTS sistemleri, insan sesine yakın doğallık ve ifadesellik sunar; vurgu, ritim, ton ve duygusal renk gibi konuşma özelliklerini derin öğrenme modelleriyle üretir. Günümüz nöral TTS sistemleri iki temel aşamadan oluşur: Akustik model, metni ses özelliklerini temsil eden mel-spektrograma dönüştürür; vokal sentezleyici (vocoder) ise bu ara temsili gerçek ses dalgasına çevirir. WaveNet (DeepMind, 2016), Tacotron 2 (Google, 2018) ve FastSpeech (Microsoft, 2019) bu alanın dönüm noktası modellerdir. Paralel çıkarım mimarisine sahip FastSpeech, Tacotron'dan 38 kat daha hızlı ses üretebilmektedir. VALL-E gibi büyük dil modeli tabanlı yaklaşımlar ise yalnızca birkaç saniyelik ses örneğinden birebir ses klonlama yapabilmektedir. Kullanım alanları son derece geniştir: ekran okuyucular ve görme engelliler için erişilebilirlik araçları, sesli asistanlar (Siri, Google Assistant, Alexa), e-öğrenme platformları, çağrı merkezi IVR sistemleri, sesli navigasyon, film lokalizasyonu ve podcast otomasyonu bunların başında gelir. ElevenLabs, OpenAI TTS ve Microsoft Azure Neural TTS gibi ticari platformlar düşük gecikme ve yüksek ifadesellik sunan üretim düzeyinde servisler geliştirmiştir. Ses kalitesini ölçmek için MOS (Mean Opinion Score — insan değerlendirmesine dayalı 1-5 puanlama), WER (Word Error Rate) ve DNSMOS gibi metrikler kullanılır. Türkçe TTS gelişimi ayrı bir zorluk barındırır: sondan eklemeli dil yapısı, sesleme kuralları ve tonlamayı modellemek İngilizce ile kıyaslandığında daha fazla veri ve araştırma gerektirmektedir. Teknolojinin gerçekçilik düzeyi deepfake ses ve kimlik taklitçiliği risklerini de beraberinde getirmektedir. VALL-E ve benzeri modeller sahte yetkilendirme (vishing) saldırılarına zemin hazırlayabilir. Bu nedenle biyometrik ses doğrulama, liveness detection ve ses sahteciliği tespiti (anti-spoofing) araştırmaları paralel yürütülmektedir. Bazı sistemler üretilen sese gizli filigran (watermark) ekleyerek kaynağını işaretler.

arrow_forward mic

Speech-to-Text (ASR) (Sesten Metne (Otomatik Konuşma Tanıma))

Speech-to-Text (STT) veya Otomatik Konuşma Tanıma (ASR — Automatic Speech Recognition), mikrofondan ya da ses dosyasından gelen konuşulmuş dili analiz ederek yazıya dönüştüren yapay zeka teknolojisidir. Siri, Google Asistan ve otomatik YouTube altyazılarının temelinde bu teknoloji yatar. Modern STT sistemlerinin mimarisi birkaç katmandan oluşur. Akustik model, ham ses sinyallerindeki konuşma birimlerini (fonemleri) tanır; dil modeli ise tanınan ses örüntülerini anlamlı kelime ve cümlelere dönüştürür. 2015 yılından itibaren bu iki ayrı bileşen, uçtan uca (end-to-end) derin öğrenme mimarileriyle tek bir modelde birleştirilmeye başlandı. Günümüzde en yaygın yaklaşım Transformer tabanlı modeller olan Wav2Vec 2.0 (Meta) ve Whisper (OpenAI) gibi sistemlerdir. Whisper, 2022'de OpenAI tarafından piyasaya sürülen ve 680.000 saat ses verisiyle eğitilen çok dilli bir STT modelidir. Açık kaynaklı yapısı geliştiricilerin özgürce kullanımına imkân tanır; Türkçe dahil 99 dili destekler. Google'ın USM (Universal Speech Model) modeli ise 300'den fazla dili kapsayan kurumsal ölçekli bir ASR altyapısı sunar. Kalite ölçütü olarak WER (Word Error Rate — Kelime Hata Oranı) kullanılır: üretilen metin ile referans metin arasındaki kelime düzeyindeki hatalar normalleştirilerek hesaplanır. İnsan seviyesi İngilizce konuşma tanımada WER %5 civarındayken modern sistemler bu eşiğe ulaşmış ya da geçmiştir. Türkiye'de STT teknolojisi müşteri hizmetleri çağrı merkezi analitiği, tıbbi dikte sistemleri ve dil öğrenme uygulamalarında giderek yaygınlaşmaktadır. Türkçenin aglütinatif yapısı (çok ekli sözcük biçimleri) sözcük dağarcığı büyüklüğü açısından STT modellerine ek zorluk çıkarmaktadır; bu nedenle Türkçeye özgü ince ayarlı modeller standart modellere kıyasla daha yüksek doğruluk sunar. Gerçek zamanlı STT uygulamalarında gecikme (latency) kritik bir tasarım parametresidir: çevrimiçi konferans altyazıları için 200 ms altı gecikme hedeflenir. Streaming ASR mimarileri, konuşmacı konuşmaya devam ederken kısmi transkriptler üretir ve sonucu iteratif olarak günceller. Bu yaklaşım, Conformer mimarisi gibi yerel dikkat (local attention) mekanizmalarını kullanan modellerle verimli biçimde uygulanır.

arrow_forward queue_music

Stem Separation (Stem Ayrıştırma)

Stem ayrıştırma (İng. stem separation veya source separation), karışık bir ses kaydından vokal, davul, bas, gitar ve diğer enstrümanları birbirinden bağımsız parçalara (stem) ayırma işlemidir. Müzik üretimi, post-prodüksiyon ve yapay zeka destekli ses uygulamalarında her enstrümanın bağımsız olarak işlenmesini, düzenlenmesini ve yeniden karıştırılmasını mümkün kılan bu teknik, derin öğrenme tabanlı modellerle son yıllarda dramatik biçimde iyileşmiştir. Derin öğrenme öncesinde stem ayrıştırma, körsel kaynak ayrıştırma (blind source separation) ve ICA (Independent Component Analysis) gibi geleneksel sinyal işleme yöntemleriyle gerçekleştiriliyordu; bu yaklaşımlar kanal sayısı kısıtlamaları ve güçlü istatistiksel bağımsızlık varsayımları nedeniyle sınırlı kalıyordu. Derin öğrenme ile birlikte maskeli zaman-frekans temsilleri (spectral masking) ve uçtan uca öğrenme paradigmaları bu sınırları aştı. Meta'nın geliştirdiği Demucs, hibrit bir transformer-dalga formu mimarisine sahiptir; htdemucs versiyonu frekans ve zaman domenlerini paralel olarak işler ve doğal stereo genişlik koruması sağlar. Deezer'ın açık kaynak modeli Spleeter, U-Net mimarisiyle 2, 4 veya 5 stem ayrıştırması sunar. MDX-Net ve Open-Unmix ise SiSEC/MUSDB18 yarışma setinde referans sonuçlar üretmiştir. Model başarısı Sinyal-Bozulma Oranı (SDR — Signal-to-Distortion Ratio) ile ölçülür; güncel modeller vokal için +10 dB SDR değerlerine ulaşmaktadır. Stem ayrıştırmanın başlıca kullanım alanları şunlardır: karaoke altyapısı üretimi, remiks ve yeniden düzenleme, müzik eğitimi (belirli enstrümanı izole ederek pratik yapma), telif hakkı ve örnekleme (sampling) denetimi, oyun içi uyarlanabilir ses müziği ve Suno/Udio gibi üretken yapay zeka platformlarında ses yeniden kullanımı. Ses kalitesi üzerindeki etkiyi en aza indirmek için modeller genellikle kayan pencere (sliding window) ve örtüşen parça birleştirme (overlap-add) teknikleriyle çalışır. LALAL.AI, Moises, Stemify ve BaruwaAI bu teknolojiyi bulut API'leri aracılığıyla sunarken, Demucs ve Spleeter yerel GPU'larda da çalıştırılabilir.

arrow_forward developer_board

TPU Mimarisi (TPU Mimarisi)

TPU Mimarisi (Tensor Processing Unit Architecture), Google tarafından matris çarpımı ve lineer cebir işlemlerini maksimum verimlilikle gerçekleştirmek için özel olarak tasarlanan donanım işlemci mimarisini ifade eder. GPU ve CPU'nun aksine genel amaçlı hesaplama için değil, özellikle derin öğrenme modellerinin eğitimi ve çıkarımı (inference) için optimize edilmiş olan TPU, ilk olarak 2016 yılında Google veri merkezlerinde kullanılmaya başlanmıştır. TPU mimarisinin temel yapı taşı sistolik dizi (systolic array) adı verilen ve binlerce çarpma-toplama (multiply-accumulate) biriminin birbirine doğrudan bağlı olduğu matris yapısıdır. Bu mimaride veri bir kez bellekten yüklenir ve dizi boyunca akarak defalarca yeniden kullanılır; böylece bellek bant genişliği talebi dramatik biçimde düşürülür. TPU v1, 700 MHz saat hızında 65.536 çarpma-toplama işlemini eş zamanlı gerçekleştirebilir ve saniyede 92 trilyon 8-bit işlem kapasitesine sahipken yalnızca 40 watt güç tüketir. Her TPU TensorCore birimi; matris çarpımı birimi (MXU), vektör birimi ve skaler birimden oluşur. TPU v4 ve v5'te MXU boyutu 256×256'ya çıkarılmış, HBM (High Bandwidth Memory) kullanımıyla bant genişliği daha da artırılmıştır. TPU v4 Pod, 4.096 çipi ICI (Inter-Chip Interconnect) ağıyla birleştirerek eksa-FLOPS ölçeğinde hesaplama kapasitesi sunar; Gemini ve PaLM gibi büyük dil modellerinin eğitimi bu altyapıda gerçekleştirilmiştir. GPU'yla karşılaştırıldığında TPU'nun belirgin avantajları ve kısıtlamaları vardır. Avantajlar: watt başına daha yüksek matris çarpımı throughput'u, bellek yeniden kullanımı verimliliği, Pod topolojisinde doğrusal ölçeklenme. Kısıtlamalar: genel amaçlı programlama esnekliğinin düşük olması, XLA (Accelerated Linear Algebra) derleyicisiyle sıkı entegrasyon gerekliliği ve bazı dinamik iş yüklerinde GPU'nun gerisinde kalması. Google Cloud üzerinden TPU VM ve TPU Pod yapılandırmaları olarak erişilebilen bu işlemciler, JAX, TensorFlow ve torch_xla aracılığıyla PyTorch ile çalışır. Yapay zeka donanımı ekosistemine göre yeni nesil TPU 8t (eğitim) ve TPU 8i (çıkarım) varyantları, farklı hesaplama gereksinimlerine özgü optimizasyon fırsatı sunar. TPU mimarisi, NVIDIA GPU'larına rakip en güçlü yapay zeka hızlandırıcı platformu konumunu korumaktadır.

arrow_forward memory

Transformer-XL (Transformer-XL (Uzun Bağlamlı Dönüştürücü Mimarisi))

Transformer-XL, Zihang Dai ve ekibinin 2019 yılında Google Brain ile Carnegie Mellon Üniversitesi iş birliğiyle geliştirdiği, uzun bağlamı modelleme sorununu çözmek amacıyla önerilen bir dil modeli mimarisidir. Standart Transformer modelleri metin işlerken sabit uzunluktaki bölütleri birbirinden bağımsız olarak ele alır; bu durum cümle sınırlarını aşan bağlam bağımlılıklarının yakalanamamasına ve bölüt kenarlarında anlam kırılmasına yol açar. Transformer-XL bu sorunu iki temel yenilikle aşar: bölüt özyinelemesi ve göreli konum kodlaması. Bölüt özyinelemesi mekanizmasında her katmanın gizli durum tensörleri önbelleğe alınır ve bir sonraki bölüt işlenirken dikkat mekanizmasına ek bağlam olarak sunulur; bu yapı modelin erişebildiği bağlam uzunluğunu teorik olarak sonsuz kılabilir ve uzun mesafeli bağımlılıkların yakalanmasını mümkün kılar. Göreli konum kodlaması ise mutlak konum gömülerinin farklı bölüt uzunluklarında anlam kaybına yol açma sorununu giderir; dikkat mekanizması token çiftleri arasındaki göreli mesafeyi doğrudan hesapladığından model farklı bölüt konfigürasyonlarına kolayca genellenebilir hâle gelir. WikiText-103 ve enwiki8 standart kıyaslamalarında Transformer-XL yayımlandığı dönemde yeni başarım kayıtları kırmıştır. Eğitim aşamasında bölüt özyinelemesi devre dışı bırakılabilir; çıkarım aşamasında ise önbellekte tutulan gizli durumlar çok daha uzun metinlerin verimli biçimde işlenmesini kolaylaştırır. Hesaplama maliyeti açısından değerlendirildiğinde özyineleme uzunluğunun artmasıyla bellek kullanımı doğrusal olarak artar; bu denge üretim sistemleri için dikkate alınması gereken önemli bir tasarım kararıdır. Transformer-XL mimarisinin kalıcı etkisi ardından gelen büyük dil modellerine kattığı kavramsal zemindir. XLNet, permütasyon tabanlı dil modellemesiyle Transformer-XL üzerine inşa edilmiş ve BERT tarzı çift yönlü eğitimi oto-regresif modellemeyle birleştirmiştir. T5, GPT serisi ve günümüzün uzun bağlam modellerindeki pek çok tasarım kararı bu mimarinin deneyimlerinden beslenmiştir. Transformer-XL aynı zamanda artımlı çıkarım araştırmalarını da yönlendirmiş; literatürde iki binden fazla atıf alarak modern NLP tarihine geçmiştir.

arrow_forward code_blocks

wav2vec (wav2vec (Ses Temsil Öğrenimi))

wav2vec, Meta AI Research (eski adıyla Facebook AI) tarafından geliştirilen ve konuşma tanıma görevleri için etiketlenmemiş ses verilerinden güçlü temsiller öğrenen öz-denetimli (self-supervised) bir derin öğrenme modelidir. 2019'da tanıtılan ilk wav2vec, ham ses dalgalarını doğrudan girdi olarak alarak gelecekteki ses çerçevelerini tahmin etmek üzere bir CNN mimarisi kullanır. 2020'de yayımlanan wav2vec 2.0, bu çerçeveyi transformatör mimarisi ve kuantizasyon mekanizmasıyla geliştirerek öz-denetimli öğrenmeyi ses alanında doruk noktasına taşıdı. wav2vec 2.0'ın temel yeniliği, kontrastif öğrenme (contrastive learning) yaklaşımıdır: model, ses girdisinin bazı bölümlerini maskeler ve maskelenen bölümlerin doğru kuantize temsillerini yanlış adaylar arasından seçmeyi öğrenir. Bu sayede insan tarafından etiketlenmemiş binlerce saatlik ses verisi, eğitim malzemesi olarak kullanılabilir hâle gelir. wav2vec 2.0, yalnızca 10 dakika etiketli sesle dünyanın en iyi otomatik konuşma tanıma (ASR) sistemleriyle rekabet edebilir hâle gelebildiğini göstermiştir. Bu sonuç, etiketli veri kıtlığının büyük sorun oluşturduğu az kaynaklı diller için devrim niteliği taşır. Türkçe dahil onlarca dil için ön eğitilmiş wav2vec 2.0 modelleri Hugging Face üzerinden serbestçe erişilebilir durumdadır. MIMI, HuBERT ve XLS-R gibi sonraki ses modelleri wav2vec 2.0 mimarisinden ilham alarak geliştirilmiştir. Günümüzde ses klonlama, duygu tanıma, konuşmacı doğrulama ve çok dilli ASR sistemlerinin omurgasında wav2vec tabanlı temsil öğrenimi yaygın biçimde kullanılmaktadır. Meta AI'ın 2023'te tanıttığı MMS (Massively Multilingual Speech) projesi, wav2vec 2.0 çerçevesini 1.100'den fazla dile genişleterek dünyanın ses çeşitliliğini kapsayan en büyük ASR modelini ortaya koymuştur. Whisper ile karşılaştırıldığında wav2vec 2.0, az etiketli veri koşullarında üstün performans sergilerken Whisper geniş veri ortamlarında daha pratiktir; her iki yaklaşım farklı senaryolarda tamamlayıcı roller üstlenir. Uçtan uca konuşma çevirisi (speech-to-speech translation) ve gürültü giderme gibi yeni görevlerde de wav2vec tabanlı ön eğitimli modeller aktif olarak araştırılmakta ve ürünleştirilmektedir.

arrow_forward scale

Weights and Biases (Ağırlıklar ve Sapmalar)

Ağırlıklar (Weights) ve Sapmalar (Biases), bir yapay sinir ağındaki öğrenilebilir parametrelerin iki temel bileşenidir. Ağırlıklar, bir önceki katmandan gelen her girdinin çıktıya katkısının gücünü; sapmalar ise nöronun girdi sinyalinden bağımsız olarak tetiklenme eşiğini belirler. Model eğitimi bu iki parametre grubunun kayıp fonksiyonunu minimize edecek biçimde güncellenmesinden ibarettir. Matematiksel açıdan bir tam bağlantılı (fully connected) nöron şu işlemi gerçekleştirir: giriş vektörü x ile ağırlık matrisi W'nın iç çarpımı alınır, bias terimi b eklenir ve aktivasyon fonksiyonundan geçirilir: y = f(Wx + b). Ağırlıklar genellikle Xavier veya He başlatma yöntemleriyle rastgele, sapma değerleri ise sıfır veya küçük sabitlerle başlatılır; rastgele simetri kırma olmadan tüm nöronlar özdeş kalır. Eğitim sürecinde stokastik gradyan inişi (SGD) ve türevleri (Adam, AdamW, RMSProp) geri yayılım algoritmıyla hesaplanan gradyanlar yönünde parametreleri günceller. Öğrenme hızı (learning rate) bu adım büyüklüğünü kontrol eden kritik hiper parametredir; çok büyük öğrenme hızı kararsız eğitime, çok küçük öğrenme hızı ise yavaş yakınsamaya neden olur. Parametre sayısı model kapasitesini doğrudan belirler. GPT-3'ün 175 milyar, Llama 3.1 405B'nin ise 405 milyar parametresi mevcuttur. Bu parametrelerin tamamı çoğunlukla Float16 veya BF16 biçiminde depolanır; 7 milyar parametreli bir model FP16'da yaklaşık 14 GB VRAM gerektirir. L1 ve L2 düzenlileştirme (regularization) yöntemleri, ağırlıkların aşırı büyümesini cezalandırarak aşırı öğrenmeyi (overfitting) dizginler. Transferi öğrenme (transfer learning) bağlamında önceden eğitilmiş bir modelin ağırlıkları yeni bir görev için başlangıç noktası olarak kullanılır. Sadece son katmanların ağırlıkları güncellenmesi (fine-tuning), tüm modeli sıfırdan eğitmeye kıyasla çok daha az veri ve hesaplama gerektirir. LoRA (Low-Rank Adaptation) ise ağırlık matrislerini düşük ranklı matrislerle temsil ederek eğitilecek parametre sayısını dramatik biçimde azaltır; bu yöntem büyük dil modellerinin tüketici donanımında ince ayarlanmasını mümkün kılan temel tekniktir.

arrow_forward smart_toy

Yapay Zeka (Yapay Zeka)

Yapay zeka (YZ / Artificial Intelligence — AI), öğrenme, akıl yürütme, algı ve dil anlama gibi insan bilişsel yeteneklerini makinelerde simüle eden bilgisayar bilimi disiplinidir. 1956'da John McCarthy öncülüğünde akademik bir alan olarak tanımlanan YZ, on yıllar boyunca "YZ kışları" yaşasa da 2010'lardan itibaren derin öğrenme ve büyük verinin birleşimiyle çığır açan bir ivme kazandı. Modern YZ'nin omurgası makine öğrenimi (ML) ve derin öğrenmedir. Makine öğrenimi, algoritmaların veriden istatistiksel örüntü çıkarmasını sağlar; karar ağaçları, destek vektör makineleri ve rastgele orman bu ailenin klasik üyeleridir. Derin öğrenme ise çok katmanlı yapay sinir ağlarıyla ham veriden hiyerarşik temsiller öğrenir; görüntü tanıma, konuşma işleme ve dil modelleri bu yaklaşım üzerine inşa edilmiştir. Büyük Dil Modelleri (LLM'ler) — GPT-4o, Claude 3.5 Sonnet, Gemini 1.5 Pro — Transformer mimarisinin trilyonlarca token üzerinde ölçeklenmesiyle ortaya çıktı. Bu modeller soru yanıtlama, kod üretme, çeviri ve akıl yürütme görevlerinde insana yakın performans sergilemektedir. YZ kavramsal olarak üç seviyede ele alınır: Dar YZ (ANI), bugün kullanılan tüm ticari sistemleri kapsar ve tek bir görevde uzmanlaşır. Genel YZ (AGI), insan düzeyinde çok alanlı akıl yürütmeyi hedefler; hâlâ araştırma aşamasındadır. Süper YZ (ASI) ise insan zekâsını her alanda aşan hipotetik bir düzeyi tanımlar. Uygulama alanları son derece geniştir: sağlıkta erken tanı ve ilaç keşfi, finansta dolandırıcılık tespiti ve algoritmik ticaret, ulaşımda otonom araçlar, eğitimde uyarlamalı öğrenme platformları, üretimde kalite kontrol ve öngörücü bakım. Türkiye'de tarım (hastalık tespiti), kamu hizmetleri, e-ticaret kişiselleştirme ve Türkçe doğal dil işleme öne çıkan alanlardır. YZ beraberinde önemli etik ve toplumsal sorular da getirmektedir: algoritmik önyargı, iş gücü dönüşümü, veri gizliliği, deepfake içerikler ve bağımsız silah sistemleri bu soruların başında gelir. AB'nin AI Act düzenlemesi (2024) risk tabanlı bir sınıflandırma sistemi getirerek yüksek riskli YZ uygulamalarına sıkı gereklilikler koymaktadır.

arrow_forward code_blocks

Hiperparametre (Hiperparametre)

Hiperparametre, bir makine öğrenimi modelinin eğitim sürecini dışarıdan yöneten ve eğitim başlamadan önce belirlenmesi gereken yapılandırma değişkenidir. Öğrenme hızı (learning rate), katman sayısı, gizli birim sayısı, batch boyutu, dropout oranı ve regularizasyon katsayısı bunun başlıca örnekleridir. Model parametrelerinden temel farkı şudur: parametreler (ağırlıklar, bias değerleri) eğitim sırasında gradyan inişiyle otomatik olarak güncellenir; hiperparametreler ise öğrenme algoritmasının dışındadır ve araştırmacı ya da otomatik bir arama süreci tarafından belirlenir. Yanlış ayarlanmış bir hiperparametre, model ne kadar güçlü olursa olsun yetersiz öğrenmeye (underfitting) veya eğitim verisini ezberlemeye (overfitting) yol açar. Öğrenme hızı çok yüksek ayarlandığında model ıraksar; çok düşük olduğunda ise eğitim aşırı yavaşlar ve yerel minimumlara takılır. Bu nedenle hiperparametre optimizasyonu (HPO), başarılı bir ML projesinin ayrılmaz parçasıdır. Günümüzde Optuna, Ray Tune ve Weights & Biases Sweeps gibi kütüphaneler bu süreci otomatikleştirir. Büyük dil modeli eğitimlerinde hiperparametre seçimi milyarlarca dolarlık hesaplama bütçelerini doğrudan etkiler; bu yüzden küçük proxy modeller üzerinde yapılan HPO denemeleri, maliyeti kısıtlamak için kritik bir strateji haline gelmiştir. Transformer mimarisinde hiperparametre uzayı geleneksel derin öğrenme modellerine kıyasla çok daha geniştir: dikkat başlığı sayısı (num_attention_heads), gömme boyutu (d_model), ileri besleme katmanı genişliği (d_ff) ve bağlam penceresi uzunluğu (context length) birbirine bağlı değerlerdir. Araştırmalar d_model ile num_attention_heads arasındaki 64:1 oranının çoğu görevde iyi bir başlangıç noktası olduğunu göstermektedir. Bu nedenle yalnızca öğrenme hızını optimize etmek yetmez; mimariye özgü değerler de sistematik biçimde keşfedilmelidir. Hiperparametre duyarlılık analizi, hangi değişkenlerin modeli en çok etkilediğini belirlemeye yarar; önemsiz boyutları sabitleyip kritik olanlara odaklanmak arama süresini önemli ölçüde kısaltır. Bütçe kısıtlı projelerde deneyimli pratisyenlerin kullandığı başlangıç değerleri bunun tipik örnekleridir: öğrenme hızı için 3e-4 (yaygın olarak Karpathy sabiti adıyla anılır), weight decay için 0.1, dropout oranı için 0.1. Bu değerlerden başlayıp küçük kapsamlı bir arama ile kendi veri setine göre rafine etmek mühendislik maliyetini minimize eder.

arrow_forward code_blocks

Sigmoid Fonksiyonu (Sigmoid Fonksiyonu)

Sigmoid fonksiyonu, matematiksel gösterimi σ(x) = 1 / (1 + e^(-x)) olan ve her gerçel sayıyı 0 ile 1 arasındaki açık aralığa eşleyen S şekilli bir aktivasyon fonksiyonudur. Lojistik fonksiyon adıyla da anılan sigmoid, yapay sinir ağlarının ve klasik makine öğrenmesinin en eski yapı taşlarından biridir. Girdi eksi sonsuza giderken çıktı sıfıra, artı sonsuza giderken bire yaklaşır; x = 0 noktasında ise tam 0.5 değerini alır. Bu davranış, fonksiyonun çıktısını doğrudan bir olasılık gibi okumaya izin verir ve sigmoid'i ikili sınıflandırma problemlerinin çıkış katmanı için doğal bir seçim yapar: model, bir e-postanın spam olma ya da bir hastanın belirli bir tanıya sahip olma olasılığını tek bir sayıyla ifade edebilir. Fonksiyonun türevi σ'(x) = σ(x) · (1 - σ(x)) biçiminde, yani fonksiyonun kendi değeri üzerinden hesaplanır. Bu sadelik, 1986'da geri yayılım algoritmasının yaygınlaşmasıyla birlikte sigmoid'i sinir ağı eğitiminin standart aktivasyonu haline getirdi. 1990'ların ve 2000'lerin başındaki çok katmanlı algılayıcıların büyük bölümü gizli katmanlarında sigmoid kullanıyordu. Aynı türev, sigmoid'in en bilinen zayıflığını da açıklar. Türevin alabileceği en yüksek değer 0.25'tir ve |x| büyüdükçe hızla sıfıra iner. Derin bir ağda geri yayılım sırasında bu küçük türevler katman katman çarpıldığından, ilk katmanlara ulaşan gradyan neredeyse yok olur. Gradyan kaybı (vanishing gradient) olarak bilinen bu sorun, sigmoid tabanlı derin ağların eğitilmesini pratikte imkânsız hale getiriyordu. Ayrıca çıktının sıfır merkezli olmaması ağırlık güncellemelerinin hep aynı yönde ilerlemesine, üstel hesaplama ise ek işlem maliyetine yol açar. Bu nedenlerle modern derin öğrenme mimarileri gizli katmanlarda ReLU, GELU ve benzeri fonksiyonları tercih eder. Sigmoid ise varlığını üç önemli alanda sürdürür: ikili ve çok etiketli sınıflandırmanın çıkış katmanı, lojistik regresyonun olasılık dönüşümü ve LSTM ile GRU hücrelerindeki kapı mekanizmaları. Bu kapılar, bilginin ne kadarının hücre durumuna yazılacağını ya da silineceğini 0 ile 1 arasında bir katsayıyla belirler; tam da sigmoid'in ürettiği türden bir değer. Kısacası sigmoid, derin ağların gizli katmanlarından çekilmiş olsa da olasılık üretmenin gerektiği her yerde hâlâ vazgeçilmezdir.

arrow_forward code_blocks

YOLO (You Only Look Once) (YOLO Nesne Algılama)

YOLO (You Only Look Once), gerçek zamanlı nesne algılama görevleri için tasarlanmış, son derece hızlı ve doğru bir derin öğrenme mimarisidir. 2016 yılında Joseph Redmon ve arkadaşları tarafından tanıtılan YOLO, nesne tespitini tek bir ileri geçiş (single forward pass) işlemine indirgeyerek dönemin en hızlı nesne algılama sistemi haline gelmiştir. Geleneksel nesne algılama yaklaşımları (R-CNN ve türevleri) görüntüyü önce bölgelere ayırır, ardından her bölge için sınıflandırma yapar; bu iki aşamalı süreç yavaş çalışır. YOLO ise görüntüyü S×S ızgara hücrelerine böler; her hücre sabit sayıda bounding box tahmini ve sınıf olasılıkları üretir. Tüm bu tahminler tek bir CNN ile aynı anda hesaplanır. Bu yaklaşım, YOLO'nun saniyede 45 kare (FPS) ile işlem yapmasına ve gerçek zamanlı uygulamalar için ideal olmasına olanak tanır. Mimari açıdan YOLO, özellik çıkarmayı (feature extraction) ve nesne tespitini birleşik bir sinir ağında gerçekleştirir. Her bounding box için beş değer tahmin edilir: merkez koordinatları (x, y), genişlik (w), yükseklik (h) ve güven skoru (confidence score). Güven skoru hem nesne varlığı olasılığını hem de bounding box doğruluğunu (IoU, Intersection over Union) ifade eder. YOLOv1'den günümüze mimarinin önemi giderek artmıştır: YOLOv3 darknet53 omurgasıyla birden fazla ölçekte algılama yaparken, YOLOv5 PyTorch ekosistemiyle entegre olmuş ve endüstri standardı haline gelmiştir. Ultralytics tarafından geliştirilen YOLOv8, instance segmentation ve pose estimation desteğiyle kapsam genişletmiştir. En güncel YOLOv11 ise transformer tabanlı dikkat mekanizmaları ve gelişmiş arka plan modelleriyle %20'ye varan doğruluk artışı sunmaktadır. YOLO, otonom araçlardaki anlık engel algılamasında, güvenlik kameralarındaki kalabalık analizinde, sağlık görüntülemede anomali tespitinde, sanayi hatlarındaki kalite kontrolünde ve spor videolarındaki oyuncu takibinde yaygın biçimde kullanılmaktadır.

arrow_forward