tag Transformer
Attention (Dikkat Mekanizması) (Dikkat Mekanizması)
Bu sayfada Transformer (Attention (Dikkat Mekanizması) (Dikkat Mekanizması)) etiketi ile işaretlenmiş 36 yapay zeka kavramını bulabilirsiniz.
Attention (Dikkat Mekanizması), bir sinir ağının çıktı üretirken giriş dizisinin hangi bölümlerine ne ölçüde odaklanacağını dinamik olarak öğrenen nöral ağ bileşenidir. 2014'te makine çevirisi için önerilen temel dikkat mekanizması, 2017'de "Attention Is All You Need" makalesiyle Transformer mimarisinin çekirdeğine dönüştü ve modern yapay zekanın en dönüştürücü bileşeni haline geldi. Dikkat mekanizmasının temel sezgisi, insan dikkatini taklit etmektir: cümledeki her kelimeye eşit ağırlık vermek yerine, o anki tahmin için en ilgili kelimelere daha yüksek ağırlık vermek. Matematiksel olarak üç matris kullanılır: Sorgu (Query, Q), Anahtar (Key, K) ve Değer (Value, V). Q ile K'nın nokta çarpımı yumuşatılmış maksimum (softmax) fonksiyonundan geçirilerek dikkat ağırlıkları elde edilir; bu ağırlıklar V matrisinin ağırlıklı toplamını belirler: Attention(Q, K, V) = softmax(QK^T / √d_k) × V. Öz-dikkat (self-attention), bir dizinin kendi içindeki öğeler arasındaki bağımlılıkları modelleyerek çalışır; GPT ve BERT bu mekanizmayı kullanır. Çapraz dikkat (cross-attention) ise farklı iki dizinin öğelerini ilişkilendirir; kodlayıcı-çözücü modellerinde sorgu çözücüden, anahtar/değer çiftleri kodlayıcıdan gelir. Çok başlı dikkat (multi-head attention), birden fazla dikkat başını paralel çalıştırarak farklı ilişki alt uzaylarını eş zamanlı öğrenir. Dikkat mekanizması, konum bilgisini doğrudan içermez; bu nedenle Transformer'lara konumsal kodlama (positional encoding) eklenir. Flash Attention gibi bellek-etkin uygulamalar uzun bağlam pencerelerini mümkün kılarken kayan pencere dikkat (sliding window attention) yerel bağımlılıklara odaklanarak hesaplama karmaşıklığını düşürür. Dikkat mekanizması yalnızca dil modeliyle sınırlı kalmadı: Vision Transformer (ViT) görüntü yamalarını dizi olarak ele alarak öz-dikketi bilgisayarlı görüye uyarladı; Whisper ses tanıma, AlphaFold 2 protein yapısı tahmini de bu mekanizmaya dayanır. RNN ve LSTM'nin hâkim olduğu dönemde paralelleştirme kısıtlaması aşılamıyordu; dikkat mekanizması bu kısıtı ortadan kaldırarak GPT-4, Gemini ve Claude gibi modellerin 100.000+ token bağlam penceresiyle çalışmasını olanaklı kıldı.
Attention (Dikkat Mekanizması) (Dikkat Mekanizması)
Attention (Dikkat Mekanizması), bir sinir ağının çıktı üretirken giriş dizisinin hangi bölümlerine ne ölçüde odaklanacağını dinamik olarak öğrenen nöral ağ bileşenidir. 2014'te makine çevirisi için önerilen temel dikkat mekanizması, 2017'de "Attention Is All You Need" makalesiyle Transformer mimarisinin çekirdeğine dönüştü ve modern yapay zekanın en dönüştürücü bileşeni haline geldi. Dikkat mekanizmasının temel sezgisi, insan dikkatini taklit etmektir: cümledeki her kelimeye eşit ağırlık vermek yerine, o anki tahmin için en ilgili kelimelere daha yüksek ağırlık vermek. Matematiksel olarak üç matris kullanılır: Sorgu (Query, Q), Anahtar (Key, K) ve Değer (Value, V). Q ile K'nın nokta çarpımı yumuşatılmış maksimum (softmax) fonksiyonundan geçirilerek dikkat ağırlıkları elde edilir; bu ağırlıklar V matrisinin ağırlıklı toplamını belirler: Attention(Q, K, V) = softmax(QK^T / √d_k) × V. Öz-dikkat (self-attention), bir dizinin kendi içindeki öğeler arasındaki bağımlılıkları modelleyerek çalışır; GPT ve BERT bu mekanizmayı kullanır. Çapraz dikkat (cross-attention) ise farklı iki dizinin öğelerini ilişkilendirir; kodlayıcı-çözücü modellerinde sorgu çözücüden, anahtar/değer çiftleri kodlayıcıdan gelir. Çok başlı dikkat (multi-head attention), birden fazla dikkat başını paralel çalıştırarak farklı ilişki alt uzaylarını eş zamanlı öğrenir. Dikkat mekanizması, konum bilgisini doğrudan içermez; bu nedenle Transformer'lara konumsal kodlama (positional encoding) eklenir. Flash Attention gibi bellek-etkin uygulamalar uzun bağlam pencerelerini mümkün kılarken kayan pencere dikkat (sliding window attention) yerel bağımlılıklara odaklanarak hesaplama karmaşıklığını düşürür. Dikkat mekanizması yalnızca dil modeliyle sınırlı kalmadı: Vision Transformer (ViT) görüntü yamalarını dizi olarak ele alarak öz-dikketi bilgisayarlı görüye uyarladı; Whisper ses tanıma, AlphaFold 2 protein yapısı tahmini de bu mekanizmaya dayanır. RNN ve LSTM'nin hâkim olduğu dönemde paralelleştirme kısıtlaması aşılamıyordu; dikkat mekanizması bu kısıtı ortadan kaldırarak GPT-4, Gemini ve Claude gibi modellerin 100.000+ token bağlam penceresiyle çalışmasını olanaklı kıldı.
BERT (Bidirectional Encoder Representations) (BERT Doğal Dil Modeli)
BERT (Bidirectional Encoder Representations from Transformers), Google'ın 2018'de açık kaynak olarak yayınladığı, metni soldan sağa ve sağdan sola aynı anda okuyarak her kelimenin bağlamını çözen Transformer tabanlı bir dil modelidir. GPT gibi üretken modeller bir sonraki kelimeyi tahmin ederken, BERT encoder-only mimarisiyle cümlenin tamamına bakar; bu yüzden metin sınıflandırma, varlık ismi tanıma (NER) ve soru cevaplama gibi **anlama** görevlerinde uzun süre standart model oldu. Modelin iki temel ön eğitim görevi vardır: **Masked Language Modeling (MLM)** ile token'ların yaklaşık %15'i maskelenir ve model bunları çift yönlü bağlamdan tahmin eder; **Next Sentence Prediction (NSP)** ile iki cümlenin ardışık olup olmadığı öğrenilir. Eğitim verisi BooksCorpus ve İngilizce Wikipedia'dan oluşan yaklaşık 3,3 milyar kelimedir. BERT-base 110 milyon, BERT-large 340 milyon parametre taşır; bağlam penceresi 512 token ile sınırlıdır. BERT'in en görünür etkisi arama motorlarında yaşandı. Google, Ekim 2019'da BERT'i arama sıralamasına entegre etti ve o dönemde İngilizce sorguların yaklaşık %10'unun anlaşılmasını iyileştirdiğini duyurdu; Aralık 2019'da model Türkçe dahil 70'ten fazla dile genişledi. "Brezilya'dan ABD'ye vize" gibi edatın anlamı değiştirdiği sorgularda arama niyeti ilk kez doğru okunmaya başladı. Bu, SEO'da anahtar kelime yoğunluğu yerine niyet odaklı içerik döneminin başlangıcı sayılır. 2026 itibarıyla BERT üretken sohbet modellerinin gölgesinde kalmış görünse de üretimde en çok çalıştırılan modellerden biri olmaya devam ediyor: Google aramada hâlâ sıralama sistemlerinin bir parçası, Hugging Face'te BERT türevleri (RoBERTa, DistilBERT, DeBERTa, 2024 çıkışlı ModernBERT) aylık yüz milyonlarca kez indiriliyor. Türkçe NLP'de dbmdz/bert-base-turkish-cased (BERTurk) duygu analizi ve NER projelerinin varsayılan başlangıç noktasıdır. Düşük maliyeti, birkaç yüz örnekle fine-tune edilebilmesi ve milisaniyelik çıkarım süresi, BERT'i sınıflandırma ve embedding işlerinde LLM'lere pratik bir alternatif olarak ayakta tutuyor.
Cross-Attention (Çapraz Dikkat Mekanizması)
Cross-Attention (Çapraz Dikkat Mekanizması), 2017 yılında Google Brain ekibinin "Attention is All You Need" makalesiyle tanıttığı Transformer mimarisinin temel bileşenlerinden biridir. Self-Attention'dan farklı olarak iki ayrı dizinin birbirine dikkat etmesini sağlar: sorgu (Query) vektörleri alıcı diziden, anahtar (Key) ve değer (Value) vektörleri ise bağlam dizisinden üretilir. Matematiksel formülü self-attention ile aynı çekirdeği paylaşır: Attention(Q, K, V) = softmax(QK^T / √d_k) · V. Ancak Q, K ve V üç ayrı kaynaktan türetilir. Boyutsal ölçekleme faktörü √d_k, nokta çarpım değerlerinin patlamasını önler; gradyanlar bu yolla kararlı kalır. Orijinal Transformer mimarisinde cross-attention, kodlayıcı-kod çözücü (encoder-decoder) yapısında çalışır: kod çözücü katmanları Q vektörlerini kendi çıktısından üretirken K ve V vektörlerini kodlayıcının son katman çıktısından alır. Makine çevirisinde bu yapı, hedef dildeki her kelimenin kaynak dildeki tüm kelimelerle dinamik bağlantı kurmasını sağlar; model neye dikkat etmesi gerektiğini bağlama göre öğrenir. 2020'lerin başından itibaren cross-attention, metin-görüntü modellerinde kritik bir rol üstlendi. Stable Diffusion ve DALL-E gibi difüzyon modellerinde metin gömme vektörleri K ve V olarak kullanılırken görüntü gizil uzayındaki temsiller Q vektörü sağlar. Bu çapraz bağlantı aracılığıyla "gece yarısı şehrinde neon ışıklı bir kedi" gibi bir metin açıklaması ilgili görsel bölgelerle eşleştirilir. 2025-2026 döneminde çok modlu büyük dil modelleri (GPT-4o, Gemini 2.0, Claude 3.5 Sonnet), cross-attention mekanizmalarını ses, görüntü ve metin gibi farklı modaliteleri tek bir model içinde birleştirmek için genişletti. Flash Attention 3 ve Grouped Query Attention (GQA) gibi verimlilik teknikleri, uzun bağlamlarda cross-attention hesaplama maliyetini önemli ölçüde düşürdü. LoRA gibi parametre-verimli ince ayar yöntemleri de çoğunlukla cross-attention katmanlarındaki Q ve V matrislerini hedefleyerek model uyarlamasını yapar.
Encoder-Decoder (Kodlayıcı-Çözücü)
Encoder-decoder (kodlayıcı-çözücü), bir girdi dizisini veya veriyi sıkıştırılmış bir ara temsile dönüştüren (kodlama) ve ardından bu temsilden hedef çıktıyı yeniden üreten (çözme) iki bileşenli bir sinir ağı mimarisidir. Dizi-diziye (seq2seq) dönüşüm gerektiren görevlerde temel yapı taşı olan bu mimari, makine çevirisi, metin özetleme, konuşma tanıma ve görüntü açıklama gibi alanlarda geniş uygulama bulur. Encoder bileşeni, girdi dizisinin her öğesini işleyerek sabit boyutlu bir bağlam vektörü (context vector) veya dikkat ağırlıklı gizli durum kümesi üretir. RNN tabanlı encoder'larda bu çıktı son gizli durumdur; Transformer tabanlı mimarilerde ise her girdi tokenına karşılık gelen gizli durum vektörlerinin tamamı decoder'a aktarılır. Encoder, girdiyi sıkıştırırken semantik bilgiyi korumayı ve ilgisiz gürültüyü bastırmayı öğrenir. Decoder bileşeni, encoder çıktısını alarak hedef dizinin her adımını otoregresif biçimde üretir: bir önceki adımda üretilen token, sonraki token olasılığını hesaplamak için tekrar girdi olarak kullanılır. Eğitim sırasında "teacher forcing" yöntemiyle gerçek hedef tokenlar girdi olarak verilir; çıkarım (inference) aşamasında ise modelin kendi ürettiği tokenlar beslenir. Bu fark, "exposure bias" olarak adlandırılan ve beam search ile scheduled sampling yöntemleriyle azaltılmaya çalışılan bir eğitim-çıkarım uyumsuzluğuna yol açar. Dikkat mekanizması (attention mechanism) bu mimarinin kritik bir uzantısıdır. 2015 yılında Bahdanau ve ark. tarafından önerilen dikkat, decoder'ın her adımda encoder'ın farklı konumlarına farklı ağırlıklar atayarak odaklanmasını sağlar; bu sayede uzun dizilerdeki bilgi darboğazı önemli ölçüde azalır. Modern Transformer mimarisindeki çok başlı dikkat (multi-head attention), bu fikrin paralel ve güçlendirilmiş halidir; farklı temsil alt uzaylarında eş zamanlı dikkat hesaplanır. Günümüz büyük dil modellerinde BERT saf encoder, GPT ailesi saf decoder, T5 ve BART ise encoder-decoder modellerine örnektir. Görüntü işlemede U-Net, encoder-decoder prensibini piksel düzeyinde segmentasyon için atlama bağlantıları (skip connections) ile kullanır. Whisper (OpenAI) ise ses encoder ve metin decoder birleştirerek konuşma tanıma görevini büyük ölçekli eğitimle çözer.
Flash Attention (Flash Attention)
Flash Attention, Transformer modellerinin dikkat mekanizmasını GPU yüksek bant genişliği belleğine (HBM - High Bandwidth Memory) erişimleri en aza indirecek şekilde yeniden düzenleyen IO-bilinçli bir hesaplama yöntemidir. Standart dikkat algoritmasının O(n²) bellek karmaşıklığı yerine O(n) bellek kullanımı sağlar; bu fark özellikle uzun bağlam pencerelerinde dramatik bir verimlilik artışı anlamına gelir. Standart dikkat hesaplamasında Q, K, V (sorgu, anahtar, değer) matrislerinin tam NxN boyutundaki dikkat matrisi GPU HBM'e yazılır ve tekrar okunur. N token sayısı arttıkça bu matris için gereken bellek ve HBM erişim sayısı karesiyle büyür; bu hem yavaş hem bellek yoğun bir yaklaşımdır. Flash Attention'ın çözümü tiling (karo) tekniğidir. Giriş matrisleri küçük bloklara (tile) ayrılan bu yaklaşımda her blok GPU'nun hızlı SRAM ön belleğine yüklenir ve dikkat hesaplaması orada tamamlanır. SRAM HBM'den çok daha hızlı ve daha küçük; Flash Attention, HBM yazma/okuma sayısını agresif şekilde azaltarak hesaplamanın belleğe bağlı (memory-bound) darboğazını ortadan kaldırır. Yeniden hesaplama (recomputation) tekniği geri yayılım sırasındaki bellek ihtiyacını yönetir. İleri geçişte ara sonuçlar kaydedilmez; geri yayılım sırasında gerektiğinde yeniden hesaplanır. Bu, bellek tasarrufunu sağlarken ekstra hesaplama maliyeti getirir; ancak bu denge çok küçük bir maliyet olarak kalmaktadır. Tri Dao ve ekibi tarafından geliştirilmiş olan FlashAttention-1 2022'de yayımlanmış; FlashAttention-2 daha iyi iş bölümü ve paralelleştirme ile belirgin hızlanma sağlamıştır. FlashAttention-3, NVIDIA Hopper mimarisinin asenkron boru hatlarını ve FP8 desteğiyle daha da yüksek verimlilik sunmaktadır. PyTorch'un scaled_dot_product_attention API'si Flash Attention'ı varsayılan uygulama olarak entegre etmiştir; bu nedenle günümüzde çok sayıda Transformer uygulaması Flash Attention'dan dolayı, bunu fark etmeden yararlanmaktadır. **Sık Sorulan Sorular** **Flash Attention kullanmak için ne yapmam gerekir?** PyTorch >= 2.0'da torch.nn.functional.scaled_dot_product_attention kullanan herhangi bir model Flash Attention'dan otomatik olarak yararlanır. flash-attn paketini kurarak HuggingFace Transformers ve diğer çerçevedeki modellere Flash Attention 2/3 entegre edilebilir. **Flash Attention hangi GPU'larda çalışır?** FlashAttention-2 NVIDIA Ampere (A100) ve Hopper (H100) GPU'larında en iyi performansı gösterir; RTX serisi tüketici GPU'larında da çalışır. FlashAttention-3 Hopper mimarisine özelleştirilmiştir. **Flash Attention çıktıyı değiştirir mi?** Hayır. Flash Attention standart dikkat ile matematiksel olarak aynı sonucu üretir; fark yalnızca hesaplama verimliliğindedir. **Uzun bağlam neden Flash Attention olmadan bu kadar zorlayıcıdır?** 128K token için standart dikkat n²=16.4 milyar eleman boyutunda bir matris gerektirir; bu GPU belleğini tamamen aşabilir. Flash Attention bu sorunu tiling ile çözerek pratik uzun bağlam işlemesini mümkün kılar.
Generative Pre-trained Transformer (Üretken Ön-eğitimli Dönüştürücü)
GPT (Generative Pre-trained Transformer), OpenAI tarafından geliştirilen ve Transformer mimarisinin yalnızca decoder (kod çözücü) bloğunu kullanan büyük dil modeli ailesidir. Adındaki üç sözcük mimariyi tam olarak tanımlar: "Generative" (üretici), modelin yeni metin ürettiğini; "Pre-trained" (önceden eğitilmiş), devasa bir metin korpusu üzerinde denetimsiz öğrenimle hazırlandığını; "Transformer", kullanılan sinir ağı mimarisini ifade eder. GPT modelleri, bir sonraki kelimeyi tahmin etme (next-token prediction) görevi üzerinden eğitilir. Model, milyarlarca metin örneğini gördükten sonra dil bilgisi, mantık yürütme, kod yazma ve yaratıcı üretim gibi yetenekleri örtük biçimde edinir; bu sürece "emergent capability" (beliren yetenek) denir. GPT serisi 2018'de GPT-1 ile başlamıştır: 117 milyon parametreli bu model, dil modellemesinde büyük bir sıçrama olmakla birlikte dönemin BERT modeliyle kıyaslandığında sınırlı kaldı. 2019'da yayımlanan GPT-2 (1,5 milyar parametre), o kadar güçlü bir metin üretimi sergiledi ki OpenAI modeli başlangıçta tam sürümüyle kamuya açmaktan kaçındı. GPT-3 (2020, 175 milyar parametre) az örnekli öğrenme (few-shot learning) alanında çığır açtı: Model, yalnızca birkaç örnek gördükten sonra görev genellemesi yapabiliyor, ince ayar (fine-tuning) gerekmiyordu. GPT-3.5 ve ardından 2023'te duyurulan GPT-4, çok modlu (multimodal) girişi ve güçlendirilmiş mantık yeteneklerini bünyesine kattı. GPT-4o ise metin, ses ve görüntüyü tek bir modelde birleştirerek gerçek zamanlı çok modlu diyaloğu mümkün kıldı. GPT modellerinin eğitimi iki ana aşamadan oluşur. İlk aşamada denetimsiz ön eğitim (unsupervised pre-training) ile model internet metinleri, kitaplar ve kod içeren geniş bir veri kümesi üzerinde eğitilir. İkinci aşamada ise RLHF (Reinforcement Learning from Human Feedback — İnsan Geri Bildiriminden Pekiştirmeli Öğrenme) kullanılarak model insan tercihlerine hizalanır; bu süreç güvenli, yararlı ve dürüst yanıtlar üretmeyi hedefler. GPT'nin temel gücü, bağlamsal dil anlama ve üretmedeki esnekliğidir. Farklı sektörlerde müşteri hizmetleri, kod tamamlama, tıbbi yazışma özeti, hukuki belge analizi ve eğitim içeriği üretimi gibi kullanım alanları mevcuttur. ChatGPT, GPT modellerinin bir chat arayüzüyle sunulan versiyonudur ve GPT'nin kendisi ile aynı şey değildir; ChatGPT bir ürün, GPT ise altta yatan model ailesidir.
Human Pose Estimation (İnsan Poz Tahmini)
Human Pose Estimation (İnsan Poz Tahmini), görüntüler veya video karelerindeki insan vücudunu oluşturan eklem noktalarını (omuzlar, dirsekler, bilekler, kalça, dizler, ayak bilekleri ve baş) tespit ederek bütüncül bir iskelet temsili ortaya koyan bilgisayarlı görü görevidir. Her iskelet, anatomik bağlantılarla birleştirilmiş anahtar nokta koordinatlarından (x, y ve güven skoru) oluşur. Temel mimariler iki kategoride incelenir. Yukarıdan aşağıya (top-down) yaklaşımda önce görüntüdeki her birey bir nesne dedektörüyle belirlenir, ardından her kişi için bağımsız poz tahmini çalıştırılır; bu yöntem yüksek doğruluk sağlar ancak hesaplama maliyeti kişi sayısıyla orantılı biçimde artar. Aşağıdan yukarıya (bottom-up) yaklaşımda ise tüm anahtar noktalar tek geçişte tespit edilip ardından bireylere eşleştirilir; OpenPose (CMU, 2017) bu kategorinin öncüsüdür ve Parça Yakınlık Alanları (Part Affinity Fields) adlı yenilikçi teknikle eklem noktalarını doğru kişilere bağlar. Teknik açıdan modeller, her keypoint için olasılık ısı haritaları (heatmap) üretir; haritadaki yüksek değerler eklemin o konumda bulunma olasılığını gösterir. DeepPose (Google, 2014) bu göreve derin öğrenmeyi taşıyan ilk çalışmaydı. 2022'de yayımlanan ViTPose, CNN omurgaları yerine Vision Transformer (ViT) mimarisini kullanarak MS COCO karşılaştırma setinde AP 80,9 ile yeni bir başarı çıtası oluşturdu ve alanın CNN baskınlığından Transformer çağına geçişini simgeledi. Uygulama alanları oldukça geniştir: spor analitiğinde futbol, basketbol ve yüzme dallarında oyuncu hareket analizi; fitness ve sağlıkta yoga/gym antrenmanlarında doğru form denetimi ve fizyoterapi takibi; artırılmış/sanal gerçeklikte gerçek zamanlı avatar kontrolü ve mocap alternatifi; işaret dili tanıma ve jest tabanlı insan-bilgisayar etkileşimi; güvenlik sistemlerinde davranış izleme ve anomali tespiti. Temel zorluklar arasında vücut parçalarının örtülmesi (occlusion), kalabalık sahnelerde çok kişili tahmin ve mobil/uç cihazlarda gerçek zamanlı işlem gereksinimleri sayılabilir.
In-Context Learning (Bağlam İçi Öğrenme)
In-context learning (bağlam içerisinde öğrenme), büyük dil modellerinin ağ ağırlıklarını hiçbir şekilde güncellemeksizin, yalnızca prompt içerisine yerleştirilen girdi-çıktı örneklerinden görevi anlayıp yeni bir girdi için doğru çıktı üretme yetenektir. Geleneksel makine öğrenmesinden kökten farklı bu yetenekte gradient hesaplama, geri yayılım veya ağırlık güncelleme yoktur; model, dikkat mekanizması aracılığıyla prompt'taki örnekleri bir tür acil hafıza gibi kullanır. In-context learning üç alt kategoride incelenir. Zero-shot learning, hiç örnek verilmeden yalnızca görev tanımı veya talimatla çalışır. One-shot learning, tek bir girdi-çıktı örneği ile görevi anlama girişimidir. Few-shot learning ise genellikle üç ila on arasında örnek kullanır ve GPT-3 makalesinin odaklandığı asıl yaklaşımdır. Bu üç durum aslında aynı mekanizmanın örnek sayısına göre özel halleridir. 2020 yılında yayınlanan GPT-3 makalesi, in-context learning'i yapay zeka araştırmasının odak noktalarından birine dönüştürdü. Makale, 175 milyar parametreli GPT-3'ün onlarca görevi örnek görmeksizin veya yalnızca birkaç örnekle gerçekleştirebildiğini sistematik olarak göstermiş; bu sonuç dil modellerinin yetenekleri konusundaki beklentileri kökten değiştirmiştir. Mekanizma sorusu hala tartışmalıdır. Bir yaklaşım, in-context learning'in gizli bir gradient descent gerçekleştirdiğini öne sürer: dikkat mekanizması, örneklerden üstkalık doğrusallık gibi temel kalıpları çıkartmak için fonksiyonel olarak gradyan hesaplamaya benzeyen bir süreç yürütmektedir. Alternatif yorum ise modelin eğitim sırasında on milyarlarca belgede gördüğünden benzer görevlerin farklı biçimlerini öğrenip bunları prompt'taki sinyal üzerine yeniden etkinleştirdiğini öne sürer. Uygulamada in-context learning prompt mühendisliği ile doğrudan bağlantılıdır. Hangi örneklerin seçildiğini, örneklerin sırası, örnek sayısı ve talimatın formatı model performansını onlu ölçekte etkiler. Chain-of-Thought prompting gibi teknikler, bu mekanizma üzerine akıl yürütme adımlarını yerleştirir. **Sık Sorulan Sorular** **In-context learning ile fine-tuning arasındaki fark nedir?** Fine-tuning ağ ağırlıklarını gerçekten günceller ve sürekli öğrenmeyi temsil eder. In-context learning ağırlıksız, çıkarım sırasında gerçekleşir; daha esnek ama daha az kalıcı öğrenme demektir. **Hangi modeller in-context learning'i iyi yapar?** Genel olarak büyük modeller daha iyidir; GPT-4, Claude ve Gemini gibi frontier modeller küçük modellerden belirgin şekilde üst performans gösterir. Model büyüklüğü ile in-context yetenek arasındaki ilişki yaklaşık log-doğrusaldır. **Örnek sırası önemli midir?** Evet, araştırmalar örnek sırasının performansı onlu yüzde kadar etkileyebildiğini göstermiştir. Optimal sıra veri kümesine ve göreve bağımlıdır; genel kural yoktur. **In-context learning'in sınırları nelerdir?** Bağlam penceresi sınırı, örnek sayısını küçük tutar. Çok adımlı akıl yürütme gerektiren veya sık güncellenen veri gerektiren görevlerde fine-tuning tipik olarak daha iyi sonuç verir.
KV Cache (Anahtar-Değer Önbelleği)
KV Cache (Key-Value Cache — Anahtar-Değer Önbelleği), transformer tabanlı büyük dil modellerinin otomatik regresif çıkarımında hesaplama verimliliğini artıran temel bir bellek optimizasyon mekanizmasıdır. Token üretiminde her adımda tüm geçmiş tokenların dikkat hesaplamalarını yeniden yapmak yerine, daha önce hesaplanan anahtar (Key) ve değer (Value) matrislerini bellekte saklayarak bu maliyeti ortadan kaldırır. Böylece naif O(n²) karmaşıklık O(n)'e indirilir ve model, uzun bağlamlarda bile tutarlı bir hızda yanıt üretebilir. Transformer mimarisindeki çok-başlı dikkat (multi-head attention) katmanında, her token için K ve V vektörleri hesaplanır. Otoregresif üretimde n token zaten üretilmişse, n+1. token için önceki n tokenın K ve V değerleri önbellekten okunabilir; yalnızca yeni tokena ait hesaplama yapılır ve sonuç önbelleğe eklenir. Bu süreç her üretim adımında yalnızca artımlı bir işlem gerektirir ve toplam çıkarım hızını dramatik biçimde artırır. Bellek tüketimi KV Cache'in en kritik tasarım kısıtıdır. Hesaplama formülü şudur: 2 × katman_sayısı × kafa_sayısı × kafa_boyutu × dizi_uzunluğu × bit_genişliği. 7 milyar parametreli bir modelde 4096 token bağlam için FP16 ile yaklaşık 500 MB gerekir; 128K token bağlamda bu değer 10–15 GB'a ulaşabilir. Toplu çıkarımda farklı uzunluktaki isteklerin KV Cache'leri VRAM'i model ağırlıklarıyla rekabet eder biçimde tüketir ve bu durum maksimum batch boyutunu sınırlandırır. Bu baskıyı hafifletmek için sektörde birkaç kritik yöntem geliştirilmiştir. Grouped Query Attention (GQA) ve Multi-Query Attention (MQA), birden fazla sorgu kafasına tek bir K-V matrisi atayarak önbellek boyutunu önemli ölçüde küçültür; Llama 3, Gemma ve Mistral bu tekniği standart olarak kullanır. KV cache kuantizasyonu (INT8/FP8) bellek tüketimini 2–4 kat azaltırken kalite kaybını sınırlı tutar. vLLM'in Paged Attention yöntemi, cache'i sabit boyutlu sayfalar hâlinde yönetir ve bellek parçalanması sorununu ortadan kaldırır. API düzeyinde Prompt Caching ise tekrar eden sistem promptlarının K-V hesaplamalarını sunucu tarafında saklayarak hem gecikmeyi hem de maliyeti düşürür; Anthropic Claude, OpenAI ve Google bu özelliği prefix caching adıyla sunar. DeepSeek'in Multi-head Latent Attention (MLA) mimarisi, K-V vektörlerini sıkıştırılmış bir gizli uzaya projekte ederek önbellek boyutunu dramatik biçimde küçültür ve uzun bağlam işlemeyi yeniden tanımlar.
Large Language Model (Büyük Dil Modeli)
Büyük Dil Modeli (LLM — Large Language Model), trilyonlarca metin tokeni üzerinde eğitilmiş, doğal dil anlama ve üretme konusunda insan düzeyine yakın performans gösteren yapay zeka sistemidir. Temeli Transformer mimarisine dayanır; milyarlarca parametre içeren bu modeller, metindeki bağlamı dikkat (attention) mekanizması aracılığıyla yakalar. LLM'ler, eğitim sürecinde büyük metin veri kümelerinden "sonraki tokeni tahmin et" hedefiyle öz-denetimli öğrenme (self-supervised learning) gerçekleştirir. Bu süreçte model; dilbilgisi, olgusal bilgi, mantık çıkarımı ve kültürel bağlamı örtük biçimde kodlar. Eğitim tamamlandıktan sonra model, belirli görevlere (soru yanıtlama, özetleme, kod üretme) yönelik ince ayar (fine-tuning) veya RLHF (İnsan Geri Bildiriminden Pekiştirmeli Öğrenme) ile hizalanır. Parametre sayısı modelin kapasitesini doğrudan etkiler: GPT-3 175 milyar, Llama 3.1 405 milyar, Claude 3 Opus ise yüzlerce milyar parametre içerir. Ancak parametre sayısı tek başına yeterli bir ölçüt değildir; eğitim verisi kalitesi, bağlam penceresi (context window) ve hizalama yöntemi de kritik rol oynar. LLM'lerin kullanım alanları hızla genişlemektedir: müşteri hizmetleri chatbotları, kod tamamlama araçları (GitHub Copilot), belge özetleme, çok dilli çeviri, tıbbi kayıt analizi ve hukuki metin tarama. Aynı zamanda bu modeller yapay zeka ajanlarının (AI agents) temel bileşeni olarak görev alır; araç çağırma (tool use) ve çok adımlı akıl yürütme yetenekleriyle otonom iş akışlarını mümkün kılar. Sınırlamalar açısından LLM'ler halüsinasyon (gerçek olmayan bilgi üretme), bilgi kesim tarihi (knowledge cutoff) ve uzun bağlamda dikkat dağılması sorunlarıyla karşı karşıyadır. Bu sorunları hafifletmek için RAG (Retrieval-Augmented Generation), uzun bağlam pencereleri ve çıkarım zamanında düşünme (test-time compute) gibi teknikler geliştirilmektedir. Rekabet ortamı hızla gelişmektedir: OpenAI GPT-4o, Anthropic Claude 3.5 Sonnet, Google Gemini 1.5 Pro ve Meta Llama 3.1 405B gibi modeller birbirini kısa sürelerde geçen yetenekler sergilemektedir. Açık ağırlıklı (open-weight) modeller, özellikle gizlilik gereksinimleri olan kurumsal dağıtımlar için bulut tabanlı alternatiflere güçlü bir seçenek sunmaktadır. Türkiye'deki yapay zeka geliştiricileri ve araştırmacılar için Llama, Mistral ve Qwen gibi açık modeller yerel fine-tuning ve çıkarım denemeleri için erişilebilir başlangıç noktaları oluşturmaktadır. Türkçe dil desteği büyük modellerle genel olarak güçlüdür; ancak düşük kaynaklı Türkçe içerikte daha iyi sonuç için özelleştirilmiş fine-tuning önerilmektedir. İşletmeler için veri gizliliği ve egemenlik gereksinimleri, Ollama ve vLLM gibi yerel çıkarım platformlarına olan talebi artırmaktadır.
Machine Translation (Makine Çevirisi)
Makine Çevirisi (Machine Translation, MT), bilgisayar sistemlerinin insan müdahalesi olmadan metni veya konuşmayı bir dilden diğerine otomatik olarak aktarmasıdır. Warren Weaver'ın 1949'daki öncü memorandumundan bu yana üç temel nesil geçirmiştir: kural tabanlı MT (RBMT), istatistiksel MT (SMT) ve günümüzde baskın olan nöral MT (NMT). Kural tabanlı sistemler (1950'ler–2000'ler), dilbilgisi kurallarını ve ikidilli sözlükleri temel alırdı; dar alanlarda tutarlı sonuç verse de genel amaçlı ve geniş kapsamlı metinlerde yetersiz kalıyordu. İstatistiksel MT (2000–2016), geniş paralel corpus'lardan öğrenerek olasılıksal modeller kullanırdı; Moses çerçevesi bu dönemin öne çıkan aracıydı. 2016 yılında Google'ın nöral makine çevirisine geçişiyle paradigma kökten değişti. Seq2seq mimarisi üzerine inşa edilen ve ardından Transformer attention mekanizmasıyla güçlendirilen NMT, cümlenin tüm bağlamını kapsayan yoğun temsiller (embedding) üzerinden kaynak dili hedef dile eşler. Bu yaklaşım özellikle uzun mesafeli bağımlılıkların —örneğin Türkçe'de fiil-özne uyumunun— yakalanmasında geleneksel yöntemlere kıyasla büyük bir dönüşüm getirmiştir. Kalite değerlendirmesinde BLEU (Bilingual Evaluation Understudy), METEOR, chrF ve BERTScore gibi otomatik metrikler kullanılır; ancak kültürel nüansları ve anlam doğruluğunu tam ölçmek için MQM (Multidimensional Quality Metrics) çerçevesinde insan değerlendirmesi kaçınılmazdır. Türkçe gibi sondan eklemeli (agglutinative) dillerde alt-kelime tokenizasyonu ve paralel veri kıtlığı özel zorluklar yaratmaktadır; tek bir kök onlarca ek alarak farklı sözcük formları üretebilmektedir. Günümüzde GPT-4o, Gemini 2.5 Flash ve DeepL gibi büyük dil modelleri ile uzmanlaşmış motorlar hukuki, tıbbi ve teknik alanlarda yüksek kaliteli çeviri sunmaktadır. Sağlık kuruluşları, e-ticaret devleri ve haber ajansları bu teknolojiyi milyonlarca içerik parçasını anlık yerelleştirmek için aktif biçimde kullanmaktadır. Zero-shot ve few-shot çeviri yetenekleri, daha önce hizmet verilemeyen az kaynaklı dil çiftlerini de kapsam içine almaktadır.
Mixture of Experts (MoE) (Uzmanların Karışımı)
Uzmanların Karışımı (Mixture of Experts — MoE), büyük dil modellerinin hesaplama verimliliğini artırmak için geliştirilmiş bir mimari yaklaşımdır. Geleneksel yoğun (dense) transformer modellerinde her girdi, ağın tüm parametrelerinden geçer; MoE mimarisinde ise her token yalnızca belirli alt ağlar tarafından işlenir. MoE'nin temel bileşeni, "uzman" adı verilen birbirinden bağımsız beslemeli ileri (feed-forward) katmanlardır. Bu uzmanlara ek olarak bir kapı (gating) ağı bulunur; kapı ağı her giriş için hangi uzmanların etkinleştirileceğine karar verir. Tipik bir MoE katmanı 8 ila 64 uzman barındırır; ancak her token için yalnızca 2–4 tanesi aktive edilir. Bu seçici aktivasyon, modelin toplam parametre sayısını büyütürken hesaplama maliyetini sabit tutar. Seyrek aktivasyon (sparse activation) olarak adlandırılan bu özellik, MoE'yi büyük ölçekte son derece çekici kılar. Örneğin Mistral'ın Mixtral 8x7B modeli, 46,7 milyar parametreye sahip olmasına karşın çıkarım sırasında yalnızca 12,9 milyar parametre kullanır; bu da onu çok daha küçük görünen 13B modeller kadar hızlı yapar. Benzer şekilde GPT-4'ün MoE tabanlı olduğu yaygın biçimde raporlanmış olup Google'ın Gemma 4 serisi de MoE mimarisini benimsemiştir. Türk yapay zeka ekipleri için MoE, özellikle bulut çıkarım maliyetleri söz konusu olduğunda kritik bir tasarruf aracıdır. Aynı kalitedeki yoğun modele kıyasla çıkarım başına daha az FLOP harcanır; bu da API maliyetlerini doğrudan düşürür. Öte yandan MoE modellerini yerel olarak çalıştırmak, tüm uzman ağırlıklarının RAM veya VRAM'e yüklenmesini gerektirdiğinden bellekte yoğun bir profil çıkarır; bu nedenle tüketici donanımında dikkatli bellek planlaması şarttır. MoE'nin temel sınırlılıkları arasında yük dengeleme güçlüğü öne çıkar: eğitim sırasında kapı ağı bazı uzmanlara aşırı yüklenebilir, diğerlerini boş bırakabilir. Bu sorunu gidermek için yardımcı kayıp (auxiliary loss) fonksiyonları kullanılır. Dağıtık çıkarım altyapısında ise farklı uzmanlara denk düşen tokenların farklı cihazlara yönlendirilmesi gerekebilir; bu da iletişim ek yükü doğurur.
Mixture of Experts Routing (MoE Yönlendirme)
Mixture of Experts (MoE) routing, modern büyük dil modellerinde her transformer katmanının feed-forward bloğunu birden fazla "uzman" alt ağa bölen ve her gelen token için yalnızca belirli uzmanları etkinleştiren bir yönlendirme mekanizmasıdır. 2017 yılında Shazeer ve arkadaşları tarafından "Outrageously Large Neural Networks" makalesiyle transformer mimarisine entegre edilen bu yaklaşım, GPT-4, Mixtral, DeepSeek ve Gemini gibi önde gelen modellerin temel mimarisi hâline gelmiştir. Geleneksel dense transformer mimarilerinde her token, modelin tüm parametrelerinden geçer; bu durum ölçeklendirme maliyetini parametrelerle orantılı biçimde artırır. MoE mimarisinde ise öğrenilebilir bir yönlendirici (router) ağı, her token için uzmanlar arası bir ağırlık vektörü hesaplar; ardından en yüksek ağırlıklı K uzmanı seçer ve hesaplamayı yalnızca bu uzmanlara yönlendirir. Geri kalan uzmanlar o token için hiç etkinleştirilmez. Böylece toplam parametre sayısı büyük kalırken token başına hesaplama maliyeti sabit tutulur; bu özellik MoE'yi "sparse" (seyrek) mimari olarak da tanımlar. MoE routing'in en önemli pratik sorunu "router collapse"dır: yeterli düzenleme eklenmediğinde router tüm tokenleri yalnızca 1-2 uzmana yönlendirmeye başlar ve geri kalan uzmanlar boşta kalır. Bu sorunu önlemek için eğitim kaybına yük dengeleme kaybı (auxiliary load balancing loss) eklenir. DeepSeek-V3, bu sorunu ek kayıp yerine dinamik bias ayarıyla çözen farklı bir yaklaşım benimsemiştir. Routing iki ana paradigmada gerçekleşir. Token-Choice routing'de her token hangi uzmanı tercih ettiğini seçer; Expert-Choice routing'de ise her uzman belirli tokenleri kendisi alır. İkinci yöntem doğal yük dengesi barındırmakla birlikte bazı tokenlerin hiçbir uzman tarafından seçilmeme riskini beraberinde getirir. 2024-2025 döneminde MoE mimarisi çarpıcı verimlilik göstermiştir: Mixtral 8x7B, 8 uzmanı arasından 2'sini seçerek yaklaşık 47B toplam parametreyle yalnızca 13B aktif parametre kullanır. DeepSeek-V3 ise 256 uzman arasından 8'ini aktive ederek eğitim maliyetini belirgin biçimde azaltmış ve rekabetçi performans elde etmiştir. Bu nedenle MoE, ölçeklenebilir yapay zeka araştırmalarının temel odak noktalarından biri olmayı sürdürmektedir.
Multi-Head Attention (Çok Başlı Dikkat Mekanizması)
Çok başlı dikkat mekanizması (Multi-Head Attention), transformer modellerinin giriş dizisine aynı anda birden fazla farklı bakış açısından odaklanmasını sağlayan temel bir sinir ağı bileşenidir. 2017 yılında Google'ın "Attention is All You Need" makalesiyle tanıtılan bu mekanizma, modern büyük dil modellerinin (LLM) temel yapı taşını oluşturur. Klasik tek başlı dikkat mekanizması, bir cümledeki her token için yalnızca tek bir ilişki türünü yakalayabilirken, çok başlı dikkat h adet bağımsız "dikkat kafasını" paralel olarak çalıştırır. Her kafa, giriş gömme vektörünü üç farklı matrise dönüştürür: Sorgu (Q), Anahtar (K) ve Değer (V). Sorgu vektörü "ne arıyorum?" sorusunu, Anahtar vektörü "ne sunuyorum?" sorusunu, Değer vektörü ise "ilgili bilgi nedir?" sorusunu temsil eder. Her kafanın dikkat skoru, ölçeklenmiş nokta çarpımı formülüyle hesaplanır: softmax(QKᵀ / √d_k) × V. Buradaki √d_k ölçekleme faktörü, büyük iç çarpımların softmax'ı aşırı keskinleştirip gradyanların sıfıra yaklaşmasını önler. Her kafa, toplam model boyutunun (d_model) h'e bölünmesiyle elde edilen daha küçük bir alt uzayda çalışır; böylece toplam hesaplama maliyeti tek başlı dikkatle karşılaştırılabilir düzeyde kalır. Farklı kafalar farklı ilişki türlerini öğrenir: bir kafa sözdizimsel yapıyı, bir diğeri anlamsal benzerlikleri, bir üçüncüsü uzun menzilli bağımlılıkları yakalayabilir. Tüm kafalara ait çıktılar birleştirilerek tek bir doğrusal dönüşümden geçirilir ve modelin zengin, çok boyutlu bir bağlam temsili oluşturması sağlanır. Gerçek dünya modellerinde kafa sayısı büyük farklılıklar gösterir: BERT-Base her katmanda 12, GPT-3 ise 96 kafa kullanır. Araştırmalar, bazı kafaların eğitim sırasında belirli dilsel işlevlere uzmanlaştığını göstermektedir. Vision Transformer (ViT) gibi görsel modeller de aynı mekanizmayı görüntü yamalarına uygulayarak mekânsal ilişkileri öğrenir. GPT, LLaMA, Mistral, Gemma ve Claude gibi tüm modern modeller bu temel mekanizmaya dayanır.
RoPE (Dönel Konum Kodlama)
RoPE (Rotary Position Embedding — Dönel Konum Kodlama), transformer tabanlı dil modellerinde token konumlarını temsil etmek için 2021 yılında Jianlin Su ve ekibi tarafından önerilen özgün bir konum kodlama yöntemidir. Geleneksel mutlak konum gömme yaklaşımlarının (sinüs/kosinüs PE veya öğrenilmiş vektörler) yetersiz kaldığı bağlam uzunluğu genellenebilirliği sorununu zarif biçimde çözer. Temel fikir, her tokenın sorgu (query) ve anahtar (key) vektörlerini, o tokenın sekans içindeki konumuna bağlı bir açıyla karmaşık sayı uzayında döndürmektir. Böylece iki token arasındaki dikkat puanı (dot product), yalnızca konumlar arasındaki farka (m−n) bağlı hale gelir; modelin öğrenmesi gereken göreli konum bilgisi, dikkat hesaplamasına doğal olarak yerleşmiş olur. Matematiksel olarak d-boyutlu vektör, d/2 adet iki boyutlu alt uzaya ayrılır. Her alt uzay için farklı bir taban frekans θ_i = 10000^(−2i/d) kullanılır. Yüksek frekanslı boyutlar yakın komşuluk ilişkilerini, düşük frekanslı boyutlar uzun menzilli yapısal bağları kodlar. Bu çok ölçekli yapı, hem kısa sözcüksel hem de uzun sözdizimsel örüntüleri bir arada temsil eder ve dikkat mekanizmasına yönelik uzaklık yatırılabilirliği (distance invariance) özelliği kazandırır. RoPE'un pratik avantajları önemlidir: ekstra parametre gerektirmez; göreli konum farkındalığı sinüs PE'ye göre çok daha güçlüdür; bağlam uzunluğu genişletmesi (YaRN, NTK scaling, LongRoPE gibi yöntemler) ile eğitim penceresinin 4 ila 128 katına çıkılabilir. Flash Attention gibi bellek verimli kernel'larla tam uyumludur ve hesaplama maliyeti ihmal edilebilir düzeyde kalır. Meta'nın LLaMA serisi (1, 2, 3), Mistral, Gemma (Google DeepMind), Qwen (Alibaba), DeepSeek ve Falcon gibi modern açık kaynaklı dil modelleri RoPE'u standart konum kodlaması olarak benimsemiştir. Bu yaygın kullanımın arkasında RoPE'un matematiksel sağlamlığı, uygulanmasının kolaylığı ve bağlam uzatmada gösterdiği üstün esneklik yatar. Günümüzde RoPE, açık kaynak LLM ekosisteminin fiili standardı konumundadır.
Skip Connection (Atlama Bağlantısı)
Skip connection (atlama bağlantısı), derin sinir ağı mimarilerinde bir katmanın girdisinin bir veya daha fazla katman atlanarak ileriki bir katmana doğrudan iletilmesi tekniğidir. 2015 yılında Microsoft Research ekibinin ResNet (Residual Network) mimarisinde popüler hale getirdiği bu yapı, derin öğrenme tarihinin en etkili mimari yeniliklerinden biri olarak kabul edilmektedir. Derin sinir ağlarının temel sorunu, gradyan kaybı (vanishing gradient) problemidir: geri yayılım (backpropagation) sırasında hata sinyali katmanlar boyunca üstel biçimde küçülerek iletilir ve en alt katmanlar öğrenme sürecinden yetersiz yararlanır. 2015 öncesinde 20-30 katmanı aşan ağlar pratikte eğitilemiyordu. Skip connection bu sorunu köklü biçimde çözer. Mathematiksel olarak bir skip connection bloğu şu şekilde ifade edilir: çıktı = F(x) + x. Burada F(x) katmanların öğrendiği artık (residual) dönüşümü, x ise doğrudan iletilen kimlik terimidir. Bu toplama işlemi, gradyanın hem dönüşüm yolundan hem de kesintisiz kimlik yolundan geriye akabilmesini sağlar. Ağ artık hedef çıktıyı sıfırdan öğrenmek yerine yalnızca neyin değişmesi gerektiğini öğrenir; bu da eğitimi hem hızlandırır hem de stabilize eder. Skip connection, yalnızca bilgisayarla görme alanında değil, modern yapay zeka ekosisteminin tamamında kalıcı bir iz bırakmıştır. Transformer mimarisi her encoder ve decoder bloğunda skip connection ile katman normalizasyonunu (layer normalization) birleştiren yapıyı kullanır. GPT, BERT, ViT ve LLaMA gibi büyük dil modelleri ile görüntü dönüştürücülerinde bu tasarım ilkesi temel bir bileşen haline gelmiştir. U-Net medikal görüntülemede encoder-decoder bağlantıları için, DenseNet ise yoğun bağlantı blokları için farklı skip connection türleri kullanır. Skip connection'ın önemi, 2015 ImageNet yarışmasında ResNet-152'nin insan düzeyini aşan yüzde 3.57 hata oranıyla birinci gelmesiyle somutlaşmıştır. Bu sonuç, derin öğrenme topluluğunun ağ derinliğine bakışını kökten değiştirmiş ve yüzlerce hatta binlerce katmanlı modellerin eğitilmesinin önünü açmıştır.
Whisper (OpenAI Konuşma Tanıma)
Whisper, OpenAI tarafından Eylül 2022 tarihinde açık kaynak olarak yayımlanan bir otomatik konuşma tanıma modelidir. Sistem, ASR yani Automatic Speech Recognition alanında önemli bir referans nokta haline gelmiştir. İnternetin en kapsamlı çok dilli ses derlemlerinden biri üzerinde eğitilen model 680.000 saatlik denetimli ses verisini kullanmaktadır. Bu geniş eğitim kümesi modelin yüksek gürültü ortamlarında farklı aksan ve lehçelerde ve teknik jargon içeren konuşmalarda dahi güçlü performans sergilemesini mümkün kılmaktadır. Model ham ses dosyasını otuz saniyelik parçalara böler ve her parçayı log-mel spektrogramına dönüştürür. Konvolüsyonel katmanlardan oluşan bir kodlayıcı bu spektrogramdan anlam taşıyan özellikler çıkarır; Transformer tabanlı çözücü ise bu özellikleri kelime parçalarına yani token'lara dönüştürür. Whisper transkripsiyon yabancı dilden İngilizceye çeviri ve dil tanımlama görevlerini tek bir model çatısı altında yürütür. Ses segmentasyonu otomatik gerçekleştiğinden uzun kayıtlar ek ön işlem gerektirmeksizin doğrudan işlenebilir. Tiny Base Small Medium ve Large-v3 olmak üzere beş boyutta sunulan model kaynak kısıtlı uç cihazlardan büyük veri merkezlerine kadar geniş bir kullanım yelpazesine hitap eder. Açık kaynak yapısı araştırmacı ve geliştiricilerin modeli kendi veri setleriyle ince ayar yaparak alana özgü terminolojiye veya daha önce desteklenmeyen dillere uyarlamasına olanak tanır. Türkçe dahil doksan dokuz dili destekleyen Whisper; medya arşivleme toplantı transkripti oluşturma erişilebilirlik çözümleri ve tıbbi dikte uygulamalarında yaygın biçimde kullanılmaktadır. Faster-whisper gibi topluluk kütüphaneleri CTranslate2 motoru üzerinde çalışarak çıkarım hızını ve bellek verimliliğini önemli ölçüde iyileştirir; bu da düşük gecikmeli ve gerçek zamanlı transkripsiyon senaryolarını mümkün kılar. Large-v3 modeli yaklaşık on gigabayt GPU belleği gerektirirken float16 hassasiyeti veya sekiz bitlik niceleme bu gereksinimi belirgin biçimde azaltır. Model başarımı kelime hata oranı yani WER metriği ile ölçülür ve popüler akademik kıyaslamalarda sektörün önde gelen sistemlerini geride bırakmaktadır.
Adapter Tuning (Adapter Eğitimi)
Adapter tuning (adapter eğitimi), önceden eğitilmiş büyük dil ve görü modellerini yeni bir göreve uyarlarken modelin kendi ağırlıklarına hiç dokunmayan, bunun yerine transformer katmanlarının arasına eklenen küçük öğrenilebilir modülleri (adapter) eğiten parametre-etkin ince ayar (PEFT) yöntemidir. Yöntem 2019 yılında Google'dan Houlsby ve arkadaşlarının "Parameter-Efficient Transfer Learning for NLP" çalışmasıyla yaygınlaştı. Bu tasarımda her transformer bloğunun içine, çok başlı dikkat ve ileri besleme alt katmanlarının çıkışına, darboğaz (bottleneck) yapısında iki küçük ağ yerleştirilir. Adapter, gelen d boyutlu gizli vektörü çok daha küçük bir r boyutuna indirir, doğrusal olmayan bir aktivasyondan geçirir, tekrar d boyutuna çıkarır ve sonucu artık (residual) bağlantıyla girişe ekler. Başlangıçta kimlik dönüşümüne yakın davrandığı için eğitim, temel modelin davranışını bozmadan başlar. Eğitim sırasında yalnızca adapter parametreleri ile katman normalizasyonu gibi birkaç küçük bileşen güncellenir; geri kalan yüz milyonlarca ya da milyarlarca ağırlık dondurulur. Houlsby ve ekibi BERT-large ile GLUE deneylerinde, görev başına yalnızca yüzde 3,6 ek parametreyle tam ince ayarın 0,4 puan yakınına ulaştıklarını raporladı. Darboğaz boyutu küçüldükçe bu oran yüzde birin altına iner. Adapter'ların asıl gücü modülerliktir. Her görev için ayrı bir adapter dosyası eğitilir, aynı temel model üzerinde onlarca adapter yan yana saklanır ve çıkarım anında istenen adapter yüklenir. Bu yapı, tek bir model kopyasıyla çok görevli servis kurmayı, hassas görev verisini temel modele işlemeden paylaşmayı ve yeni görev eklerken eski görevlerde felaket unutma yaşamamayı mümkün kılar. AdapterHub platformu, adapters kütüphanesi, MAD-X ve AdapterFusion gibi uzantılarla birlikte çok dilli transfer ve görevler arası bilgi birleştirme için hazır bir ekosistem sunar. LoRA ile karşılaştırıldığında adapter, ağırlık matrislerine düşük rankli bir güncelleme eklemek yerine katman sırasına yeni bir blok sokar; bu nedenle çıkarımda küçük ama ölçülebilir bir gecikme payı vardır ve ağırlıklarla birleştirilemez. Buna karşılık adapter'lar tak-çıkar biçimde bir araya getirilebilir, üst üste istiflenebilir ve dil ile görev bilgisini ayrı modüllerde tutabilir. Gecikmenin kritik olduğu servislerde LoRA, modülerliğin ve paylaşımın öne çıktığı senaryolarda ise adapter tuning daha uygun bir tercihtir.
Autoregressive Model (Otoregresif Model)
Otoregresif model (Autoregressive Model), bir dizideki her yeni öğeyi, o ana kadar üretilen öğelere koşullu olasılık dağılımlarına dayalı biçimde tahmin eden üretken bir model mimarisidir. "Auto" (öz) ve "regresif" (geçmiş değerlere dayalı tahmin) sözcüklerinin birleşiminden oluşur; model, kendi önceki çıktılarını girdi olarak kullanarak bir sonraki adımı belirler. GPT ve Claude gibi büyük dil modellerinin (LLM) temel üretim mekanizması otoregresiftir: model her defasında tek bir token üretir ve bu tokeni bağlamına ekleyerek sonraki tokeni tahmin eder. Bu işlem, bir durma koşulu ("<eos>" tokeni veya maksimum uzunluk) karşılanana kadar tekrarlanır. Matematiksel olarak, bir x dizisi için otoregresif model P(x) = ∏ P(xₜ | x₁, x₂, …, x_{t-1}) biçiminde çarpanlarına ayrışır; yani dizinin tam olasılığı, her bir öğenin tüm öncekiler verildiğindeki koşullu olasılıklarının çarpımıdır. Otoregresif modellerin eğitimi, "öğretmen zorlaması" (teacher forcing) tekniğiyle gerçekleştirilir: eğitim sırasında modelin kendi tahminleri yerine gerçek token dizisi koşul olarak verilir; bu sayede eğitim kararlı ve hızlı olur. Çıkarım (inference) sırasında ise model kendi ürettiklerini kullanmak zorundadır — bu iki aşama arasındaki fark, özellikle uzun dizilerde "açık döngü" hatasına yol açabilir. Mimari açıdan bakıldığında, Transformer'ın decoder-only versiyonları (GPT ailesi) en yaygın otoregresif LLM yapısıdır; encoder-decoder modeller (T5, BART) ise yalnızca dekoder kısmında otoregresif üretim yapar. Ses alanında WaveNet ve AudioLM, görüntü alanında ise PixelCNN ve iGPT otoregresif modellere örnek verilebilir. Ana sınırlama, her token'ın sırayla üretilmesi nedeniyle paralelleştirmenin mümkün olmamasıdır; bu durum uzun dizilerde çıkarım maliyetini artırır. Spekülatif kod çözme (speculative decoding), tahmin adımlarını paralele alarak bu sorunu kısmen çözer. Diffüzyon modelleri ve akış eşleştirme (flow matching) yöntemleri otoregresif olmayan alternatifler sunar; ancak metin üretiminde otoregresif yaklaşım 2026 itibarıyla hâlâ hâkim paradigma olmaya devam etmektedir.
Derin Öğrenme (Derin Öğrenme)
Derin öğrenme (Deep Learning), insan beyninin sinir ağı yapısından esinlenerek tasarlanmış, çok katmanlı yapay sinir ağlarını kullanan bir makine öğrenimi alt disiplinidir. "Derin" nitelemesi, girdi ile çıktı arasındaki gizli katman (hidden layer) sayısının fazlalığından gelir; bu katmanlar veriden hiyerarşik temsiller öğrenir. Alt katmanlar kenar ve doku gibi düşük düzey özellikleri yakalarken üst katmanlar nesne veya kavram gibi soyut özellikleri kodlar. Alanın dönüm noktası 2012'deki AlexNet'tir: GPU hızlandırma ve büyük veri birleşiminin derin ağları eğitilir kıldığını kanıtlayan bu model, ImageNet yarışmasında önceki rekorları kırarak derin öğrenmeyi ana akıma taşıdı. Temel yapı taşı olan yapay nöron, gelen değerleri ağırlıklı toplar ve ReLU, sigmoid gibi bir aktivasyon fonksiyonundan geçirir. Eğitimde geri yayılım (backpropagation) algoritması, çıktı hatasını katman katman geriye taşıyarak her ağırlığın güncellenmesini sağlar; gradyan inişi (gradient descent) ise bu güncellemeleri yönetir. Adam ve AdamW gibi uyarlamalı optimizatörler öğrenme hızını otomatik olarak ayarlar. Başlıca mimari aileler şunlardır: CNN (evrişimsel sinir ağları) görüntü ve video işlemede standarttır; Transformer 2017'den itibaren NLP'yi ve ardından çok modlu sistemleri domine etmektedir; RNN/LSTM zaman serisi modellemesinde kullanılır; Difüzyon Modelleri görüntü ve ses üretiminde devrim yaratmaktadır. Uygulama alanları geniştir: tıbbi görüntüleme (kanser tespiti), otonom araçlar (nesne algılama), doğal dil işleme (makine çevirisi, metin üretme), konuşma tanıma ve öneri sistemleri. Türkiye'de e-ticaret platformlarının kişiselleştirme motorları, bankacılık sektörünün dolandırıcılık tespit sistemleri ve Türkçe NLP projeleri derin öğrenmeye dayanmaktadır. Transfer öğrenme, milyonlarca örnekle önceden eğitilmiş modelleri yüzlerce ya da binlerce örnekle yeni görevlere uyarlar; bu yaklaşım derin öğrenmeyi küçük veri setlerinde de kullanılabilir kılmaktadır. PyTorch ve TensorFlow başlıca açık kaynak çerçevelerdir; Hugging Face ekosistemi binlerce hazır modele erişim sunar. Temel sınırlamalar arasında büyük veri ve yüksek hesaplama gereksinimi, yorumlanabilirlik eksikliği (kara kutu sorunu) ve dağılım kayması (distribution shift) yer almaktadır. Araştırmacılar bu sorunları ele almak için yorumlanabilir yapay zeka (XAI) teknikleri ve verimli mimari tasarımları geliştirmeyi sürdürmektedir.
Grouped-Query Attention (Gruplu Sorgu Dikkati (GQA))
Grouped-Query Attention (GQA, Gruplu Sorgu Dikkati), transformer mimarisindeki dikkat mekanizmasını hem bellek hem de hesaplama açısından daha verimli hale getiren bir varyanttır. Yöntem 2023 yılında Google Research ekibinden Joshua Ainslie ve arkadaşları tarafından "GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints" makalesiyle önerildi ve kısa sürede Llama 2 70B, Llama 3, Mistral 7B, Gemma 2 ve Qwen 2.5 gibi açık ağırlıklı modellerin ortak tercihi oldu. Klasik çok başlı dikkat (Multi-Head Attention, MHA) mimarisinde her sorgu (query) başı kendine ait bir anahtar-değer (key-value, K-V) çiftine sahiptir. Bu yapı en yüksek model kapasitesini sunar; ancak çıkarım sırasında üretilen her token için tüm K-V başlarının önbellekte tutulması gerekir ve uzun bağlamlarda GPU belleği hızla dolar. Multi-Query Attention (MQA) ise tüm sorgu başlarını tek bir K-V çiftiyle eşleştirir; bellek kullanımı çok düşer, fakat model kalitesinde ölçülebilir kayıp görülebilir ve eğitim kararsızlaşabilir. GQA bu iki uç arasında ayarlanabilir bir orta yol kurar. H adet sorgu başı G gruba bölünür ve her gruptaki başlar tek bir K-V çiftini paylaşır. KV önbelleğinin boyutu artık H ile değil G ile ölçeklenir; G = H olduğunda yapı MHA'ya, G = 1 olduğunda MQA'ya dönüşür. Llama 3 8B modeli 32 sorgu başını 8 K-V başıyla eşleştirir; bu yapılandırma MHA'ya kıyasla KV önbelleğini dört kat küçültür. 70B modelde 64 sorgu başı yine 8 K-V başını paylaşır ve tasarruf sekiz kata çıkar. Pratik sonuçları belirgindir: aynı GPU belleğiyle 128K token ve üzeri bağlam pencereleri işlenebilir, saniyede üretilen token sayısı artar ve çok kullanıcılı üretim ortamlarında daha büyük batch boyutları çalıştırılabilir. GQA, FlashAttention çekirdekleri ve RoPE konum kodlamasıyla doğrudan uyumludur; vLLM, TensorRT-LLM ve llama.cpp gibi çıkarım motorları bu yapıyı yerel olarak destekler. Ainslie ve arkadaşlarının deneyleri, MHA ile eğitilmiş bir modelin K-V başlarının ortalama havuzlama ile birleştirilip kısa bir ek eğitim (uptraining) uygulanarak, orijinal eğitim bütçesinin yaklaşık yüzde beşiyle GQA'ya dönüştürülebildiğini göstermiştir.
Kayan Pencere Dikkati (Sliding Window Attention)
Kayan Pencere Dikkati (Sliding Window Attention, SWA), transformer mimarisinde her tokenın bütün diziye değil yalnızca belirli bir pencere boyutundaki komşu tokenlara dikkat ettiği verimli bir attention yöntemidir. Klasik tam dikkat (full self-attention) O(n²) bellek ve hesaplama karmaşıklığına yol açarken, kayan pencere yaklaşımı bunu O(n·w) düzeyine indirir; burada w pencere boyutunu gösterir. Tam dikkat mekanizmasında n uzunluğundaki bir dizi için n² çift dikkat hesaplamak gerekir; bu, 8.192 token uzunluğunda bile yaklaşık 67 milyon hesaplama anlamına gelir. Kayan Pencere Dikkati'nde her token yalnızca kendi konumunun w/2 soluna ve sağına dikkat eder. Pencere dizi boyunca kaydırılır ve bellek tüketimi sabit kalır. Mistral 7B bu mekanizmayı temel attention katmanlarında benimseyerek hem çıkarım hızını artırmış hem de uzun bağlam işleme kapasitesini genişletmiştir. Longformer ise yerel kayan pencereyi, belgelerin tamamını temsil eden global dikkat tokenleriyle birleştirerek soru-cevap ve özetleme görevlerinde başarılı sonuçlar elde etmiştir. BigBird modeli de benzer bir yaklaşımla yerel, global ve rastgele dikkat kombinasyonunu kullanır. Kayan Pencere Dikkati, uzak tokenlara doğrudan erişimi kısıtladığından bazı görevlerde tam dikkate kıyasla dezavantaj yaratabilir. Bu sınırlamayı aşmak için genellikle dönüşümlü katmanlar kullanılır: modelin bazı katmanları tam dikkat, bazıları ise kayan pencere dikkati uygular. Mistral bu stratejiyi benimseyerek hesaplama verimliliğini korurken uzun menzilli bağımlılıkları yönetme kapasitesini de sürdürür. Uzun bağlamlı uygulamaların giderek yaygınlaşmasıyla birlikte — hukuk belgeleri analizi, uzun kod tabanları, bilimsel makaleler — Kayan Pencere Dikkati ve benzeri verimlilik teknikleri (Flash Attention, GQA) LLM altyapısının temel bileşenleri haline gelmiştir. GPT-4 Turbo ve Claude'un 200K token desteği gibi örnekler, bu tür verimlilik mekanizmalarının önkoşulluğunu ortaya koymaktadır. Hukuk belgesi analizi, kod tabanı inceleme ve uzun bilimsel raporların özetlenmesi bu mekanizmanın doğrudan yararlı olduğu alanlardır.
Layer Normalization (Katman Normalizasyonu)
Layer Normalization (Katman Normalizasyonu), derin öğrenme modellerinde eğitimi hızlandırmak ve kararlılaştırmak için kullanılan bir normalizasyon yöntemidir. Jimmy Ba ve Geoffrey Hinton tarafından 2016 yılında önerilen bu teknik, her bir veri örneğinin aktivasyonlarını özellik boyutu (feature dimension) üzerinden normalleştirir; bu sayede batch boyutundan tamamen bağımsız biçimde çalışır. Yöntemin matematiksel temeli şudur: bir katmandaki H adet nöronun aktivasyonları için μ (ortalama) ve σ (standart sapma) hesaplanır, ardından her aktivasyon normalize edilir ve öğrenilebilir parametreler γ (gain) ile β (bias) ile yeniden ölçeklenir. Formül: ŷ = γ × (x − μ) / √(σ² + ε) + β. Burada ε sıfıra bölmeyi önleyen küçük bir sabittir. Batch Normalization (BN) mini-batch içindeki tüm örneklere bakarak istatistik hesaplarken, Layer Normalization yalnızca tek örneğin kendi özellik boyutuna bakar. Bu fark, BN'nin değişken uzunluklu dizilerle ve batch size=1 senaryolarında yetersiz kalmasına yol açar; LN bu sınırlamaları aşar ve Tekrarlayan Sinir Ağları (RNN) ile Transformer mimarileri için doğal seçim haline gelir. Modern büyük dil modellerinde iki yerleşim biçimi bulunur. Orijinal Transformer (Vaswani ve ark., 2017) her alt katmanın (dikkat + FFN) çıktısından sonra LN uygular; buna Post-LN denir. GPT-3, LLaMA ve çoğu modern LLM ise her alt katmanın girişine LN uygular (Pre-LN). Pre-LN, gradyan akışını daha kararlı kılar ve genellikle daha kolay eğitilir. RMSNorm, Layer Norm'un hesaplama maliyetini azaltmak için önerilmiş bir varyantıdır. Ortalama çıkarma (mean subtraction) adımını atlayarak yalnızca karekök ortalama karesiyle (RMS) normalleştirir. LLaMA 2/3 ve Mistral gibi modeller RMSNorm'u tercih eder çünkü GPT düzeyinde kaliteyi daha az işlemle elde eder. Layer Normalization, eğitim sırasında model aktivasyonlarını ölçek ve kayma bağımsız hale getirerek öğrenme hızı seçimini daha az kritik kılar ve farklı boyutlardaki modeller arasında transferi kolaylaştırır.
MIDI Sentezi (MIDI Sentezi)
MIDI sentezi (MIDI synthesis), yapay zeka modellerinin büyük MIDI veri kümelerinden müzikal örüntüleri öğrenerek orijinal sembolik müzik dizileri ürettiği üretken AI teknolojisidir. Sembolik müzik temsili olan MIDI, ses dalgalarını değil; nota adı, başlama zamanı, süre ve hız (velocity) gibi müzikal olayları kodlar. Bu yapılandırılmış temsil, MIDI'yi ses sentezine kıyasla çok daha analiz edilebilir ve üretilebilir kılar. OpenAI'ın 2019'da tanıttığı MuseNet, transformer mimarisini sembolik müziğe uyarlayan öncü modeldir: 4 dakikaya kadar uzanan, piyano, keman ve flüt başta olmak üzere ondan fazla enstrümanı kapsayan çok sesli eserler üretebilir; Bach'tan Chopin'e, Mozart'tan modern pop'a 10 farklı besteci stilini taklit eder. Google Magenta projesinin Music Transformer modeli, uzun vadeli yapıyı korumak için görece dikkat (relative attention) mekanizmasını kullanır; bu sayede yüzlerce adım önceki müzikal motiflere tutarlı biçimde atıfta bulunabilir. 2021'de Microsoft Research tarafından geliştirilen MusicBERT, BERT'in çift yönlü kodlama yaklaşımını sembolik müziğe taşır; bar, beat ve enstrüman bilgisini ayrı token akışları olarak temsil ederek tür sınıflandırma, melodi çıkarma ve hız tahmini gibi çok görevli müzik anlama problemleri için güçlü temel model işlevi görür. Mimari açıdan MIDI sentezi üç temel yaklaşımda gelişmiştir. LSTM ve GRU tabanlı yinelemeli ağlar, kısa vadeli melodic bağımlılıkları yakalamak için erken dönemde yaygınlaştı. Transformer tabanlı modeller uzun vadeli müzikal yapıyı çok daha iyi modelleyerek baskın mimari konumuna yükseldi. Diffusion modelleri ise son yıllarda sembolik alana taşınmaya başlandı; gürültüden nota düzeyine adım adım geri çekilme yaklaşımı stil çeşitliliğini artırıyor. Eğitim veri setleri arasında Lakh MIDI Dataset (170.000+ parça), GiantMIDI-Piano ve MAESTRO (piyano yarışması kayıtları) öne çıkmaktadır. Endüstri uygulamaları; oyun motorları için anlık çevre müziği üretimi, film ön-taslak (mockup) skorlama, DAW (Digital Audio Workstation) eklentileri ve müzik eğitim araçlarını kapsamaktadır. MuseScore, Hooktheory ve Amper Music bu teknolojiyi üretim iş akışlarına entegre etmiştir.
Mixture of Depths (Derinlik Karışımı)
Mixture of Depths (MoD, Türkçesiyle Derinlik Karışımı), transformer tabanlı dil modellerinde her tokenin her katmandan geçmesi kuralını gevşeten, hesaplama bütçesini token ve katman bazında dinamik olarak dağıtan bir adaptif hesaplama yöntemidir. Google DeepMind araştırmacıları (Raposo ve arkadaşları) tarafından 2024 yılında yayımlanan "Mixture-of-Depths: Dynamically allocating compute in transformer-based language models" makalesiyle tanıtıldı. Çıkış noktası basit bir gözlemdir: bir dizideki tokenlerin hepsi aynı derecede zor değildir; bazı tokenler için tam dikkat ve ileri besleme hesaplaması gereksizdir. Standart transformer bu farkı görmez ve her tokene aynı miktarda hesaplama harcar. MoD'de her transformer bloğunun başında hafif bir yönlendirici (router) bulunur. Yönlendirici her token için skaler bir ağırlık üretir; en yüksek ağırlığa sahip ilk k token bloğun tam işleminden (öz-dikkat ve MLP) geçer, kalan tokenler artık bağlantı (residual connection) üzerinden değişmeden bir sonraki bloğa aktarılır. Buradaki k değeri sabit bir kapasite olarak önceden belirlenir; makalede en iyi sonuçlar her iki blokta bir yönlendirme yapıp kapasiteyi dizinin %12,5'i ile sınırlamakla elde edilmiştir. Kapasitenin sabit olması önemli bir mühendislik avantajı getirir: tensör boyutları önceden bilindiği için hesaplama grafiği statik kalır ve donanım verimliliği erken çıkış (early exit) gibi dinamik yöntemlere göre çok daha iyidir. Yöntem, Mixture of Experts (MoE) ile sık karıştırılır ama farklı bir ekseni kontrol eder. MoE bir tokenin hangi uzman ağ tarafından işleneceğini seçerken, MoD tokenin bu blokta işlenip işlenmeyeceğini seçer. İki yaklaşım birbirine dik olduğundan aynı modelde birleştirilebilir; makale bu birleşimi MoDE (Mixture of Depths and Experts) adıyla sunar. Deneysel sonuçlara göre MoD modelleri, eşit eğitim FLOPs bütçesinde temel modellerden daha düşük kayıp değerine ulaşır; eşit kalitede ise ileri geçiş başına FLOPs belirgin biçimde azalır ve örnekleme sırasında adım süresi %50'ye kadar kısalır. MoD'nin en dikkat çekici zorluğu otoregresif üretimdir. Top-k seçimi dizideki tüm tokenleri görmeyi gerektirir, oysa üretim sırasında gelecekteki tokenler henüz yoktur. Makale bunun için iki çözüm önerir: yönlendirici çıktısına eklenen yardımcı bir ikili sınıflandırma kaybı ya da tokenin ilk k'ye girip girmeyeceğini tahmin eden küçük bir yardımcı MLP. Her iki yaklaşım da kalite kaybını ihmal edilebilir düzeyde tutar. MoD günümüzde araştırma aşamasında olup çok modlu büyük modeller için γ-MoD ve p-MoD gibi türevleri yayımlanmıştır.
Natural Language Processing (Doğal Dil İşleme)
Doğal Dil İşleme (NLP — Natural Language Processing), bilgisayarların insan dilini anlama, yorumlama, üretme ve anlamlı biçimde yanıt verme yeteneğini geliştiren yapay zeka dalıdır. Dilbilim, bilgisayar bilimi ve makine öğreniminin kesişim noktasında yer alan NLP, günümüzde ChatGPT gibi sohbet robotlarından Google Arama'ya, otomatik çeviriden sesli asistanlara kadar geniş bir kullanım alanına ulaşmıştır. NLP'nin temel işlem hattı birkaç katmandan oluşur: tokenizasyon (metni sözcük veya alt-sözcük parçalarına ayırma), morfolojik analiz (kelime köklerini ve eklerini çözümleme), sözdizimi çözümlemesi (cümle yapısını ağaçla modelleme) ve anlambilimsel analiz (bağlamı ve niyeti kavrama). Modern derin öğrenme yaklaşımları bu aşamaları büyük ölçüde bütünleşik sinir ağlarıyla uçtan uca öğrenir; BERT ve GPT serisi bu dönüşümün simgesi haline gelmiştir. Türkçe, sondan eklemeli (agglutinative) morfolojisi nedeniyle NLP için özellikle zorlu bir dildir. "Gidebileceklerinden" gibi tek bir sözcük onlarca anlam katmanı barındırabilir. BERTurk, Turkish GPT ve Zemberek gibi projeler Türkçe özelinde çözümler geliştirirken, Byte Pair Encoding (BPE) ve SentencePiece alt-sözcük tokenizasyonu dil modellerinin Türkçeyi verimli işlemesini mümkün kılmaktadır. 2017'de yayımlanan Transformer mimarisi NLP'yi köklü biçimde dönüştürdü: öz-dikkat mekanizması ile modeller uzun menzilli bağımlılıkları yakalayabildi. BERT (2018), GPT-3 (2020) ve ChatGPT (2022) bu dönüşümün kilometre taşlarıdır. Günümüzde büyük dil modelleri (LLM) NLP görevlerinin büyük çoğunluğunda insan düzeyine yaklaşmış ya da aşmıştır. NLP; metin sınıflandırma, adlandırılmış varlık tanıma, makine çevirisi, duygu analizi, soru-cevap sistemleri ve özetleme başta olmak üzere onlarca kritik uygulamaya güç vermektedir. Endüstride NLP bileşenleri yaygın biçimde kullanılmaktadır: müşteri hizmetlerinde chatbot ve otomasyon, hukuk teknolojisinde belge tarama, sağlık alanında klinik not çözümleme ve ilaç literatürü analizi. Retrieval-Augmented Generation (RAG) mimarisinde NLP katmanları, kullanıcı sorgusunu vektör uzayında temsil edip ilgili belgeleri alır; böylece LLM'in güncel ve doğru yanıtlar üretmesi desteklenir. Türkiye'de e-devlet platformları, fintech uygulamaları ve yerli yapay zeka girişimleri Türkçe NLP altyapısına giderek artan yatırım yapmaktadır.
PEFT (Parameter-Efficient Fine-Tuning) (PEFT (Parametre Verimli İnce Ayar))
PEFT (Parameter-Efficient Fine-Tuning), büyük dil modelleri ve diğer temel modelleri görev odaklı verilere uyarlamak için kullanılan, model parametrelerinin yalnızca küçük bir bölümünü güncelleyen ince ayar yöntemleri ailesinin genel adıdır. Geleneksel tam ince ayarda modelin tüm ağırlıkları yeniden eğitilir; bu yaklaşım on milyarlarca parametreli modeller için son derece yüksek hesaplama ve bellek maliyeti gerektirir. PEFT yöntemleri bu maliyeti bir ila birkaç büyüklük mertebesinde azaltırken görev performansını büyük ölçüde korur. PEFT ailesinin en yaygın yöntemi LoRA'dır (Low-Rank Adaptation). LoRA, dondurulmuş ağırlık matrislerine paralel düşük boyutlu matris çiftleri ekler; asıl parametreler sabit kalırken yalnızca bu küçük adaptör ağırlıkları öğrenilir. QLoRA, LoRA'yı 4-bit niceleme ile birleştirerek tüketici GPU'larında 70B+ modellerin ince ayarını mümkün kılar. Prefix Tuning, modelin giriş dizisinin başına öğrenilebilir "önek" token vektörleri ekler; model ağırlıklarına hiç dokunmaz. Adapter Tuning, transformer katmanları arasına küçük beslemeli ağ modülleri yerleştirir. IA3 ise aktivasyon değerlerini ölçeklendiren öğrenilebilir vektörler kullanarak çok daha az parametre günceller. Bu yöntemlerin pratik avantajları önemlidir. Farklı görevler için eğitilmiş birden fazla PEFT ağırlığı, tek bir temel modelle paylaşılabilir; bu hem depolama hem de servis maliyetlerini düşürür. Hugging Face'in `peft` kütüphanesi, LoRA ve diğer yöntemleri birkaç satır kodla herhangi bir transformer modeline uygulamayı kolaylaştırır. LoRA'nın rank (r) ve alpha (α) hiperparametreleri adaptör kapasitesini kontrol eder: düşük rank daha az parametre ancak daha sınırlı ifade gücü anlamına gelir; tipik değerler 4–64 aralığındadır. Araştırma dünyasında PEFT, LLM'lerin belirli alanlara (hukuk, tıp, kod) veya dillere hızlı adaptasyonu için standart yaklaşım hâline gelmiştir. Türkçe yapay zeka uygulamaları açısından PEFT, büyük İngilizce modellerin Türkçe verilere ince ayarlanmasında tercih edilen maliyet etkin çözümdür; özellikle Llama ve Mistral gibi açık ağırlıklı modellerle birlikte kullanılmaktadır.
Positional Encoding (Konum Kodlama (Positional Encoding))
Konum Kodlama (Positional Encoding), Transformer mimarisinin temel bileşenlerinden biridir. Geleneksel Tekrarlayan Sinir Ağları (RNN) ve LSTM modelleri token'ları sırayla işleyerek doğal olarak konum bilgisini korur; Transformer modelleri ise tüm token'ları aynı anda paralel biçimde işler. Bu yaklaşım hesapsal açıdan büyük bir avantaj sunarken, modelin dizideki sıra bilgisini doğrudan elde edememesi anlamına gelir. Konum kodlama bu sorunu çözer: her token'ın öğrenilmiş embedding vektörüne, o token'ın dizideki konumunu temsil eden sayısal bir vektör eklenir. Örneğin "Kedi fareyi kovaladı" cümlesinde "kedi" kelimesi 1. konumda, "fareyi" 2. konumda yer alır; bu iki konumun farklı konum vektörleri sayesinde model sözcüklerin sıralamasını anlayabilir. Sinüzoidal Konum Kodlama, orijinal "Attention Is All You Need" makalesinde (Vaswani ve diğerleri, 2017) kullanılmış yöntemdir. Bu yaklaşımda her konum için sinüs ve kosinüs fonksiyonları hesaplanır: PE(pos, 2i) = sin(pos / 10000^(2i/d)) ve PE(pos, 2i+1) = cos(pos / 10000^(2i/d)). Farklı frekanstaki dalgalar sayesinde her konum benzersiz bir imzaya sahip olur; bu vektörler öğrenilmez, eğitim sırasında sabit kalır. BERT ve GPT-2 gibi modeller, konum bilgisini eğitim sırasında veri üzerinden öğrenir. Bu öğrenilmiş konum gömmeleri daha esnek bir yapı sunmakla birlikte eğitimde görülmemiş dizi uzunluklarına genelleme yapmakta zorlanabilir. RoPE (Rotary Position Embedding), LLaMA, Mistral, Gemma ve Qwen ailesi gibi modern dil modellerinin büyük çoğunluğunun tercih ettiği bir yöntemdir. RoPE, konum bilgisini döndürme matrisleri aracılığıyla dikkat mekanizmasına doğrudan entegre eder. Hem mutlak hem göreli konum bilgisini etkin biçimde kodlar; uzun bağlam uzunluklarına genelleme konusunda önceki yöntemlere kıyasla belirgin üstünlük gösterir. ALiBi (Attention with Linear Biases) ise dikkat puanlarına konum farkına dayalı doğrusal bir ceza ekler. Bu tasarım, modeli eğitimde hiç görmediği dizi uzunluklarına genellemeye yardımcı olur ve bellek açısından verimli bir çözüm sunar. Konum kodlamasının seçimi modelin bağlam penceresi boyutunu, çok dilli performansını ve hesapsal verimini doğrudan etkiler. Bu nedenle büyük dil modeli araştırmalarında, özellikle uzun bağlam penceresi geliştirme çalışmalarında, aktif olarak araştırılan bir alan olmayı sürdürmektedir.
Prefix-Tuning (Önek Ayarlama (Prefix-Tuning))
Prefix-Tuning (Önek Ayarlama), büyük dil modellerini yeni bir göreve uyarlarken modelin tüm ağırlıklarını dondurup yalnızca her transformer katmanının dikkat mekanizmasına eklenen kısa, öğrenilebilir vektör dizilerini (prefix) eğiten parametre verimli ince ayar (PEFT) yöntemidir. Yöntem, 2021 yılında Stanford Üniversitesi'nden Xiang Lisa Li ve Percy Liang tarafından "Prefix-Tuning: Optimizing Continuous Prompts for Generation" başlıklı makaleyle önerildi. Temel fikir, elle yazılan istemlerin (prompt) yerine gradyan inişiyle optimize edilen sürekli vektörler kullanmaktır; bu vektörler sözlükte karşılığı olmayan "sanal token"lar gibi davranır ve modelin dikkatini görev için doğru bağlama yönlendirir. Teknik olarak prefix, her katmandaki anahtar (key) ve değer (value) matrislerinin önüne eklenen sabit uzunlukta bir gizli durum dizisidir. Eğitim sırasında yalnızca bu diziler gradyan güncellemesi alır; GPT-2 veya BART gibi temel modelin milyonlarca ya da milyarlarca parametresi olduğu gibi kalır. Li ve Liang'ın deneylerinde toplam parametrelerin yaklaşık yüzde 0,1'i eğitilerek tablodan metne üretim ve özetleme görevlerinde tam ince ayara yakın sonuçlar elde edildi; az veri bulunan senaryolarda ve eğitimde görülmemiş konulara genelleme yaparken prefix-tuning tam ince ayarı geride bıraktı. Bu yaklaşımın en somut faydası çok görevli dağıtımda görülür. Tek bir temel model bellekte tutulur, her görev için yalnızca birkaç megabaytlık prefix dosyası saklanır ve istek geldiğinde ilgili prefix yüklenir. Böylece bir kurum aynı modeli özetleme, soru üretimi ve rapor yazımı gibi farklı işler için tam kopya oluşturmadan kullanabilir. Prefix-Tuning, yalnızca giriş katmanına vektör ekleyen Prompt Tuning'den daha derin bir müdahale sunar; ağırlık matrislerine düşük rankli güncelleme ekleyen LoRA'dan ise mekanizma olarak ayrılır. Günümüzde Hugging Face PEFT kütüphanesi bu yöntemi doğrudan destekler ve P-Tuning v2 gibi türevleri aynı fikri sınıflandırma görevlerine de taşımıştır.
Self-Attention (Öz-Dikkat)
Öz-dikkat (self-attention), bir dizideki her tokenin aynı dizinin diğer tüm tokenleriyle ilişkisini hesaplayarak her konuma bağlam bilgisi kazandıran dikkat mekanizmasının özel bir biçimidir. Klasik dikkat mekanizmasında kaynak ve hedef diziler farklıydı; örneğin makine çevirisinde giriş cümlesi ile çıkış cümlesi ayrı dizilerdi. Öz-dikkatte ise sorgu (Q), anahtar (K) ve değer (V) vektörlerinin üçü de aynı girişten türetilir. 2017 yılında "Attention Is All You Need" makalesiyle tanıtılan transformer mimarisinin temel yapı taşı olan öz-dikkat, RNN ya da CNN katmanlarına gerek kalmadan uzun mesafeli bağımlılıkları paralel hesaplamayla öğrenir. Hesaplama üç adımda ilerler. Önce giriş gömmeleri üç ayrı projeksiyon matrisiyle Q, K ve V uzaylarına dönüştürülür. Ardından her konumun sorgu vektörü tüm anahtar vektörleriyle nokta çarpımına girer, sonuç sqrt(d_k) ile ölçeklenir ve softmax uygulanarak dikkat ağırlıkları elde edilir. Son olarak bu ağırlıklar değer vektörleri üzerinde ağırlıklı toplam alınarak her token için yeni bir bağlamsal temsil üretir. "Banka kıyısında oturdu" cümlesindeki "banka" tokeni, "kıyı" tokenine yüksek ağırlık vererek finans kurumu değil nehir kenarı anlamını kodlar. Matematiksel olarak n uzunluğundaki bir dizi için öz-dikkat O(n^2 · d) hesaplama ve bellek maliyeti gerektirir; bu nedenle çok uzun dizilerde düşük ranklı yaklaşımlar (Linformer), yerel pencere dikkati (Longformer, Sliding Window Attention) ve FlashAttention gibi IO-farkında verimlilik teknikleri geliştirilmiştir. Maskeli öz-dikkat (masked self-attention), GPT ve Llama gibi otoregresif dil modellerinde kullanılır: her konum yalnızca önceki konumlara bakabilir, gelecekteki tokenlere erişim üst üçgen maskeyle kapatılır. BERT gibi çift yönlü kodlayıcılarda ise tam öz-dikkat uygulanır; her token hem öncesindeki hem sonrasındaki tokenleri görür ve sınıflandırma görevleri için güçlü bir bağlam temsili oluşur. Uygulamada öz-dikkat tek başına değil, çok başlı dikkat (multi-head attention) biçiminde birden fazla paralel başla çalıştırılır; her baş sözdizimi, eş gönderim ya da konum yakınlığı gibi farklı ilişki türlerini yakalar. Vision Transformer görüntü yamalarını, AlphaFold2 ise protein kalıntılarını token olarak işleyerek aynı mekanizmayı dil dışına taşımıştır.
Sparse Attention (Seyrek Dikkat)
Seyrek dikkat (Sparse Attention), standart Transformer dikkat mekanizmasının hesaplama karmaşıklığını azaltmak için geliştirilen ve her tokenin yalnızca seçilmiş bir token alt kümesiyle dikkat hesabı yaptığı bir optimizasyon yaklaşımıdır. Standart dikkat O(n²) karmaşıklığına sahiptir; n token uzunluğu arttıkça hesaplama ve bellek maliyeti karesel büyür. Seyrek dikkat bu karesel bağımlılığı kırar; farklı örüntülere göre O(n√n) veya O(n log n) karmaşıklığa düşürebilir. Temel seyrek dikkat örüntüleri şunlardır: (1) **Yerel pencere dikkati** — her token yalnızca yakın komşularıyla ilişki kurar; (2) **Uzun adımlı dikkat (strided)** — her token belirli aralıklarla seçilmiş uzak tokenleri de kapsar; (3) **Küresel token dikkati** — belirli ayrıcalıklı tokenler (ör. [CLS]) tüm diğer tokenlerle etkileşir. BigBird ve Longformer bu stratejileri birleştirerek hem yerel bağlamı hem de uzun menzilli bağımlılıkları yakalar. FlashAttention ailesi seyrek dikkat olmasa da IO-aware bir kernel optimizasyonu sunarak dikkat hesabını GPU bellek hiyerarşisine göre yeniden düzenler; böylece uzun bağlamlarda hem hız hem de bellek verimliliği sağlar. Mixture of Depths ve Ring Attention gibi 2024-2026 dönemine ait yaklaşımlar ise seyrek hesaplamanın donanım ve model mimarisine daha derin entegrasyonunu araştırmaktadır. Pratik kullanımda GPT-3'ün Sparse Transformer varyantı, OpenAI'nin erken uzun bağlam çalışmalarından biri olmuştur. Günümüzde 1M token ve üzeri bağlam pencerelerini destekleyen modeller (Claude 3.5, Gemini 1.5 Pro) genellikle FlashAttention ve bunun varyantlarını yoğun dikkat için kullanırken, bazı hibrit mimariler katman bazında seyrek ve yoğun dikkati karıştırır. Seyrek dikkat, özellikle uzun belge işleme, kod analizi, genomik veri ve video dizileri gibi alanlarda kritik önem taşır; bu alanlarda tam dikkat bellek sınırlarını aşmaktadır. Türkiye'deki geliştiriciler için bu optimizasyonlar; uzun hukuki belgeler, çok sayfalı raporlar veya uzun konuşma oturumları üzerinde çalışan uygulamalarda belirgin fark yaratmaktadır.
Text Summarization (Metin Özetleme)
Metin özetleme (text summarization), doğal dil işleme (NLP) alanının temel görevlerinden biri olup uzun belgelerin, makalelerin veya konuşmaların yapay zeka tarafından otomatik biçimde kısaltılmasını sağlar. Amaç, kaynak metnin ana fikirlerini ve kritik bilgilerini koruyarak okurun zamanını verimli kullanmasına yardımcı olmaktır. Bu görev iki ana yaklaşımla gerçekleştirilir: çıkarımlı (extractive) ve soyut (abstractive) özetleme. Çıkarımlı yöntemde model, kaynak metinden en önemli cümleleri birebir seçerek bir özet oluşturur; bu yöntem tutarlı ve halüsinasyon riskinin düşük olduğu sonuçlar üretir. Soyut özetlemede ise model, metni anlayarak tamamen yeni cümleler üretir; daha akıcı ve insan yazısına yakın özetler ortaya çıkar ancak yanlış bilgi oluşturma riski de beraberinde gelir. Transformer mimarisinin yükselişiyle birlikte, özellikle BERT ve GPT ailesinin baskın olduğu 2018 sonrası dönemde, soyut özetleme kalitesi dramatik biçimde artmıştır. BART, T5 ve Pegasus gibi modeller bu alanda öne çıkan mimarilerdir. Günümüzde GPT-4, Claude ve Gemini gibi büyük dil modelleri (LLM), binlerce sayfalık belgeleri saniyeler içinde özetleyebilmekte; hukuk, gazetecilik, akademi ve kurumsal iş süreçlerinde yaygın kullanım alanı bulmaktadır. Değerlendirme amaçlı en yaygın metrik olan ROUGE (Recall-Oriented Understudy for Gisting Evaluation), üretilen özet ile referans özet arasındaki n-gram örtüşmesini ölçer. Uzun bağlam pencereleri (128K token ve üzeri) ile donatılmış büyük dil modellerinin yaygınlaşması, metin özetlemeyi yapay zeka asistanlarının en çok kullanılan yeteneklerinden biri haline getirmiştir. Bugün her büyük belge yönetim platformu, haber toplayıcı ve kurumsal yazılım bu teknolojiyi aktif olarak kullanmaktadır.
Transformer-XL (Transformer-XL (Uzun Bağlamlı Dönüştürücü Mimarisi))
Transformer-XL, Zihang Dai ve ekibinin 2019 yılında Google Brain ile Carnegie Mellon Üniversitesi iş birliğiyle geliştirdiği, uzun bağlamı modelleme sorununu çözmek amacıyla önerilen bir dil modeli mimarisidir. Standart Transformer modelleri metin işlerken sabit uzunluktaki bölütleri birbirinden bağımsız olarak ele alır; bu durum cümle sınırlarını aşan bağlam bağımlılıklarının yakalanamamasına ve bölüt kenarlarında anlam kırılmasına yol açar. Transformer-XL bu sorunu iki temel yenilikle aşar: bölüt özyinelemesi ve göreli konum kodlaması. Bölüt özyinelemesi mekanizmasında her katmanın gizli durum tensörleri önbelleğe alınır ve bir sonraki bölüt işlenirken dikkat mekanizmasına ek bağlam olarak sunulur; bu yapı modelin erişebildiği bağlam uzunluğunu teorik olarak sonsuz kılabilir ve uzun mesafeli bağımlılıkların yakalanmasını mümkün kılar. Göreli konum kodlaması ise mutlak konum gömülerinin farklı bölüt uzunluklarında anlam kaybına yol açma sorununu giderir; dikkat mekanizması token çiftleri arasındaki göreli mesafeyi doğrudan hesapladığından model farklı bölüt konfigürasyonlarına kolayca genellenebilir hâle gelir. WikiText-103 ve enwiki8 standart kıyaslamalarında Transformer-XL yayımlandığı dönemde yeni başarım kayıtları kırmıştır. Eğitim aşamasında bölüt özyinelemesi devre dışı bırakılabilir; çıkarım aşamasında ise önbellekte tutulan gizli durumlar çok daha uzun metinlerin verimli biçimde işlenmesini kolaylaştırır. Hesaplama maliyeti açısından değerlendirildiğinde özyineleme uzunluğunun artmasıyla bellek kullanımı doğrusal olarak artar; bu denge üretim sistemleri için dikkate alınması gereken önemli bir tasarım kararıdır. Transformer-XL mimarisinin kalıcı etkisi ardından gelen büyük dil modellerine kattığı kavramsal zemindir. XLNet, permütasyon tabanlı dil modellemesiyle Transformer-XL üzerine inşa edilmiş ve BERT tarzı çift yönlü eğitimi oto-regresif modellemeyle birleştirmiştir. T5, GPT serisi ve günümüzün uzun bağlam modellerindeki pek çok tasarım kararı bu mimarinin deneyimlerinden beslenmiştir. Transformer-XL aynı zamanda artımlı çıkarım araştırmalarını da yönlendirmiş; literatürde iki binden fazla atıf alarak modern NLP tarihine geçmiştir.
Video Üretimi (AI Video Generation) (Video Üretimi)
Video üretimi (AI Video Generation — Yapay Zeka Video Üretimi), derin öğrenme modellerinin metin açıklamaları, görüntüler veya kısa video girdilerinden gerçekçi, hareketli ve tutarlı video klipleri sentezlediği üretken yapay zeka alt alanıdır. Tıpkı metin-görüntü modellerinin metinden statik görsel üretmesi gibi, video üretim modelleri zaman boyutunu da işleyerek her karenin bir öncekiyle tutarlı olmasını sağlar. Günümüzde baskın mimari Diffusion Transformer (DiT) modelidir. Süreç üç aşamada gerçekleşir: (1) Video kareler, Variational Autoencoder (VAE) ile düşük boyutlu latent uzaya sıkıştırılır. (2) Bu latent temsil üzerinde, bir transformer ağı gürültüyü adım adım kaldırarak anlamlı içerik üretir. (3) Elde edilen latent vektör VAE dekoder ile tekrar piksel uzayına dönüştürülür. Metin koşullaması için CLIP veya T5 gibi metin enkoderleri kullanılır; classifier-free guidance (CFG) ise metin-video uyumunu dengeler. OpenAI'nın Şubat 2024'te tanıttığı Sora, 60 saniyelik tutarlı klipler üretebilen ve kamera hareketi, nesne fiziği ile ışık yansımalarını modelleme kapasitesine sahip ilk büyük ölçekli DiT tabanlı modeldir. Google Veo 2 (2024), diyalog ve ses efektleri dahil tek geçişte video üretebilmesiyle öne çıkar. Kling (Kuaishou), Runway Gen-3, Pika Labs ve Luma AI ise üretken video ekosisteminde rekabet eden başlıca açık ve kapalı kaynak araçlardır. Stability AI'nın Stable Video Diffusion'ı 2023'te yaygın açık ağırlıklı modeli temsil eder. Alanın en büyük teknik zorluğu zamansal tutarlılıktır: nesnelerin kareler arasında kimliğini, şeklini ve davranışını koruması gerekir. Uzun videoların bellekle yönetilmesi, karmaşık fizik simülasyonu ve yüksek çözünürlüklü render hesaplama maliyeti de çözüm bekleyen sorunlar arasındadır. Kullanım alanları arasında reklam ve pazarlama içeriği, film previzüalizasyonu, oyun sinematikleri, eğitim videoları ve sosyal medya içeriği öne çıkar. Türkiye'de kreatif ajanslar, bağımsız yapımcılar ve e-ticaret markaları AI video üretimini hızla benimsiyor.
Vision Transformer (ViT) (Görüntü Transformer)
Vision Transformer (ViT), 2020 yılında Google Brain ekibi tarafından yayımlanan "An Image is Worth 16x16 Words" makalesiyle tanıtılan ve görüntü işleme alanında Transformer mimarisini merkeze alan çığır açıcı bir derin öğrenme modelidir. CNN'lerin (Evrişimli Sinir Ağları) onlarca yıl boyunca hâkim olduğu bilgisayarlı görü alanında ViT, bu paradigmayı kökten değiştirmiştir. ViT'in temel çalışma ilkesi görüntüyü sabit boyutlu yamalar (patch) dizisine bölmektir. Örneğin 224×224 piksellik bir görüntü, 16×16 boyutunda 196 yamaya ayrılır; her yama düzleştirilerek (flatten) doğrusal bir projeksiyon katmanından geçirilir ve D-boyutlu bir gömme vektörüne dönüştürülür. Sınıflandırma için öğrenilebilir bir [CLS] tokeni eklenir; tüm yamalara pozisyonel kodlama uygulanarak sıralamanın kaybolması önlenir. Bu vektör dizisi standart Transformer encoder bloklarına — çok başlı öz-dikkat ve ileri beslemeli ağ katmanlarına — beslenir. Çıkışta [CLS] tokeninin gömme vektörü bir MLP kafasına verilerek görüntü sınıfı tahmin edilir. CNN'lerden temel farkı, uzamsal tümevarımsal önyargı (inductive bias) taşımamasıdır. CNN yerel evrişimler ve paylaşımlı ağırlıklarla bu önyargıyı yapıya kodlarken ViT tüm bu örüntüleri veriden öğrenir; bu yüzden JFT-300M gibi çok büyük veri kümelerinde ön eğitim gerektirir. DeiT mimarisi öğretmen-öğrenci damıtma ile bu gereksinimi ImageNet ölçeğine indirmiştir. Başlıca varyantlar arasında Swin Transformer (kayan pencereli dikkat ile hiyerarşik özellik haritaları), BEiT ve MAE (maskeli ön eğitim), DINOv2 (öz-süpervizyon) ve SAM/SAM2 (evrensel segmentasyon) sayılabilir. Nesne tespitinde DETR, semantik segmentasyonda SegFormer, görsel-dilsel temel modellerde CLIP ve Flamingo ViT'i omurga olarak kullanmaktadır. ViT'in dikkat ısı haritaları yorumlanabilirliği artırır: hangi yamaların sınıflandırma kararını etkilediği görselleştirilebilir. Tıbbi görüntülemede, uydu görüntüsü analizinde, otonom araç algı sistemlerinde ve çok-kipli (multimodal) büyük modellerde ViT vazgeçilmez bir bileşen haline gelmiştir. 36.000'i aşkın atıf sayısıyla bu makale, bilgisayarlı görünün en etkili çalışmaları arasına girmiştir.
wav2vec (wav2vec (Ses Temsil Öğrenimi))
wav2vec, Meta AI Research (eski adıyla Facebook AI) tarafından geliştirilen ve konuşma tanıma görevleri için etiketlenmemiş ses verilerinden güçlü temsiller öğrenen öz-denetimli (self-supervised) bir derin öğrenme modelidir. 2019'da tanıtılan ilk wav2vec, ham ses dalgalarını doğrudan girdi olarak alarak gelecekteki ses çerçevelerini tahmin etmek üzere bir CNN mimarisi kullanır. 2020'de yayımlanan wav2vec 2.0, bu çerçeveyi transformatör mimarisi ve kuantizasyon mekanizmasıyla geliştirerek öz-denetimli öğrenmeyi ses alanında doruk noktasına taşıdı. wav2vec 2.0'ın temel yeniliği, kontrastif öğrenme (contrastive learning) yaklaşımıdır: model, ses girdisinin bazı bölümlerini maskeler ve maskelenen bölümlerin doğru kuantize temsillerini yanlış adaylar arasından seçmeyi öğrenir. Bu sayede insan tarafından etiketlenmemiş binlerce saatlik ses verisi, eğitim malzemesi olarak kullanılabilir hâle gelir. wav2vec 2.0, yalnızca 10 dakika etiketli sesle dünyanın en iyi otomatik konuşma tanıma (ASR) sistemleriyle rekabet edebilir hâle gelebildiğini göstermiştir. Bu sonuç, etiketli veri kıtlığının büyük sorun oluşturduğu az kaynaklı diller için devrim niteliği taşır. Türkçe dahil onlarca dil için ön eğitilmiş wav2vec 2.0 modelleri Hugging Face üzerinden serbestçe erişilebilir durumdadır. MIMI, HuBERT ve XLS-R gibi sonraki ses modelleri wav2vec 2.0 mimarisinden ilham alarak geliştirilmiştir. Günümüzde ses klonlama, duygu tanıma, konuşmacı doğrulama ve çok dilli ASR sistemlerinin omurgasında wav2vec tabanlı temsil öğrenimi yaygın biçimde kullanılmaktadır. Meta AI'ın 2023'te tanıttığı MMS (Massively Multilingual Speech) projesi, wav2vec 2.0 çerçevesini 1.100'den fazla dile genişleterek dünyanın ses çeşitliliğini kapsayan en büyük ASR modelini ortaya koymuştur. Whisper ile karşılaştırıldığında wav2vec 2.0, az etiketli veri koşullarında üstün performans sergilerken Whisper geniş veri ortamlarında daha pratiktir; her iki yaklaşım farklı senaryolarda tamamlayıcı roller üstlenir. Uçtan uca konuşma çevirisi (speech-to-speech translation) ve gürültü giderme gibi yeni görevlerde de wav2vec tabanlı ön eğitimli modeller aktif olarak araştırılmakta ve ürünleştirilmektedir.