tag Transformer
Attention (Dikkat Mekanizması) (Dikkat Mekanizması)
Bu sayfada Transformer (Attention (Dikkat Mekanizması) (Dikkat Mekanizması)) etiketi ile işaretlenmiş 22 yapay zeka kavramını bulabilirsiniz.
Attention (Dikkat Mekanizması), bir sinir ağının çıktı üretirken giriş dizisinin hangi bölümlerine ne ölçüde odaklanacağını dinamik olarak öğrenen nöral ağ bileşenidir. 2014'te makine çevirisi için önerilen temel dikkat mekanizması, 2017'de "Attention Is All You Need" makalesiyle Transformer mimarisinin çekirdeğine dönüştü ve modern yapay zekanın en dönüştürücü bileşeni haline geldi. Dikkat mekanizmasının temel sezgisi, insan dikkatini taklit etmektir: cümledeki her kelimeye eşit ağırlık vermek yerine, o anki tahmin için en ilgili kelimelere daha yüksek ağırlık vermek. Matematiksel olarak üç matris kullanılır: Sorgu (Query, Q), Anahtar (Key, K) ve Değer (Value, V). Q ile K'nın nokta çarpımı yumuşatılmış maksimum (softmax) fonksiyonundan geçirilerek dikkat ağırlıkları elde edilir; bu ağırlıklar V matrisinin ağırlıklı toplamını belirler: Attention(Q, K, V) = softmax(QK^T / √d_k) × V. Öz-dikkat (self-attention), bir dizinin kendi içindeki öğeler arasındaki bağımlılıkları modelleyerek çalışır; GPT ve BERT bu mekanizmayı kullanır. Çapraz dikkat (cross-attention) ise farklı iki dizinin öğelerini ilişkilendirir; kodlayıcı-çözücü modellerinde sorgu çözücüden, anahtar/değer çiftleri kodlayıcıdan gelir. Çok başlı dikkat (multi-head attention), birden fazla dikkat başını paralel çalıştırarak farklı ilişki alt uzaylarını eş zamanlı öğrenir. Dikkat mekanizması, konum bilgisini doğrudan içermez; bu nedenle Transformer'lara konumsal kodlama (positional encoding) eklenir. Flash Attention gibi bellek-etkin uygulamalar uzun bağlam pencerelerini mümkün kılarken kayan pencere dikkat (sliding window attention) yerel bağımlılıklara odaklanarak hesaplama karmaşıklığını düşürür. Dikkat mekanizması yalnızca dil modeliyle sınırlı kalmadı: Vision Transformer (ViT) görüntü yamalarını dizi olarak ele alarak öz-dikketi bilgisayarlı görüye uyarladı; Whisper ses tanıma, AlphaFold 2 protein yapısı tahmini de bu mekanizmaya dayanır. RNN ve LSTM'nin hâkim olduğu dönemde paralelleştirme kısıtlaması aşılamıyordu; dikkat mekanizması bu kısıtı ortadan kaldırarak GPT-4, Gemini ve Claude gibi modellerin 100.000+ token bağlam penceresiyle çalışmasını olanaklı kıldı.
Attention (Dikkat Mekanizması) (Dikkat Mekanizması)
Attention (Dikkat Mekanizması), bir sinir ağının çıktı üretirken giriş dizisinin hangi bölümlerine ne ölçüde odaklanacağını dinamik olarak öğrenen nöral ağ bileşenidir. 2014'te makine çevirisi için önerilen temel dikkat mekanizması, 2017'de "Attention Is All You Need" makalesiyle Transformer mimarisinin çekirdeğine dönüştü ve modern yapay zekanın en dönüştürücü bileşeni haline geldi. Dikkat mekanizmasının temel sezgisi, insan dikkatini taklit etmektir: cümledeki her kelimeye eşit ağırlık vermek yerine, o anki tahmin için en ilgili kelimelere daha yüksek ağırlık vermek. Matematiksel olarak üç matris kullanılır: Sorgu (Query, Q), Anahtar (Key, K) ve Değer (Value, V). Q ile K'nın nokta çarpımı yumuşatılmış maksimum (softmax) fonksiyonundan geçirilerek dikkat ağırlıkları elde edilir; bu ağırlıklar V matrisinin ağırlıklı toplamını belirler: Attention(Q, K, V) = softmax(QK^T / √d_k) × V. Öz-dikkat (self-attention), bir dizinin kendi içindeki öğeler arasındaki bağımlılıkları modelleyerek çalışır; GPT ve BERT bu mekanizmayı kullanır. Çapraz dikkat (cross-attention) ise farklı iki dizinin öğelerini ilişkilendirir; kodlayıcı-çözücü modellerinde sorgu çözücüden, anahtar/değer çiftleri kodlayıcıdan gelir. Çok başlı dikkat (multi-head attention), birden fazla dikkat başını paralel çalıştırarak farklı ilişki alt uzaylarını eş zamanlı öğrenir. Dikkat mekanizması, konum bilgisini doğrudan içermez; bu nedenle Transformer'lara konumsal kodlama (positional encoding) eklenir. Flash Attention gibi bellek-etkin uygulamalar uzun bağlam pencerelerini mümkün kılarken kayan pencere dikkat (sliding window attention) yerel bağımlılıklara odaklanarak hesaplama karmaşıklığını düşürür. Dikkat mekanizması yalnızca dil modeliyle sınırlı kalmadı: Vision Transformer (ViT) görüntü yamalarını dizi olarak ele alarak öz-dikketi bilgisayarlı görüye uyarladı; Whisper ses tanıma, AlphaFold 2 protein yapısı tahmini de bu mekanizmaya dayanır. RNN ve LSTM'nin hâkim olduğu dönemde paralelleştirme kısıtlaması aşılamıyordu; dikkat mekanizması bu kısıtı ortadan kaldırarak GPT-4, Gemini ve Claude gibi modellerin 100.000+ token bağlam penceresiyle çalışmasını olanaklı kıldı.
BERT (Bidirectional Encoder Representations) (BERT Doğal Dil Modeli)
BERT (Bidirectional Encoder Representations from Transformers), Google'ın 2018'de açık kaynak olarak yayınladığı, metni soldan sağa ve sağdan sola aynı anda okuyarak her kelimenin bağlamını çözen Transformer tabanlı bir dil modelidir. GPT gibi üretken modeller bir sonraki kelimeyi tahmin ederken, BERT encoder-only mimarisiyle cümlenin tamamına bakar; bu yüzden metin sınıflandırma, varlık ismi tanıma (NER) ve soru cevaplama gibi **anlama** görevlerinde uzun süre standart model oldu. Modelin iki temel ön eğitim görevi vardır: **Masked Language Modeling (MLM)** ile token'ların yaklaşık %15'i maskelenir ve model bunları çift yönlü bağlamdan tahmin eder; **Next Sentence Prediction (NSP)** ile iki cümlenin ardışık olup olmadığı öğrenilir. Eğitim verisi BooksCorpus ve İngilizce Wikipedia'dan oluşan yaklaşık 3,3 milyar kelimedir. BERT-base 110 milyon, BERT-large 340 milyon parametre taşır; bağlam penceresi 512 token ile sınırlıdır. BERT'in en görünür etkisi arama motorlarında yaşandı. Google, Ekim 2019'da BERT'i arama sıralamasına entegre etti ve o dönemde İngilizce sorguların yaklaşık %10'unun anlaşılmasını iyileştirdiğini duyurdu; Aralık 2019'da model Türkçe dahil 70'ten fazla dile genişledi. "Brezilya'dan ABD'ye vize" gibi edatın anlamı değiştirdiği sorgularda arama niyeti ilk kez doğru okunmaya başladı. Bu, SEO'da anahtar kelime yoğunluğu yerine niyet odaklı içerik döneminin başlangıcı sayılır. 2026 itibarıyla BERT üretken sohbet modellerinin gölgesinde kalmış görünse de üretimde en çok çalıştırılan modellerden biri olmaya devam ediyor: Google aramada hâlâ sıralama sistemlerinin bir parçası, Hugging Face'te BERT türevleri (RoBERTa, DistilBERT, DeBERTa, 2024 çıkışlı ModernBERT) aylık yüz milyonlarca kez indiriliyor. Türkçe NLP'de dbmdz/bert-base-turkish-cased (BERTurk) duygu analizi ve NER projelerinin varsayılan başlangıç noktasıdır. Düşük maliyeti, birkaç yüz örnekle fine-tune edilebilmesi ve milisaniyelik çıkarım süresi, BERT'i sınıflandırma ve embedding işlerinde LLM'lere pratik bir alternatif olarak ayakta tutuyor.
Flash Attention (Flash Attention)
Flash Attention, Transformer modellerinin dikkat mekanizmasini GPU yuksek bant genisligi bellegine (HBM - High Bandwidth Memory) erisimleri en aza indirecek sekilde yeniden duzenleyen IO-bilincloi bir hesaplama yontemidir. Standart dikkat algoritmasinin O(n²) bellek karmasikligi yerine O(n) bellek kullanimi saglar; bu fark ozellekle uzun baglam pencerelerinde dramatik bir verimlilik artisi anlamina gelir. Standart dikkat hesaplamasinda Q, K, V (sorgu, anahtar, deger) matrislerinin tam NxN boyutundaki dikkat matrisi GPU HBM'e yazilir ve tekrar okunur. N token sayisi arttikca bu matris icin gereken bellek ve HBM erisim sayisi karesiyle buyur; bu hem yavas hem bellek yogun bir yaklasimdir. Flash Attention'in cozumu tiling (karo) teknigidir. Giris matrisleri kucuk bloklara (tile) ayrılan bu yaklaşimda her blok GPU'nun hizli SRAM on bellegine yuklenir ve dikkat hesaplamasi orada tamamlanir. SRAM HBM'den cok daha hizli ve daha kucuk; Flash Attention, HBM yazma/okuma sayisini agresif sekilde azaltarak hesaplamanin bellege bagli (memory-bound) darbogazini ortadan kaldirir. Yeniden hesaplama (recomputation) teknigi geri yayilim sirasindaki bellek ihtiyacini yonetir. Ileri geciste ara sonuclar kaydedilmez; geri yayilim sirasinda gerektiginde yeniden hesaplanir. Bu, bellek tasarrufunu saglarken ekstra hesaplama maliyeti getirir; ancak bu denge cok kucuk bir maliyet olarak kalmaktadir. Tri Dao ve ekibi tarafindan gelistirilmis olan FlashAttention-1 2022'de yayimlanmis; FlashAttention-2 daha iyi is bolumu ve paralellestirme ile belirgin hizlanma saglamistir. FlashAttention-3, NVIDIA Hopper mimarisinin asenkron boru hatlarini ve FP8 destegiyle daha da yuksek verimlilik sunmaktadir. PyTorch'un scaled_dot_product_attention API'si Flash Attention'i varsayilan uygulama olarak entegre etmistir; bu nedenle gunumuzde cok sayida Transformer uygulamasi Flash Attention'dan dolayı, bunu fark etmeden yararlanmaktadir. **Sik Sorulan Sorular** **Flash Attention kullanmak icin ne yapmam gerekir?** PyTorch >= 2.0'da torch.nn.functional.scaled_dot_product_attention kullanan herhangi bir model Flash Attention'dan otomatik olarak yararlanir. flash-attn paketini kurarak HuggingFace Transformers ve diger cercevedeki modellere Flash Attention 2/3 entegre edilebilir. **Flash Attention hangi GPU'larda calisir?** FlashAttention-2 NVIDIA Ampere (A100) ve Hopper (H100) GPU'larinda en iyi performansi gosterir; RTX serisi tuketici GPU'larinda da calisir. FlashAttention-3 Hopper mimarisine ozellestirilmistir. **Flash Attention ciktiyi degistirir mi?** Hayir. Flash Attention standart dikkat ile mathematiksel olarak ayni sonucu uretir; fark yalnizca hesaplama verimliligindedir. **Uzun baglam neden Flash Attention olmadan bu kadar zorlayicidir?** 128K token icin standart dikkat n²=16.4 milyar eleman boyutunda bir matris gerektirir; bu GPU bellegini tamamen asabilir. Flash Attention bu sorunu tiling ile cozerek pratik uzun baglam islemesini mumkun kilar.
Generative Pre-trained Transformer (Üretken Ön-eğitimli Dönüştürücü)
GPT (Generative Pre-trained Transformer), OpenAI tarafından geliştirilen ve Transformer mimarisinin yalnızca decoder (kod çözücü) bloğunu kullanan büyük dil modeli ailesidir. Adındaki üç sözcük mimariyi özetler: "Generative" çıktı ürettiğini, "Pre-trained" geniş metin korpusunda önceden eğitildiğini, "Transformer" ise temel mimariyi belirtir. GPT'nin çalışma mantığı özünde otoregresif token tahminidir: model, aldığı bağlama bakarak bir sonraki en olası tokenı tahmin eder; bu tahmin bağlama eklenerek süreç tekrarlanır. Bu basit hedefle milyarlarca web sayfası, kitap ve kod üzerinde eğitilen model, dil bilgisi, dünya bilgisi ve akıl yürütme kapasitesini istatistiksel olarak özümser. Eğitim iki aşamalıdır. İlk aşamada devasa metin verisinde denetimsiz ön eğitim yapılır; model "tahmin" oynanarak dili öğrenir. İkinci aşamada RLHF (İnsan Geri Bildirimiyle Pekiştirmeli Öğrenme) ile ince ayar uygulanır: insan değerlendiricilerin tercihlerine göre modelin faydalı, zararsız ve dürüst yanıtlar vermesi öğretilir. GPT serisi her sürümle çarpıcı biçimde büyüdü: GPT-1 (2018) 117M, GPT-2 (2019) 1.5B, GPT-3 (2020) 175B parametreyle yayınlandı. GPT-3'ün few-shot öğrenme yeteneği — yani birkaç örnekle yeni görevlere anında uyum sağlaması — yapay zeka araştırmalarında paradigma değişikliği yarattı. ChatGPT'nin 2022'deki lansmanı ise GPT'yi 100 milyon kullanıcıya en hızlı ulaşan tüketici ürünü haline getirdi. GPT-4 (2023) ile model çok modlu hale geldi: hem metin hem görüntü anlayabiliyor, bar sınavını %90 persentilde geçiyor ve 128K token bağlam penceresini destekliyor. GPT-4o ses, görüntü ve metni tek modelde birleştirirken GPT-5 entegre akıl yürütme yetenekleriyle serinin en gelişmiş halkasını oluşturuyor.
Human Pose Estimation (İnsan Poz Tahmini)
Human Pose Estimation (İnsan Poz Tahmini), görüntüler veya video karelerindeki insan vücudunu oluşturan eklem noktalarını (omuzlar, dirsekler, bilekler, kalça, dizler, ayak bilekleri ve baş) tespit ederek bütüncül bir iskelet temsili ortaya koyan bilgisayarlı görü görevidir. Her iskelet, anatomik bağlantılarla birleştirilmiş anahtar nokta koordinatlarından (x, y ve güven skoru) oluşur. Temel mimariler iki kategoride incelenir. Yukarıdan aşağıya (top-down) yaklaşımda önce görüntüdeki her birey bir nesne dedektörüyle belirlenir, ardından her kişi için bağımsız poz tahmini çalıştırılır; bu yöntem yüksek doğruluk sağlar ancak hesaplama maliyeti kişi sayısıyla orantılı biçimde artar. Aşağıdan yukarıya (bottom-up) yaklaşımda ise tüm anahtar noktalar tek geçişte tespit edilip ardından bireylere eşleştirilir; OpenPose (CMU, 2017) bu kategorinin öncüsüdür ve Parça Yakınlık Alanları (Part Affinity Fields) adlı yenilikçi teknikle eklem noktalarını doğru kişilere bağlar. Teknik açıdan modeller, her keypoint için olasılık ısı haritaları (heatmap) üretir; haritadaki yüksek değerler eklemin o konumda bulunma olasılığını gösterir. DeepPose (Google, 2014) bu göreve derin öğrenmeyi taşıyan ilk çalışmaydı. 2022'de yayımlanan ViTPose, CNN omurgaları yerine Vision Transformer (ViT) mimarisini kullanarak MS COCO karşılaştırma setinde AP 80,9 ile yeni bir başarı çıtası oluşturdu ve alanın CNN baskınlığından Transformer çağına geçişini simgeledi. Uygulama alanları oldukça geniştir: spor analitiğinde futbol, basketbol ve yüzme dallarında oyuncu hareket analizi; fitness ve sağlıkta yoga/gym antrenmanlarında doğru form denetimi ve fizyoterapi takibi; artırılmış/sanal gerçeklikte gerçek zamanlı avatar kontrolü ve mocap alternatifi; işaret dili tanıma ve jest tabanlı insan-bilgisayar etkileşimi; güvenlik sistemlerinde davranış izleme ve anomali tespiti. Temel zorluklar arasında vücut parçalarının örtülmesi (occlusion), kalabalık sahnelerde çok kişili tahmin ve mobil/uç cihazlarda gerçek zamanlı işlem gereksinimleri sayılabilir.
In-Context Learning (Bağlam İçi Öğrenme)
In-context learning (baglam icerisinde ogrenme), buyuk dil modellerinin ag agirliklarini hicbir sekilde guncellemeksizin, yalnizca prompt icerisine yerlestirilen girdi-cikti orneklerinden gorevi anlayip yeni bir girdi icin dogru cikti uretme yetenektir. Geleneksel makine ogrenmesinden kokten farkli bu yetenegte gradient hesaplama, geri yayilim veya agirlik guncelleme yoktur; model, dikkat mekanizmasi araciligiyla prompt'taki ornekleri bir tur acil hafiza gibi kullanir. In-context learning uc alt kategoride incelenir. Zero-shot learning, hic ornek verilmeden yalnizca gorev tanimi veya talimatla calisir. One-shot learning, tek bir girdi-cikti ornegi ile gorevi anlama girisimidir. Few-shot learning ise genellikle uc ila on arasinda ornek kullanir ve GPT-3 makalesinin odaklandigi asil yaklasimdir. Bu uc durum aslinda aynı mekanizmanin ornek sayisina gore ozel halleridir. 2020 yilinda yayinlanan GPT-3 makalesi, in-context learning'i yapay zeka arastirmasinin odak noktalarindan birine donusturdur. Makale, 175 milyar parametreli GPT-3'un onlarca gorevi ornek gormeksizin veya yalnizca birkaç ornekle gerceklestiirebildigini sistematik olarak gostermis; bu sonuc dil modellerinin yetenekleri konusundaki beklentileri kokten degistirmistir. Mekanizma sorusu hala tartismalıdır. Bir yaklasim, in-context learning'in gizli bir gradient descent gerceklestirdigini one surer: dikkat mekanizmasi, orneklerden ustkalik dogrusallik gibi temel kaliplari cikartmak icin fonksiyonel olarak gradyan hesaplamaya benzeyen bir surec yurutmektedir. Alternatif yorum ise modelin egitim sirasinda on milyarlarca belgede gordugundan benzer gorevlerin farkli bicimlerini ogrenip bunlari prompt'taki sinyal uzerine yeniden etkinlestirdigini one surer. Uygulamada in-context learning prompt muhendisligi ile dogrudan baglantilidur. Hangi orneklerin secildigini, orneklerin sirasi, ornek sayisi ve talimatin formati model performansini onlu olcekte etkiler. Chain-of-Thought prompting gibi teknikler, bu mekanizma uzerine akil yurutme adimlarini yerlestirir. **Sik Sorulan Sorular** **In-context learning ile fine-tuning arasindaki fark nedir?** Fine-tuning ag agirliklarini gercekten guncellir ve surekli ogrenmeyi temsil eder. In-context learning agirliksiz, cikarim sirasinda gerceklesir; daha esnek ama daha az kalici ogrenme demektir. **Hangi modeller in-context learning'i iyi yapar?** Genel olarak buyuk modeller daha iyidir; GPT-4, Claude ve Gemini gibi frontier modeller kucuk modellerden belirgin sekilde ust performans gosterir. Model buyuklugu ile in-context yetenek arasindaki iliski yaklasik log-dogrusaldir. **Ornek sirasi onemli midir?** Evet, arastirmalar ornek sirasinin performansi onlu yuzde kadar etkileyebildigini gostermistir. Optimal sira veri kumesine ve goreve bagimlidir; genel kural yoktur. **In-context learning'in sinirlari nelerdir?** Baglam penceresi siniri, ornek sayisini kucuk tutar. Cok adimli akil yurutme gerektiren veya sik guncellenende veri gerektiren gorevlerde fine-tuning tipik olarak daha iyi sonu verir.
KV Cache (Anahtar-Değer Önbelleği)
KV Cache (Key-Value Cache — Anahtar-Değer Önbelleği), transformer tabanlı dil modellerinin otomatik regresif çıkarımında hesaplanmış dikkat anahtarı (Key) ve değer (Value) matrislerini yeniden hesaplamamak için bellekte saklayan bir optimizasyon mekanizmasıdır. Her yeni token üretiminde daha önce işlenen tüm tokenler için bu matrisler zaten mevcuttur; yalnızca yeni token için hesaplanması gerekir. Bu sayede çıkarım O(n²)'den O(n)'e indirilir. KV cache; VRAM tüketimi ve bağlam uzunluğu skalasını etkileyen kritik bir bileşendir.
Large Language Model (Büyük Dil Modeli)
Büyük Dil Modelleri (LLM — Large Language Model), insan dilini anlamak, çevirmek, özetlemek, metin üretmek ve kaynak kodu oluşturmak için trilyonlarca parametre ile devasa metin veri setleri üzerinde eğitilmiş yapay zeka sistemleridir. Temelini 2017'de Google araştırmacılarının yayımladığı "Attention Is All You Need" makalesiyle kamuoyuna tanıtılan Transformer mimarisi oluşturur. Bir LLM'in eğitim süreci üç ana aşamadan geçer. İlk aşamada ön eğitim (pre-training) olarak bilinen süreçte model, internet ve kitaplardan derlenen devasa metin korpusu üzerinde bir sonraki tokeni tahmin etme görevini öğrenir. Bu adım modelin sözdizimi, anlambilim ve olgusal bilgiyi içselleştirmesini sağlar; yüzlerce GPU/TPU'luk kümeler üzerinde haftalar sürer. İkinci aşamada denetimli ince ayar (SFT) ile model belirli görevler ve yönergelere uygun yanıtlar verecek biçimde yönlendirilir. Üçüncü aşamada İnsan Geri Bildiriminden Pekiştirmeli Öğrenme (RLHF) aracılığıyla zararlı, yanlı veya hatalı çıktılar baskılanır ve model davranışı insan değerleriyle hizalanır. Günümüzün önde gelen LLM örnekleri arasında OpenAI GPT-4o, Anthropic Claude Sonnet 4.6, Google Gemini 2.5 Pro, Meta LLaMA 3.3 70B ve DeepSeek V3 yer alır. Bu modeller kapalı kaynaklı (yalnızca API üzerinden erişilen) ya da açık ağırlıklı (yerel olarak çalıştırılabilen) biçimde sunulur. Parametre sayısı 7 milyardan 1 trilyonun üzerine çıkabilirken bağlam penceresi 128 bin ile 2 milyon token arasında değişir. LLM'lerin yaygın kullanım alanları şunlardır: yazma asistanlığı, kaynak kod üretimi ve hata ayıklama, belge özetleme, çok dilli çeviri, soru-cevap sistemleri ve akıl yürütme gerektiren görevler. Örneğin bir hukuk firması LLM'i binlerce sayfalık sözleşmeyi dakikalar içinde tarayıp anahtar maddeleri çıkarmak için kullanabilir; bir yazılım geliştirici ise unit test üretmesini isteyebilir. Türkiye'de ise eğitim teknolojileri, müşteri hizmetleri ve içerik üretimi alanlarında LLM entegrasyonu hız kazanmaktadır. LLM performansını ölçmek için MMLU, HumanEval ve HellaSwag gibi standart kıyaslama testleri kullanılır. Türkçe için sondan eklemeli dil yapısı tokenizasyonu güçleştirdiğinden özel benchmark setleri geliştirilmektedir. Temel kısıtlamalar arasında halüsinasyon (gerçek olmayan bilgi üretme), bilgi kesim tarihi ve yüksek çıkarım maliyeti sayılabilir. Retrieval-Augmented Generation (RAG) ve araç kullanımı bu kısıtları azaltmaya yönelik yaygın çözümlerdir. 2025 itibarıyla o3, Claude ve DeepSeek R1 gibi akıl yürüten modeller zincir düşünce tekniğiyle karmaşık matematik ve kodlama görevlerinde insan uzman düzeyine yaklaşmaktadır.
Machine Translation (Makine Çevirisi)
Makine Çevirisi (Machine Translation, MT), bilgisayar sistemlerinin insan müdahalesi olmadan metni veya konuşmayı bir dilden diğerine otomatik olarak aktarmasıdır. Warren Weaver'ın 1949'daki öncü memorandumundan bu yana üç temel nesil geçirmiştir: kural tabanlı MT (RBMT), istatistiksel MT (SMT) ve günümüzde baskın olan nöral MT (NMT). Kural tabanlı sistemler (1950'ler–2000'ler), dilbilgisi kurallarını ve ikidilli sözlükleri temel alırdı; dar alanlarda tutarlı sonuç verse de genel amaçlı ve geniş kapsamlı metinlerde yetersiz kalıyordu. İstatistiksel MT (2000–2016), geniş paralel corpus'lardan öğrenerek olasılıksal modeller kullanırdı; Moses çerçevesi bu dönemin öne çıkan aracıydı. 2016 yılında Google'ın nöral makine çevirisine geçişiyle paradigma kökten değişti. Seq2seq mimarisi üzerine inşa edilen ve ardından Transformer attention mekanizmasıyla güçlendirilen NMT, cümlenin tüm bağlamını kapsayan yoğun temsiller (embedding) üzerinden kaynak dili hedef dile eşler. Bu yaklaşım özellikle uzun mesafeli bağımlılıkların —örneğin Türkçe'de fiil-özne uyumunun— yakalanmasında geleneksel yöntemlere kıyasla büyük bir dönüşüm getirmiştir. Kalite değerlendirmesinde BLEU (Bilingual Evaluation Understudy), METEOR, chrF ve BERTScore gibi otomatik metrikler kullanılır; ancak kültürel nüansları ve anlam doğruluğunu tam ölçmek için MQM (Multidimensional Quality Metrics) çerçevesinde insan değerlendirmesi kaçınılmazdır. Türkçe gibi sondan eklemeli (agglutinative) dillerde alt-kelime tokenizasyonu ve paralel veri kıtlığı özel zorluklar yaratmaktadır; tek bir kök onlarca ek alarak farklı sözcük formları üretebilmektedir. Günümüzde GPT-4o, Gemini 2.5 Flash ve DeepL gibi büyük dil modelleri ile uzmanlaşmış motorlar hukuki, tıbbi ve teknik alanlarda yüksek kaliteli çeviri sunmaktadır. Sağlık kuruluşları, e-ticaret devleri ve haber ajansları bu teknolojiyi milyonlarca içerik parçasını anlık yerelleştirmek için aktif biçimde kullanmaktadır. Zero-shot ve few-shot çeviri yetenekleri, daha önce hizmet verilemeyen az kaynaklı dil çiftlerini de kapsam içine almaktadır.
Masked Language Modeling (Maskeli Dil Modelleme (MLM))
Masked Language Modeling (MLM), BERT ve türevlerinin ön eğitiminde kullanılan bir öğrenme görevidir. Modele verilen cümledeki token'ların rastgele bir bölümü [MASK] sembolüyle örtülür (maskelenir) ve model, bağlamı kullanarak bu gizlenen token'ları tahmin etmeye çalışır. Orijinal BERT makalesinde (Devlin ve ark., 2018) kullanılan yöntemde girdi dizisindeki token'ların %15'i seçilir. Bu seçilen token'ların %80'i [MASK] sembolüyle değiştirilirken %10'u rastgele başka bir token ile yer değiştirir, kalan %10 ise orijinal halinde bırakılır. Bu çeşitlendirme, modelin sadece [MASK] simgesini değil gerçek token dağılımını da öğrenmesini sağlar. MLM'nin en kritik özelliği modele çift yönlü (bidirectional) bağlam kavrama yeteneği kazandırmasıdır. GPT gibi öz-regresif modeller sola bakarken, BERT MLM sayesinde hem solundaki hem sağındaki token'lardan yararlanarak tahmin üretir. Bu, özellikle cümle sınıflandırma, soru cevaplama ve adlandırılmış varlık tanıma (NER) gibi anlama görevlerinde büyük avantaj sağlar. MLM, nesil yapay zeka modelleri (GPT gibi causal LM) karşısında anlama odaklı modellerin (BERT, RoBERTa, ALBERT, DistilBERT, XLM-RoBERTa) tercih ettiği ön eğitim stratejisi olmaya devam etmektedir. BERT'in genel NLP benchmark'larında devrim niteliğindeki başarısı, büyük ölçüde MLM ön eğitimine dayanmaktaydı.
Mixture of Experts (MoE) (Uzmanların Karışımı)
Uzmanların Karışımı (Mixture of Experts — MoE), büyük dil modellerinin hesaplama verimliliğini artırmak için geliştirilmiş bir mimari yaklaşımdır. Geleneksel yoğun (dense) transformer modellerinde her girdi, ağın tüm parametrelerinden geçer; MoE mimarisinde ise her token yalnızca belirli alt ağlar tarafından işlenir. MoE'nin temel bileşeni, "uzman" adı verilen birbirinden bağımsız beslemeli ileri (feed-forward) katmanlardır. Bu uzmanlara ek olarak bir kapı (gating) ağı bulunur; kapı ağı her giriş için hangi uzmanların etkinleştirileceğine karar verir. Tipik bir MoE katmanı 8 ila 64 uzman barındırır; ancak her token için yalnızca 2–4 tanesi aktive edilir. Bu seçici aktivasyon, modelin toplam parametre sayısını büyütürken hesaplama maliyetini sabit tutar. Seyrek aktivasyon (sparse activation) olarak adlandırılan bu özellik, MoE'yi büyük ölçekte son derece çekici kılar. Örneğin Mistral'ın Mixtral 8x7B modeli, 46,7 milyar parametreye sahip olmasına karşın çıkarım sırasında yalnızca 12,9 milyar parametre kullanır; bu da onu çok daha küçük görünen 13B modeller kadar hızlı yapar. Benzer şekilde GPT-4'ün MoE tabanlı olduğu yaygın biçimde raporlanmış olup Google'ın Gemma 4 serisi de MoE mimarisini benimsemiştir. Türk yapay zeka ekipleri için MoE, özellikle bulut çıkarım maliyetleri söz konusu olduğunda kritik bir tasarruf aracıdır. Aynı kalitedeki yoğun modele kıyasla çıkarım başına daha az FLOP harcanır; bu da API maliyetlerini doğrudan düşürür. Öte yandan MoE modellerini yerel olarak çalıştırmak, tüm uzman ağırlıklarının RAM veya VRAM'e yüklenmesini gerektirdiğinden bellekte yoğun bir profil çıkarır; bu nedenle tüketici donanımında dikkatli bellek planlaması şarttır. MoE'nin temel sınırlılıkları arasında yük dengeleme güçlüğü öne çıkar: eğitim sırasında kapı ağı bazı uzmanlara aşırı yüklenebilir, diğerlerini boş bırakabilir. Bu sorunu gidermek için yardımcı kayıp (auxiliary loss) fonksiyonları kullanılır. Dağıtık çıkarım altyapısında ise farklı uzmanlara denk düşen tokenların farklı cihazlara yönlendirilmesi gerekebilir; bu da iletişim ek yükü doğurur.
Mixture of Experts Routing Nedir? MoE Yönlendirme Mekanizması (MoE Yönlendirme)
Mixture of Experts (MoE) routing, modern büyük dil modellerinde her transformer katmanının feed-forward bloğunu birden fazla "uzman" alt ağa bölen ve her gelen token için yalnızca belirli uzmanları etkinleştiren bir yönlendirme mekanizmasıdır. 2017 yılında Shazeer ve arkadaşları tarafından "Outrageously Large Neural Networks" makalesiyle transformer mimarisine entegre edilen bu yaklaşım, GPT-4, Mixtral, DeepSeek ve Gemini gibi önde gelen modellerin temel mimarisi hâline gelmiştir. Geleneksel dense transformer mimarilerinde her token, modelin tüm parametrelerinden geçer; bu durum ölçeklendirme maliyetini parametrelerle orantılı biçimde artırır. MoE mimarisinde ise öğrenilebilir bir yönlendirici (router) ağı, her token için uzmanlar arası bir ağırlık vektörü hesaplar; ardından en yüksek ağırlıklı K uzmanı seçer ve hesaplamayı yalnızca bu uzmanlara yönlendirir. Geri kalan uzmanlar o token için hiç etkinleştirilmez. Böylece toplam parametre sayısı büyük kalırken token başına hesaplama maliyeti sabit tutulur; bu özellik MoE'yi "sparse" (seyrek) mimari olarak da tanımlar. MoE routing'in en önemli pratik sorunu "router collapse"dır: yeterli düzenleme eklenmediğinde router tüm tokenleri yalnızca 1-2 uzmana yönlendirmeye başlar ve geri kalan uzmanlar boşta kalır. Bu sorunu önlemek için eğitim kaybına yük dengeleme kaybı (auxiliary load balancing loss) eklenir. DeepSeek-V3, bu sorunu ek kayıp yerine dinamik bias ayarıyla çözen farklı bir yaklaşım benimsemiştir. Routing iki ana paradigmada gerçekleşir. Token-Choice routing'de her token hangi uzmanı tercih ettiğini seçer; Expert-Choice routing'de ise her uzman belirli tokenleri kendisi alır. İkinci yöntem doğal yük dengesi barındırmakla birlikte bazı tokenlerin hiçbir uzman tarafından seçilmeme riskini beraberinde getirir. 2024-2025 döneminde MoE mimarisi çarpıcı verimlilik göstermiştir: Mixtral 8x7B, 8 uzmanı arasından 2'sini seçerek yaklaşık 47B toplam parametreyle yalnızca 13B aktif parametre kullanır. DeepSeek-V3 ise 256 uzman arasından 8'ini aktive ederek eğitim maliyetini belirgin biçimde azaltmış ve rekabetçi performans elde etmiştir. Bu nedenle MoE, ölçeklenebilir yapay zeka araştırmalarının temel odak noktalarından biri olmayı sürdürmektedir.
Skip Connection Nedir? Atlama Bağlantısı ve Derin Öğrenme (Atlama Bağlantısı)
Skip connection (atlama bağlantısı), derin sinir ağı mimarilerinde bir katmanın girdisinin bir veya daha fazla katman atlanarak ileriki bir katmana doğrudan iletilmesi tekniğidir. 2015 yılında Microsoft Research ekibinin ResNet (Residual Network) mimarisinde popüler hale getirdiği bu yapı, derin öğrenme tarihinin en etkili mimari yeniliklerinden biri olarak kabul edilmektedir. Derin sinir ağlarının temel sorunu, gradyan kaybı (vanishing gradient) problemidir: geri yayılım (backpropagation) sırasında hata sinyali katmanlar boyunca üstel biçimde küçülerek iletilir ve en alt katmanlar öğrenme sürecinden yetersiz yararlanır. 2015 öncesinde 20-30 katmanı aşan ağlar pratikte eğitilemiyordu. Skip connection bu sorunu köklü biçimde çözer. Mathematiksel olarak bir skip connection bloğu şu şekilde ifade edilir: çıktı = F(x) + x. Burada F(x) katmanların öğrendiği artık (residual) dönüşümü, x ise doğrudan iletilen kimlik terimidir. Bu toplama işlemi, gradyanın hem dönüşüm yolundan hem de kesintisiz kimlik yolundan geriye akabilmesini sağlar. Ağ artık hedef çıktıyı sıfırdan öğrenmek yerine yalnızca neyin değişmesi gerektiğini öğrenir; bu da eğitimi hem hızlandırır hem de stabilize eder. Skip connection, yalnızca bilgisayarla görme alanında değil, modern yapay zeka ekosisteminin tamamında kalıcı bir iz bırakmıştır. Transformer mimarisi her encoder ve decoder bloğunda skip connection ile katman normalizasyonunu (layer normalization) birleştiren yapıyı kullanır. GPT, BERT, ViT ve LLaMA gibi büyük dil modelleri ile görüntü dönüştürücülerinde bu tasarım ilkesi temel bir bileşen haline gelmiştir. U-Net medikal görüntülemede encoder-decoder bağlantıları için, DenseNet ise yoğun bağlantı blokları için farklı skip connection türleri kullanır. Skip connection'ın önemi, 2015 ImageNet yarışmasında ResNet-152'nin insan düzeyini aşan yüzde 3.57 hata oranıyla birinci gelmesiyle somutlaşmıştır. Bu sonuç, derin öğrenme topluluğunun ağ derinliğine bakışını kökten değiştirmiş ve yüzlerce hatta binlerce katmanlı modellerin eğitilmesinin önünü açmıştır.
Whisper (OpenAI Konuşma Tanıma)
Whisper, OpenAI tarafından Eylül 2022'de açık kaynak olarak yayımlanan bir otomatik konuşma tanıma (Automatic Speech Recognition, ASR) sistemidir. İnternetin en kapsamlı çok dilli ses derlemlerinden biri üzerinde eğitilen model, 680.000 saatlik denetimli ses verisini kullanmaktadır. Bu geniş eğitim yelpazesi sayesinde Whisper, 99 farklı dili anlayıp yazıya dökebilmekte; aynı zamanda diğer dillerdeki konuşmayı doğrudan İngilizce'ye çevirebilmektedir. Mimari açıdan Whisper, bir Encoder-Decoder Transformer yapısını benimser. Giriş ses sinyali önce 30 saniyelik pencerelere bölünür ve ardından 80 kanallı log-Mel spektrogramına dönüştürülür. Encoder bu spektral temsili işlerken decoder, koşullu dil modelleme yoluyla metin token'larını otomatik olarak üretir. Model, özel bir prompt mekanizmasıyla dil seçimini, zaman damgası üretimini ve çeviri görevini kontrol edebilmektedir. Whisper, Tiny (39 milyon parametre), Base (74 milyon), Small (244 milyon), Medium (769 milyon) ve Large-v3 (1,55 milyar parametre) olmak üzere beş temel boyutta sunulmaktadır. Küçük versiyonlar düşük gecikmeli uygulamalar için idealken Large-v3, kelime hata oranını (Word Error Rate, WER) en aza indirgeyerek en yüksek doğruluğu sağlamaktadır. MIT lisansı ile dağıtılan Whisper, pip aracılığıyla kurulabilir ve Python API'si üzerinden kolayca entegre edilebilir. Topluluk tarafından geliştirilen Faster-Whisper ve WhisperX gibi türev projeler, CTranslate2 arka ucunu kullanarak çıkarım hızını 4-8 kat artırmakta ve konuşmacı ayrıştırma (diarization) gibi ek özellikler eklemektedir. OpenAI ayrıca Whisper'ı bulut tabanlı bir ses transkripsiyon API'si olarak sunmaktadır. Uygulama alanları arasında altyazı üretimi, yasal ve tıbbi transkripsiyon, çağrı merkezi analizi, podcast arşivleme ve erişilebilirlik araçları öne çıkmaktadır. Türkçe dahil pek çok dilde yüksek doğruluk oranıyla çalışan Whisper, açık kaynak ASR ekosisteminin temel taşlarından biri hâline gelmiştir.
Derin Öğrenme (Derin Öğrenme)
Derin Öğrenme (Deep Learning), çok sayıda işlem katmanından oluşan yapay sinir ağlarını kullanarak verilerden hiyerarşik temsiller öğrenen makine öğrenmesi alt dalıdır. 2012'de AlexNet'in ImageNet yarışmasını kazanmasıyla ana akıma giren derin öğrenme, görüntü tanıma, doğal dil işleme, ses sentezi ve oyun oynama gibi alanlarda insan performansını aşan sonuçlar üretmektedir. Temel yapı taşı yapay nörondur: gelen sinyallerin ağırlıklı toplamını bir aktivasyon fonksiyonundan (ReLU, sigmoid, tanh) geçirerek çıktı üretir. Yüzlerden binlerce nöronun art arda katmanlar oluşturması hiyerarşik özellik çıkarımını mümkün kılar. Erken katmanlar kenar ve doku gibi düşük seviye özellikleri, derin katmanlar yüz veya nesne gibi yüksek seviye soyutlamaları kodlar. Geri yayılım (backpropagation) ve stokastik gradyan inişi (SGD) bu ağırlıkları optimize eder; her adımda tahmin hatasını küçültecek yönde parametre güncellenir. Mimari ailesi geniştir. Evrişimli sinir ağları (CNN) görüntü verisini işlemek için yerel bağlantı ve ağırlık paylaşımı kullanır; ResNet ve EfficientNet bu ailenin tanınan üyeleridir. Tekrarlayan sinir ağları (RNN) ve kapılı varyantı LSTM zaman serisi ve metin verisini sıralı olarak işler. Transformer mimarisi, öz-dikkat mekanizmasıyla paralel eğitim avantajı sunar ve GPT, BERT, T5 gibi büyük dil modellerinin temelini oluşturur. Üretici çekişmeli ağlar (GAN), varyasyonel otokodlayıcılar (VAE) ve difüzyon modelleri yeni içerik sentezler. Derin öğrenmenin temel gereksinimleri büyük veri ve yüksek işlem gücüdür; NVIDIA GPU'ları ve Google TPU'ları bu ihtiyacı karşılar. Aşırı uyum sorunuyla başa çıkmak için dropout, toplu normalizasyon ve veri artırma teknikleri yaygın biçimde uygulanır. Transfer öğrenme ise önceden eğitilmiş modellerin yeni görevlere uyarlanmasını sağlar; böylece veri ve hesaplama maliyeti büyük ölçüde azalır. Pratik uygulamaları arasında tıbbi görüntü analizi, özerk araç algı sistemleri, gerçek zamanlı konuşma tanıma ve kişiselleştirilmiş öneri motorları öne çıkar. GPT, Claude ve Gemini gibi büyük dil modelleri ile Stable Diffusion ve Midjourney gibi görsel üretim sistemleri doğrudan derin öğrenme mimarileri üzerine inşa edilmiştir. Türkiye'de e-ticaret kişiselleştirme, bankacılık dolandırıcılık tespiti ve Türkçe NLP uygulamaları başlıca kullanım senaryoları arasındadır. PyTorch ve TensorFlow, araştırmacıların ve geliştiricilerin bu modelleri hızla hayata geçirebildiği başlıca açık kaynak çerçevelerdir.
Layer Normalization Nedir? Transformer'larda Normalizasyon Tekniği (Katman Normalizasyonu)
Layer Normalization (Katman Normalizasyonu), derin öğrenme modellerinde eğitimi hızlandırmak ve kararlılaştırmak için kullanılan bir normalizasyon yöntemidir. Jimmy Ba ve Geoffrey Hinton tarafından 2016 yılında önerilen bu teknik, her bir veri örneğinin aktivasyonlarını özellik boyutu (feature dimension) üzerinden normalleştirir; bu sayede batch boyutundan tamamen bağımsız biçimde çalışır. Batch Normalization'dan farklı olarak değişken uzunluklu dizilerle ve tek örneklik (batch size=1) senaryolarla sorunsuz çalışması, Layer Norm'u Transformer, GPT, BERT ve LLaMA gibi büyük dil modellerinin vazgeçilmez bileşeni haline getirmiştir.
MIDI Sentezi (MIDI Sentezi)
MIDI sentezi, yapay zeka modellerinin büyük MIDI veri kümelerinden müzikal desenleri öğrenerek orijinal sembolik müzik dizileri oluşturduğu bir üretken AI teknolojisidir. Geleneksel MIDI sentezinden farklı olarak, AI tabanlı MIDI sentezi insan besteciliği veya sabit kural setleri yerine derin öğrenme mimarileri kullanarak melodi, armoni, ritim ve çok enstrümanlı düzenlemeleri otomatik olarak üretir. Bu sistemler, müzikal yapı, stil ve kompozisyon prensiplerini istatistiksel kalıplar aracılığıyla kavrar; klasikten elektronik müziğe kadar geniş bir yelpazede tutarlı ve özgün parçalar üretebilir.
Natural Language Processing (Doğal Dil İşleme)
Doğal Dil İşleme (NLP — Natural Language Processing), bilgisayarların insan dilini anlama, yorumlama, üretme ve anlamlı biçimde yanıt verme yeteneğini geliştiren yapay zeka dalıdır. Dilbilim, bilgisayar bilimi ve makine öğreniminin kesişim noktasında yer alan NLP, günümüzde ChatGPT gibi sohbet robotlarından Google Arama'ya, otomatik çeviriden sesli asistanlara kadar geniş bir kullanım alanına ulaşmıştır. NLP'nin temel işlem hattı birkaç katmandan oluşur: tokenizasyon (metni sözcük veya alt-sözcük parçalarına ayırma), morfolojik analiz (kelime köklerini ve eklerini çözümleme), sözdizimi çözümlemesi (cümle yapısını ağaçla modelleme) ve anlambilimsel analiz (bağlamı ve niyeti kavrama). Modern derin öğrenme yaklaşımları bu aşamaları büyük ölçüde bütünleşik sinir ağlarıyla uçtan uca öğrenir; BERT ve GPT serisi bu dönüşümün simgesi haline gelmiştir. Türkçe, sondan eklemeli (agglutinative) morfolojisi nedeniyle NLP için özellikle zorlu bir dildir. "Gidebileceklerinden" gibi tek bir sözcük onlarca anlam katmanı barındırabilir. BERTurk, Turkish GPT ve Zemberek gibi projeler Türkçe özelinde çözümler geliştirirken, Byte Pair Encoding (BPE) ve SentencePiece alt-sözcük tokenizasyonu dil modellerinin Türkçeyi verimli işlemesini mümkün kılmaktadır. 2017'de yayımlanan Transformer mimarisi NLP'yi köklü biçimde dönüştürdü: öz-dikkat mekanizması ile modeller uzun menzilli bağımlılıkları yakalayabildi. BERT (2018), GPT-3 (2020) ve ChatGPT (2022) bu dönüşümün kilometre taşlarıdır. Günümüzde büyük dil modelleri (LLM) NLP görevlerinin büyük çoğunluğunda insan düzeyine yaklaşmış ya da aşmıştır. NLP; metin sınıflandırma, adlandırılmış varlık tanıma, makine çevirisi, duygu analizi, soru-cevap sistemleri ve özetleme başta olmak üzere onlarca kritik uygulamaya güç vermektedir. Endüstride NLP bileşenleri yaygın biçimde kullanılmaktadır: müşteri hizmetlerinde chatbot ve otomasyon, hukuk teknolojisinde belge tarama, sağlık alanında klinik not çözümleme ve ilaç literatürü analizi. Retrieval-Augmented Generation (RAG) mimarisinde NLP katmanları, kullanıcı sorgusunu vektör uzayında temsil edip ilgili belgeleri alır; böylece LLM'in güncel ve doğru yanıtlar üretmesi desteklenir. Türkiye'de e-devlet platformları, fintech uygulamaları ve yerli yapay zeka girişimleri Türkçe NLP altyapısına giderek artan yatırım yapmaktadır.
Positional Encoding (Konum Kodlama (Positional Encoding))
Konum Kodlama (Positional Encoding), Transformer mimarisinin temel bileşenlerinden biridir. Geleneksel Tekrarlayan Sinir Ağları (RNN) ve LSTM modelleri token'ları sırayla işleyerek doğal olarak konum bilgisini korur; Transformer modelleri ise tüm token'ları aynı anda paralel biçimde işler. Bu yaklaşım hesapsal açıdan büyük bir avantaj sunarken, modelin dizideki sıra bilgisini doğrudan elde edememesi anlamına gelir. Konum kodlama bu sorunu çözer: her token'ın öğrenilmiş embedding vektörüne, o token'ın dizideki konumunu temsil eden sayısal bir vektör eklenir. Örneğin "Kedi fareyi kovaladı" cümlesinde "kedi" kelimesi 1. konumda, "fareyi" 2. konumda yer alır; bu iki konumun farklı konum vektörleri sayesinde model sözcüklerin sıralamasını anlayabilir. Sinüzoidal Konum Kodlama, orijinal "Attention Is All You Need" makalesinde (Vaswani ve diğerleri, 2017) kullanılmış yöntemdir. Bu yaklaşımda her konum için sinüs ve kosinüs fonksiyonları hesaplanır: PE(pos, 2i) = sin(pos / 10000^(2i/d)) ve PE(pos, 2i+1) = cos(pos / 10000^(2i/d)). Farklı frekanstaki dalgalar sayesinde her konum benzersiz bir imzaya sahip olur; bu vektörler öğrenilmez, eğitim sırasında sabit kalır. BERT ve GPT-2 gibi modeller, konum bilgisini eğitim sırasında veri üzerinden öğrenir. Bu öğrenilmiş konum gömmeleri daha esnek bir yapı sunmakla birlikte eğitimde görülmemiş dizi uzunluklarına genelleme yapmakta zorlanabilir. RoPE (Rotary Position Embedding), LLaMA, Mistral, Gemma ve Qwen ailesi gibi modern dil modellerinin büyük çoğunluğunun tercih ettiği bir yöntemdir. RoPE, konum bilgisini döndürme matrisleri aracılığıyla dikkat mekanizmasına doğrudan entegre eder. Hem mutlak hem göreli konum bilgisini etkin biçimde kodlar; uzun bağlam uzunluklarına genelleme konusunda önceki yöntemlere kıyasla belirgin üstünlük gösterir. ALiBi (Attention with Linear Biases) ise dikkat puanlarına konum farkına dayalı doğrusal bir ceza ekler. Bu tasarım, modeli eğitimde hiç görmediği dizi uzunluklarına genellemeye yardımcı olur ve bellek açısından verimli bir çözüm sunar. Konum kodlamasının seçimi modelin bağlam penceresi boyutunu, çok dilli performansını ve hesapsal verimini doğrudan etkiler. Bu nedenle büyük dil modeli araştırmalarında, özellikle uzun bağlam penceresi geliştirme çalışmalarında, aktif olarak araştırılan bir alan olmayı sürdürmektedir.
Transformer-XL (Transformer-XL (Uzun Bağlamlı Dönüştürücü Mimarisi))
Transformer-XL, Zihang Dai ve ekibinin 2019 yılında Google Brain ile Carnegie Mellon Üniversitesi iş birliğiyle geliştirdiği, standart Transformer mimarisinin sabit bağlam uzunluğu kısıtlamasını aşmaya yönelik bir dil modeli mimarisidir. "XL" kısaltması, "eXtra Long" (ekstra uzun) anlamına gelir ve modelin uzun mesafeli bağımlılıkları modelleyebilme kapasitesini yansıtır. Klasik Transformer modelleri metni sabit uzunlukta bölütlere (segment) böler ve her bölütü birbirinden tamamen bağımsız biçimde işler; bu durum bölüt sınırlarında bağlam kopukluğuna yol açar. Transformer-XL bu sorunu iki temel yenilikle çözer. İlk yenilik bölüt düzeyinde özyinelemedir (segment-level recurrence): Model, önceki bölütün her katmana ait gizli durum vektörlerini önbellekte tutar. Yeni bölüt işlenirken dikkat mekanizması hem mevcut bölütün hem de önbellekteki önceki bölütün temsillerine erişir. Bu sayede bilgi bölütler arasında aktarılabilir ve N katmanlı bir modelde etkili bağlam penceresi teorik olarak N × bölüt uzunluğuna kadar genişleyebilir. İkinci yenilik göreli konum kodlamasıdır (relative positional encoding): Standart Transformer'da mutlak konum kodlamaları kullanılır. Ancak önbelleğe alınan farklı bölütlerin token'ları aynı mutlak konum indeksini paylaşabilir ve bu durum anlam karışıklığına yol açar. Göreli kodlama, "bu token 5. konumdadır" yerine "bu token diğerinden 3 adım uzakta" bilgisini temsil eder; dikkat skoru dört ayrı bileşene ayrılarak öğrenilebilir ağırlıklarla hesaplanır. WikiText-103, enwiki8 ve One Billion Word kıyaslamalarında döneminin en iyi sonuçlarına ulaşan Transformer-XL, standart Transformer'a kıyasla yüzde 291 ile 447 daha uzun bağımlılıkları modelleyebildiğini kanıtlamıştır. Göreli konum kodlama şeması daha sonra XLNet, T5 ve DeBERTa gibi önemli modellerin temeline alınmıştır.
Video Üretimi (AI Video Generation) (Video Üretimi)
Video üretimi (AI Video Generation), derin öğrenme modellerinin metin açıklamaları, görüntüler veya kısa video girdilerinden gerçekçi, hareketli ve tutarlı video klipleri sentezlediği üretken yapay zeka alt alanıdır. Günümüzde baskın mimari Diffusion Transformer (DiT) modelidir: video kareler önce bir Variational Autoencoder (VAE) ile sıkıştırılmış latent uzaya kodlanır, ardından bir transformer ağı uzamsal ve zamansal yamalar üzerinde iteratif gürültü giderme (denoising) yaparak tutarlı video dizileri üretir. Öne çıkan sistemler arasında OpenAI Sora, Google Veo, Runway Gen-2, Kling ve açık kaynak Stable Video Diffusion sayılabilir.
wav2vec (wav2vec (Ses Temsil Öğrenimi))
wav2vec, Meta AI Research (eski adıyla Facebook AI) tarafından geliştirilen ve konuşma tanıma görevleri için etiketlenmemiş ses verilerinden güçlü temsiller öğrenen öz-denetimli (self-supervised) bir derin öğrenme modelidir. 2019'da tanıtılan ilk wav2vec, ham ses dalgalarını doğrudan girdi olarak alarak gelecekteki ses çerçevelerini tahmin etmek üzere bir CNN mimarisi kullanır. 2020'de yayımlanan wav2vec 2.0, bu çerçeveyi transformatör mimarisi ve kuantizasyon mekanizmasıyla geliştirerek öz-denetimli öğrenmeyi ses alanında doruk noktasına taşıdı. wav2vec 2.0'ın temel yeniliği, kontrastif öğrenme (contrastive learning) yaklaşımıdır: model, ses girdisinin bazı bölümlerini maskeler ve maskelenen bölümlerin doğru kuantize temsillerini yanlış adaylar arasından seçmeyi öğrenir. Bu sayede insan tarafından etiketlenmemiş binlerce saatlik ses verisi, eğitim malzemesi olarak kullanılabilir hâle gelir. wav2vec 2.0, yalnızca 10 dakika etiketli sesle dünyanın en iyi otomatik konuşma tanıma (ASR) sistemleriyle rekabet edebilir hâle gelebildiğini göstermiştir. Bu sonuç, etiketli veri kıtlığının büyük sorun oluşturduğu az kaynaklı diller için devrim niteliği taşır. Türkçe dahil onlarca dil için ön eğitilmiş wav2vec 2.0 modelleri Hugging Face üzerinden serbestçe erişilebilir durumdadır. MIMI, HuBERT ve XLS-R gibi sonraki ses modelleri wav2vec 2.0 mimarisinden ilham alarak geliştirilmiştir. Günümüzde ses klonlama, duygu tanıma, konuşmacı doğrulama ve çok dilli ASR sistemlerinin omurgasında wav2vec tabanlı temsil öğrenimi yaygın biçimde kullanılmaktadır.