category Doğal Dil İşleme
Doğal Dil İşleme kategorisi, yapay zeka ve makine öğrenimi alanındaki 47 temel terim ve kavramı kapsar: Attention (Dikkat Mekanizması), Az-Atışlı İstem, Bag of Words, Beam Search Decoding, Byte Pair Encoding, Chain of Thought (CoT). Her terim için tanım, örnek ve ilgili kavramları bu sayfadan keşfedebilirsiniz.
Attention (Dikkat Mekanizması) (Dikkat Mekanizması)
Attention (Dikkat Mekanizması), bir sinir ağının çıktı üretirken giriş dizisinin hangi bölümlerine ne ölçüde odaklanacağını dinamik olarak öğrenen nöral ağ bileşenidir. 2014'te makine çevirisi için önerilen temel dikkat mekanizması, 2017'de "Attention Is All You Need" makalesiyle Transformer mimarisinin çekirdeğine dönüştü ve modern yapay zekanın en dönüştürücü bileşeni haline geldi. Dikkat mekanizmasının temel sezgisi, insan dikkatini taklit etmektir: cümledeki her kelimeye eşit ağırlık vermek yerine, o anki tahmin için en ilgili kelimelere daha yüksek ağırlık vermek. Matematiksel olarak üç matris kullanılır: Sorgu (Query, Q), Anahtar (Key, K) ve Değer (Value, V). Q ile K'nın nokta çarpımı yumuşatılmış maksimum (softmax) fonksiyonundan geçirilerek dikkat ağırlıkları elde edilir; bu ağırlıklar V matrisinin ağırlıklı toplamını belirler: Attention(Q, K, V) = softmax(QK^T / √d_k) × V. Öz-dikkat (self-attention), bir dizinin kendi içindeki öğeler arasındaki bağımlılıkları modelleyerek çalışır; GPT ve BERT bu mekanizmayı kullanır. Çapraz dikkat (cross-attention) ise farklı iki dizinin öğelerini ilişkilendirir; kodlayıcı-çözücü modellerinde sorgu çözücüden, anahtar/değer çiftleri kodlayıcıdan gelir. Çok başlı dikkat (multi-head attention), birden fazla dikkat başını paralel çalıştırarak farklı ilişki alt uzaylarını eş zamanlı öğrenir. Dikkat mekanizması, konum bilgisini doğrudan içermez; bu nedenle Transformer'lara konumsal kodlama (positional encoding) eklenir. Flash Attention gibi bellek-etkin uygulamalar uzun bağlam pencerelerini mümkün kılarken kayan pencere dikkat (sliding window attention) yerel bağımlılıklara odaklanarak hesaplama karmaşıklığını düşürür. Dikkat mekanizması yalnızca dil modeliyle sınırlı kalmadı: Vision Transformer (ViT) görüntü yamalarını dizi olarak ele alarak öz-dikketi bilgisayarlı görüye uyarladı; Whisper ses tanıma, AlphaFold 2 protein yapısı tahmini de bu mekanizmaya dayanır. RNN ve LSTM'nin hâkim olduğu dönemde paralelleştirme kısıtlaması aşılamıyordu; dikkat mekanizması bu kısıtı ortadan kaldırarak GPT-4, Gemini ve Claude gibi modellerin 100.000+ token bağlam penceresiyle çalışmasını olanaklı kıldı.
Az-Atışlı İstem (Az-Atışlı İstem (Few-Shot Prompting))
Az-Atışlı İstem (Few-Shot Prompting), büyük dil modellerine (LLM) görevi açıklamadan önce birkaç örnek girdi-çıktı çifti göstererek modelin istenen davranışı örneklerden çıkarsamasını sağlayan bir bağlam içi öğrenme (in-context learning) tekniğidir. GPT-3'ün 2020'deki tanıtımıyla popülerleşen bu yaklaşım, herhangi bir ağırlık güncellemesi gerektirmez; model yalnızca bağlamı (promptu) okuyarak örüntüyü genelleştirir. Zero-shot prompting'de model yalnızca talimatla yönlendirilirken, few-shot'ta 2-10 arası somut örnek sağlanır: girdi → beklenen çıktı formatında. Bu örnekler modelin ton, format ve muhakeme stilini hızla yakalamasını sağlar. Örneğin duygu analizi için "Bu yorum olumsuz: 'Berbat bir ürün' → Negatif. Bu yorum olumlu: 'Harika deneyim!' → Pozitif. Bu yorum nedir: 'İdare eder'?" şeklinde bir prompt, etiket tanımı gerektirmeden doğru sınıflandırma yapmasını mümkün kılar. Few-shot prompting özellikle etiketli eğitim verisi oluşturmanın pahalı veya yavaş olduğu alanlarda, hızlı prototipleme aşamalarında ve model ince ayarı (fine-tuning) için yeterli veri bulunmadığında güçlü bir alternatif sunar. Örnek seçimi kritik öneme sahiptir: temsili, çeşitli ve doğru etiketlenmiş örnekler modelin genelleştirme kapasitesini artırırken hatalı veya tekrarlayan örnekler performansı düşürür. Çoklu örnek formatı dışında Chain-of-Thought (CoT) few-shot tekniği, her örneğe adım adım akıl yürütme süreci eklenerek modelin karmaşık matematiksel veya mantıksal problemleri çözmesini güçlü biçimde destekler. Google DeepMind'ın araştırmaları (2022), CoT few-shot kombinasyonunun aritmetik akıl yürütmede yalnızca standart few-shot'a kıyasla iki kata varan doğruluk artışı sağladığını göstermiştir. Ancak dikkat edilmesi gereken sınırlamalar vardır: bağlam penceresinin kapasitesi sınırlıdır; çok fazla örnek pencereyi doldurarak hem maliyeti artırır hem de performansı düşürebilir. Son konumlanan örnekler recency bias nedeniyle daha fazla etki yaratır. Brown ve arkadaşlarının GPT-3 makalesi (2020), few-shot ICL'nin ölçek büyüdükçe dramatik biçimde iyileştiğini ortaya koymuş ve "ölçek yasası"nı destekleyen kanıtlar sunmuştur. Günümüzde Gemini 1.5 Pro gibi milyonlarca token bağlam penceresi sunan modeller "many-shot" öğrenmeyi mümkün kılmakta; bu, fine-tuning'e yakın performans sunarken eğitim maliyetini sıfıra indirmektedir.
Bag of Words (Kelime Torbası)
Bag of Words (Kelime Torbası ya da BoW), doğal dil işleme alanında metni makine öğrenimi algoritmalarının işleyebileceği sayısal forma dönüştürmek için kullanılan en temel yöntemlerden biridir. Model, bir metindeki her kelimeyi sıra ve bağlamdan bağımsız biçimde yalnızca frekansına göre temsil eder; kelimeler metaforik olarak bir "torbaya" atılır ve hangisinin önce, hangisinin sonra geldiği bilgisi yok sayılır. BoW üç adımda çalışır: metin tokenize edilerek kelimeler ayrıştırılır ve "ve", "bir", "bu" gibi bilgi taşımayan stop word'ler temizlenir; tüm belgeler üzerinden benzersiz kelimelerden oluşan bir sözcük dağarcığı (vocabulary) inşa edilir; her belge bu dağarcık boyutunda bir vektöre dönüştürülür. Vektördeki her boyut bir kelimeye karşılık gelir ve değeri o kelimenin belgede kaç kez geçtiğini gösterir. Büyük bir veri kümesinde oluşan matris genellikle son derece seyrek olur, zira her belge sözcük dağarcığının yalnızca küçük bir bölümünü barındırır. Yöntemin en önemli avantajı basitliği ve yorumlanabilirliğidir. Metin sınıflandırma, spam tespiti, konu modelleme ve duygu analizi gibi klasik NLP görevlerinde hızlı ve güvenilir bir başlangıç noktası olarak kullanılır. Hesaplama maliyeti düşüktür ve büyük veri kümelerinde kolayca ölçeklenebilir. Bununla birlikte BoW'un ciddi kısıtlamaları vardır. Kelime sırası tamamen görmezden gelindiğinden "Türkiye İngiltere'yi yendi" ve "İngiltere Türkiye'yi yendi" cümleleri özdeş vektörlerle temsil edilir. Eş anlamlı kelimeler farklı boyutlar olarak değerlendirilir; çok anlamlı kelimeler tek bir boyuta sıkıştırılır. Yüksek boyutluluk ve seyreklik ise bellek ve hesaplama açısından zorluk çıkarır. NLP tarihinin gelişim çizgisinde BoW temel bir başlangıç noktasıdır. TF-IDF bunu kelime ağırlıklandırmasıyla geliştirmiş; Word2Vec ve GloVe bağlamsal anlam ilişkilerini yakalamıştır; günümüz transformer tabanlı dil modelleri ise metin temsilini çok daha zengin semantik düzeyde gerçekleştirmektedir. Kaynak kısıtlı ortamlarda ve klasik makine öğrenimi pipeline'larında BoW pratikliğini korumaktadır.
Beam Search Decoding (Işın Arama Kod Çözme)
Beam search decoding, otomatik çeviriden metin özetlemeye kadar geniş bir yelpazede kullanılan temel bir çıkarım algoritmasıdır. Greedy search her adımda yalnızca en yüksek olasılıklı tek tokeni seçerken; beam search 'ışın genişliği' (beam width, k) kadar hipotezi paralel biçimde takip eder. Her adımda mevcut k hipotezin her biri en olası devamlarıyla genişletilir, ortaya çıkan k×vocab_size aday arasından toplamda en yüksek log-olasılıklı k dizisi bir sonraki adım için korunur. Son token üretildiğinde (veya EOS tokeni görüldüğünde) en yüksek kümülatif olasılıklı dizi çıktı olarak döner. k=1 greedy search ile özdeştir; k arttıkça arama kalitesi artabilir ancak hesaplama ve bellek maliyeti de k katına çıkar. Algoritmanın temel zayıflığı, ham log-olasılık toplamının kısa dizileri kayırmasıdır: her ek token küçük bir negatif değer eklediğinden model kısa ve özlü çıktılar üretmeye yönelir. Bu sorunu gidermek için length penalty (uzunluk cezası) devreye girer; nihai skor dizinin uzunluğu üzerinden normalize edilir ve α parametresiyle ayarlanır, α değeri genellikle 0.6–1.0 arasında seçilir. Çeşitlilik gerektiren görevlerde ise diverse beam search, hipotezler arasına benzerlik cezası ekleyerek tekrarlayan ve birbiriyle örtüşen çıktı dizilerini azaltır. Modern büyük dil modelleri — GPT-4, Claude veya Llama-3 gibi — çoğunlukla beam search yerine greedy arama veya temperature/top-p örneklemeyi tercih eder. Otoregresif üretimde k paralel akışın GPU bellek gereksinimini k katına çıkarması, bunun yanı sıra yüksek kapasiteli modellerde kalite farkının belirgin biçimde azalması bu tercihin başlıca nedenleridir. Makine çevirisi (Google Translate, DeepL), otomatik konuşma tanıma (ASR/STT) ve metin özetleme gibi deterministik ve tekrarlanabilir çıktı gerektiren görevlerde beam search hâlâ endüstri standardıdır. Pratik bir boyutlandırma örneği: k=5 ile 30.000 token'lık sözlükte çalışan bir makine çevirisi modeli her üretim adımında 150.000 kombinasyonu değerlendirir; bu greedy search'e kıyasla yaklaşık 5× hesaplama yükü anlamına gelir. Buna karşın elde edilen BLEU artışı, özellikle kısa ve orta uzunluktaki cümlelerde bu ek maliyeti karşılar. 2015 yılında Sutskever ve ekibinin seq2seq mimarisiyle makine çevirisinde yaptığı çalışma, beam search'in NLP alanında geniş çapta benimsenmesine öncülük etmiştir.
Byte Pair Encoding (Byte Pair Encoding)
Byte Pair Encoding (BPE), doğal dil işleme ve büyük dil modellerinde kullanılan bir alt kelime tokenizasyon algoritmasıdır. Orijinal olarak 1994 yılında Philip Gage tarafından veri sıkıştırma amacıyla tasarlanan bu algoritma, Sennrich ve ekibinin 2016 tarihli çalışmasıyla sinir ağı tabanlı makine çevirisine uyarlanmış; ardından GPT, LLaMA ve benzeri büyük dil modellerinin standart tokenizasyon yöntemi hâline gelmiştir. BPE'nin temel amacı, tam kelime tokenizasyon ile karakter tokenizasyon arasındaki dengeyi kurmaktır. Tam kelime tokenizasyon büyük bir sözlük gerektirirken eğitim sırasında hiç görülmemiş kelimeleri (OOV — Out-of-Vocabulary) işleyemez. Karakter tokenizasyon ise aşırı uzun diziler üretir ve modelin anlam ilişkilerini öğrenmesini güçleştirir. BPE bu iki yaklaşımın güçlü yanlarını birleştirir: sözlük boyutunu yönetilebilir düzeyde tutarken OOV problemini de çözer. Algoritma şu adımları izler: Başlangıçta sözlük, eğitim metinlerindeki tüm bireysel karakterlerden oluşur. Ardından en sık yan yana gelen iki token çifti belirlenerek yeni bir birim olarak birleştirilip sözlüğe eklenir. Örneğin "l", "o", "w" karakterleri önce "lo" ardından "low" birimine dönüşebilir. Bu birleştirme adımı hedef sözlük boyutuna ulaşıncaya kadar tekrarlanır. Tipik sözlük boyutları 32.000 ile 100.000 token arasında değişmektedir. GPT-2'den itibaren OpenAI, BPE'yi standart tokenizasyon yöntemi olarak benimsemiştir. GPT-4'te kullanılan tiktoken kütüphanesinin cl100k_base kodlayıcısı yaklaşık 100.000 token içerir. BERT, BPE'ye alternatif olan WordPiece algoritmasını kullanırken LLaMA ve Mistral gibi açık kaynaklı modeller SentencePiece kütüphanesiyle BPE'yi uygular. Tokenizasyon kalitesi modelin performansını doğrudan etkiler. Verimliliği ölçmek için fertilite metriği kullanılır: kelime başına ortalama token sayısı. İngilizce için bu değer yaklaşık 1,2–1,5 iken Türkçe gibi eklemeli dillerde 2,5–4 aralığına çıkabilir; bu durum aynı bağlam penceresi içine sığan bilgi miktarını azaltır ve API maliyetlerini artırır. Çok dilli sözlük desteği ve OOV dayanıklılığı sayesinde BPE, günümüz LLM geliştirme pratiklerinde vazgeçilmez bir araç olmayı sürdürmektedir.
Chain of Thought (CoT) (Düşünce Zinciri (Adım Adım Düşünme))
Zincir Düşünce (Chain-of-Thought, CoT), büyük dil modellerinin karmaşık problemleri adım adım akıl yürütme basamakları aracılığıyla çözümlemesine olanak tanıyan bir istem mühendisliği ve eğitim tekniğidir. Doğrudan yanıt vermek yerine model, "Önce X'i hesaplayayım, ardından Y'yi bulayım" şeklinde ara çıkarsama adımlarını yazarak daha doğru sonuçlara ulaşabilmektedir. CoT kavramını geniş ölçekte gündeme getiren çalışma, Google Research'ten Wei ve arkadaşlarının 2022'de yayımladığı "Chain-of-Thought Prompting Elicits Reasoning in Large Language Models" makalesidir. Bu çalışma, aritmetik, mantıksal ve sembolik akıl yürütme testlerinde CoT'nin doğru yanıt oranını belirgin biçimde artırdığını ortaya koymuştur. Few-shot CoT'de prompt'a birkaç çözülmüş örnek ve ara adımlarla birlikte verilir; model bu örnek kalıbı yeni sorular için taklit eder. Zero-shot CoT ise daha yalın bir tekniktir: prompt'a yalnızca "Adım adım düşünelim." (Let's think step by step.) ifadesi eklenmesi bile çok sayıda görevde başarıyı artırmaktadır. Kojima ve arkadaşları bu basit eklentinin aritmetik görevlerde GPT-3 doğruluğunu neredeyse iki katına çıkardığını göstermiştir. Self-Consistency yöntemi, aynı soru için birden fazla CoT yolu üretip çoğunluk oylamasıyla en sık görülen yanıtı seçer; bu teknik modelin güvenilirliğini ve tutarlılığını kayda değer ölçüde artırır. Tree of Thoughts (ToT), CoT'yi genişleterek modelin birden fazla düşünce dalı keşfetmesini ve geri izleme (backtracking) yapmasını mümkün kılar. Graph of Thoughts (GoT) ise düşünce adımlarını grafik yapısında organize ederek daha karmaşık çıkarsama süreçlerine olanak tanır. CoT prompting; matematik problemleri, mantıksal bulmacalar, kod hata ayıklama, hukuki akıl yürütme ve çok adımlı planlama görevlerinde özellikle etkilidir. Günümüzde OpenAI o1/o3 ve Anthropic Claude gibi modeller, dahili "thinking" mekanizmasıyla CoT'yi saydam hâle getirerek model çıktısının ayrılmaz bir parçası olarak sunmaktadır. Bu yaklaşım, modelin hem ara adımlarını hem de nihai yanıtı üretmesini ve böylece yanıtın doğrulanabilirliğini artırmasını mümkün kılmaktadır.
Cohere (Kurumsal LLM Şirketi)
Cohere, 2019 yılında Toronto'da Google Brain araştırmacıları tarafından kurulan ve kurumsal yapay zeka çözümleri için büyük dil modelleri (LLM) geliştiren Kanadalı bir yapay zeka şirketidir. Şirket, gelir elde etmek isteyen kurumsal müşterileri hedef alan ve veri güvenliğini ön plana çıkaran bir iş modeli benimsemiştir. Cohere'nin Command serisi, modelin ana ürün ailesini oluşturmaktadır. Command R ve Command R+ modelleri, özellikle Retrieval-Augmented Generation (RAG), kaynak atıfı (citation) ve araç kullanımı (function calling) görevlerinde güçlü performans sergilemektedir. 2026 itibarıyla şirket, Command A ailesiyle ürün hattını güncellemiştir: Command A ve Command A+ modelleri 111 milyar parametreyle 256.000 token bağlam penceresi sunmakta; Command A Reasoning, Command A Vision ve Command A Translate gibi özelleşmiş varyantlar da mevcuttur. Cohere modelleri, Cohere'nin doğrudan API'si üzerinden erişilebildiği gibi Amazon Bedrock, Microsoft Azure AI Studio ve Google Cloud Vertex AI platformlarında da sunulmaktadır. Hassas verilerin dışarıya çıkarılmasının istenilmediği senaryolar için VPC ve şirket içi (on-premises) dağıtım seçenekleri mevcuttur. Bu özellik, sağlık, finans ve hukuk gibi yüksek uyumluluk gerektiren sektörlerde Cohere'yi öne çıkarmaktadır. Embed modelleri ve Rerank API'si de Cohere'nin portföyünde önemli yer tutar: vektör gömme ve yeniden sıralama, özellikle büyük ölçekli kurumsal arama ve bilgi tabanı uygulamalarında kullanılmaktadır. Cohere'nin kurumsal konumlanması, diğer büyük LLM sağlayıcılarından ayrışmasında belirleyici rol oynar. Şirket, çok dilli destek, özelleştirilmiş ince ayar (fine-tuning) ve veri artırma kapasiteleri sunarak kurumun kendi verisi üzerinde model adaptasyonuna olanak tanır. Cohere'nin kâr amacı gütmeyen organizasyonlara ve akademik araştırma kurumlarına sağladığı erişim programları da ekosistemi genişletmektedir. 2024'te 500 milyon dolar yatırım alarak değerlemesi 5 milyar dolara ulaşmış olan şirket, kurumsal yapay zeka alanında konumunu güçlendirmektedir.
Context Window (Bağlam Penceresi)
Context (bağlam), bir yapay zeka dil modelinin yanıt üretirken dikkate aldığı tüm bilgi kümesidir: sistem talimatları, konuşma geçmişi, yüklenen belgeler ve o anki soru bu kümenin içinde yer alır. Bağlam penceresi (context window) ise bu bilginin tek seferde ne kadarının modele sığabileceğini belirleyen üst sınırdır ve token cinsinden ölçülür. Bir token kabaca bir kelimenin dörtte üçüne, yani 3-4 İngilizce karaktere denk gelir. Model, pencerenin dışında kalan hiçbir bilgiye erişemez; uzun bir sohbette limit aşıldığında en eski mesajlar devre dışı kalır ve model bunları unutmuş gibi davranır. Bu yüzden bağlam penceresi, bir modelin pratikte neler yapabileceğini belirleyen en kritik özelliklerden biridir: tam bir kod tabanını analiz etmek, yüzlerce sayfalık sözleşmeyi tek seferde okumak veya saatlerce süren toplantı kaydını özetlemek doğrudan pencere boyutuna bağlıdır. GPT-3.5 döneminde 4 bin token olan sınır, Claude 3 ile 200 bin tokena çıktı; Gemini 1.5 Pro gibi modeller 1 milyon token seviyesine ulaştı. Öte yandan büyük pencere bedava değildir: işlem maliyeti ve yanıt gecikmesi artar, modelin uzun bağlamın ortasındaki bilgiyi gözden kaçırdığı "lost in the middle" sorunu ortaya çıkabilir. Günlük kullanımda doğru yaklaşım, görevin gerektirdiği kadar bağlam vermektir; belge tamamen gerekliyse uzun pencereyi kullanmak, yalnızca belirli bilgi parçaları yeterliyse özetleme veya RAG gibi yöntemlerle pencereyi verimli işletmek daha akılcıdır. Türkçe gibi eklemeli dillerde tokenizasyon İngilizceye göre daha fazla token tüketebildiğinden, token bütçesini planlarken bu farka dikkat etmek gerekir. API kullanımında hem girdi hem çıktı tokenları ücretlendirilir; bu nedenle bağlam penceresi yalnızca teknik bir sınır değil, aynı zamanda doğrudan bir maliyet kalemidir. Context engineering (bağlam mühendisliği) adıyla anılan yeni disiplin, bu sınırlı alana hangi bilginin, hangi sırayla ve hangi formatta yerleştirileceğini sistematik biçimde tasarlamaya odaklanmaktadır.
Entity Extraction (Varlık Çıkarımı (Entity Extraction))
Varlık çıkarımı (Entity Extraction), doğal dil işleme (NLP) alanında yapılandırılmamış metinlerden adlandırılmış varlıkları — kişi adları, kurum adları, coğrafi konumlar, tarihler, ürün adları gibi — otomatik olarak tespit etme ve sınıflandırma sürecidir. İsimli Varlık Tanıma (Named Entity Recognition — NER) olarak da bilinir. Teknik açıdan NER, her tokeni BIO (Beginning-Inside-Outside) veya BIOES şemasıyla etiketleyen bir dizi etiketleme problemidir. Geleneksel yöntemler kural tabanlı düzenli ifadeler ve istatistiksel Koşullu Rastsal Alanlar (CRF) üzerine kuruluydu. BiLSTM-CRF mimarisi, bağlamsal özellik öğrenmeyi CRF etiket tutarlılığıyla birleştirerek 2010'ların NER standardı oldu. 2019'dan itibaren BERT tabanlı token sınıflandırması bu mimarinin büyük bölümünün yerini aldı; alan-özgü varlık türleri (tıbbi terminoloji, hukuki belgeler) için ince ayarlı BERT modelleri güçlü seçenek olmaya devam etmektedir. Modern LLM tabanlı yaklaşımlarda süreç kökten basitleşmiştir: GPT-4 veya Claude'a few-shot örnekler vererek ya da structured output (JSON mod) kullanarak sıfır veya az örnekten yüksek kaliteli NER sonuçları elde etmek mümkündür. Bu yaklaşım özellikle özel ontoloji ve az kaynaklı dillerde esneklik sağlar. Varlık çıkarımı doğrudan metinsel bağlamdan bilgi grafiği oluşturma sürecinin temelidir. GraphRAG akışında belge parçalarından varlık çiftleri çıkarılır, ilişkileri belirlenir ve bunlar bir bilgi grafiğine dönüştürülür. Topluluk tespiti ve özetleme aşamalarının girdisini bu varlık-ilişki üçlüleri oluşturur. Türkçe NER'da eklemeli dil yapısı ek bir zorluk katmanı ekler: token sınırları belirsizleşebilir ve özel isimler büyük harf kuralını her zaman izlemeyebilir. BERTurk tabanlı ince ayar veya LLM'in JSON çıktı moduyla birkaç örnekten öğrenme en pratik seçeneklerdir. Değerlendirme span bazlı F1 skoru ile yapılır; kesinlik (precision) ve geri çağırma (recall) her varlık tipi için ayrı raporlanır. CoNLL-2003 ve OntoNotes bu alanın standart kıyaslama veri kümeleridir.
Fine-Tuning (İnce Ayar)
Fine-tuning (ince ayar), genel amaçlı büyük bir modeli, belirli bir görev veya alan için özelleştirmek amacıyla ek veriyle yeniden eğitme sürecidir. Temel modeller (foundation models), devasa metin ya da görüntü külliyatlarıyla ön eğitimden geçirilir; bu sayede dilin gramerini, mantığını ve genel bilgiyi kodlarlar. Ancak bir şirketin müşteri hizmetleri tonunu benimseyen, belgelerini hep aynı JSON şemasında döndüren ya da tıbbi terminolojiyi hatasız kullanan özel bir modele ihtiyaç duyulduğunda sıfırdan eğitim hem maliyetli hem de veri açısından olanaksız olabilir. İnce ayar, bu boşluğu doldurur: mevcut ağırlıkları başlangıç noktası olarak kullanır ve yeni veriye göre hafifçe güncelleyerek modelin davranışını, biçimini ve üslubunu kalıcı biçimde özelleştirir. Fine-tuning yöntemleri hesaplama maliyeti ve adaptasyon derinliği açısından farklılaşır. Tam ince ayar (full fine-tuning), modelin tüm parametrelerini günceller; maksimum adaptasyon gücü sunarken çok yüksek GPU belleği ve uzun eğitim süresi gerektirir. Catastrophic forgetting (felaketi unutma) da önemli bir risktir: model yeni bilgiyi öğrenirken eski bilgilerini yitirebilir. PEFT (Parameter-Efficient Fine-Tuning) yöntemleri bu sorunu çözmek için parametrelerin büyük çoğunluğunu dondurur ve yalnızca küçük bir alt kümeyi günceller. LoRA (Low-Rank Adaptation), katmanlar arasına düşük sıralı ek matrisler yerleştirerek orijinal ağırlıklara dokunmadan öğrenmeyi mümkün kılar. QLoRA ise temel modeli 4-bit'e kuantize edip üzerine LoRA uygulayarak 65 milyar parametreli modelleri bile tek bir tüketici sınıfı GPU'da eğitmeye elverişli hale getirir. İnce ayarın avantajları net ve ölçülebilirdir: prompt'la her istekte yeniden tarif edilmesi gereken kurallar modelin doğal davranışı haline gelir; bu hem token maliyetini düşürür hem de çıktı tutarlılığını artırır. Kurumsal kullanımda açık kaynak modeller kendi sunucularda ince ayardan geçirilerek hassas veriler üçüncü taraf API'lere aktarılmadan uzman model elde edilir. Eğitim verisi kalitesi ve miktarı, ince ayarın başarısını doğrudan belirleyen en kritik etkenlerdir.
Gemma (Google Açık Ağırlıklı Model Ailesi)
Gemma, Google DeepMind tarafından 2024 yılında duyurulan ve Apache 2.0 lisansı altında yayımlanan açık ağırlıklı büyük dil modelleri (LLM) ailesidir. Gemma modelleri, Google'ın kapalı kaynaklı Gemini modeliyle aynı araştırma altyapısı ve eğitim teknikleri kullanılarak geliştirilmiş; ancak model ağırlıkları toplulukla paylaşılmıştır. 2026 yılında yayımlanan Gemma 4 serisi (2 Nisan 2026), 1B, 4B, 12B ve 27B yoğun (dense) ile 26B Mixture-of-Experts (MoE) varyantlarını içermektedir. Tüm Gemma 4 modelleri 128.000 token bağlam penceresini (context window) destekler. En büyük varyant olan 31B Dense modeli, Arena AI sıralamalarında üçüncü sıraya yükselmiş; matematik, kodlama ve akıl yürütme görevlerinde Meta'nın Llama 4 Maverick modelini geride bırakmıştır. Gemma 4, tüm varyantlarında yerel olarak çok modlu (natively multimodal) bir mimari kullanır: metin, görüntü ve videoyu tek bir model içinde işleyebilir; küçük modeller ise ses girdisini de desteklemektedir. Bu yapı, Gemma'nın önceki sürümlerine kıyasla büyük bir sıçramayı temsil eder; 1B ve 4B gibi hafif modeller bile görüntü anlama kapasitesiyle donanmıştır. Google, Gemma ekosistemini genişletmek amacıyla özel amaçlı türevler de yayımlamıştır: CodeGemma kod üretmeye, ShieldGemma içerik güvenliğine, PaliGemma görsel-dil görevlerine odaklanmaktadır. Bu türevler, araştırmacıların belirli uygulama alanlarında düşük hesaplama maliyetiyle güçlü sonuçlar elde etmesine imkân tanır. Model ailesi ince ayar (fine-tuning) ve özelleştirme süreçlerinde yaygın tercih edilen modellerden biridir. Hugging Face, Google Cloud Vertex AI, Kaggle ve Google AI Studio üzerinden erişilebilmekte; Google'ın AI Edge çerçevesiyle mobil ve gömülü cihazlarda da barındırılabilmektedir. Gemma 4'ün 1B modeli, modern akıllı telefonlarda bile gerçek zamanlı çıkarım yapabilecek kapasitededir. Türkiye'deki geliştiriciler ve KOBİ'ler için Gemma; açık ağırlıklı yapısı, ticari kullanıma uygun lisansı ve yerel barındırma olanağı ile öne çıkmaktadır. Veri gizliliği hassasiyeti yüksek sektörlerde (sağlık, hukuk, finans) tamamen çevrimiçi API'lere bağlı kalmadan yapay zeka tabanlı uygulamalar geliştirmek için uygun bir başlangıç noktası sunar. Gemma'nın LoRA ve QLoRA destekli ince ayar süreçleri, Hugging Face PEFT kütüphanesi aracılığıyla 8 GB VRAM'li tüketici sınıfı GPU'larda bile alan-spesifik modeller üretmek için kullanılabilir. Bu esneklik, araştırma ekiplerine büyük bulut bütçelerine gerek kalmadan Gemma'yı hukuk, tıp veya finans gibi özelleştirilmiş alanlara uyarlamak için pratik bir yol açar. Temmuz 2026 güncellemesiyle FlashAttention 4 desteği geldi: NVIDIA Hopper GPU'larında prefill %25-70 hızlandı, araç çağrısı (tool calling) güvenilirliği arttı. Haziran 2026'da tanıtılan Gemma 4 12B, metin, görüntü, ses ve videoyu ayrı kodlayıcı gerektirmeden işleyen ilk orta ölçekli açık model oldu; Multi-Token Prediction (MTP) desteğiyle llama.cpp'de çıkarım üç katına kadar hızlanıyor. Ağustos 2026 itibarıyla Gemma ailesi 900 milyon indirme eşiğini geçti.
In-Context Learning (Bağlam İçi Öğrenme)
In-context learning (bağlam içerisinde öğrenme), büyük dil modellerinin ağ ağırlıklarını hiçbir şekilde güncellemeksizin, yalnızca prompt içerisine yerleştirilen girdi-çıktı örneklerinden görevi anlayıp yeni bir girdi için doğru çıktı üretme yetenektir. Geleneksel makine öğrenmesinden kökten farklı bu yetenekte gradient hesaplama, geri yayılım veya ağırlık güncelleme yoktur; model, dikkat mekanizması aracılığıyla prompt'taki örnekleri bir tür acil hafıza gibi kullanır. In-context learning üç alt kategoride incelenir. Zero-shot learning, hiç örnek verilmeden yalnızca görev tanımı veya talimatla çalışır. One-shot learning, tek bir girdi-çıktı örneği ile görevi anlama girişimidir. Few-shot learning ise genellikle üç ila on arasında örnek kullanır ve GPT-3 makalesinin odaklandığı asıl yaklaşımdır. Bu üç durum aslında aynı mekanizmanın örnek sayısına göre özel halleridir. 2020 yılında yayınlanan GPT-3 makalesi, in-context learning'i yapay zeka araştırmasının odak noktalarından birine dönüştürdü. Makale, 175 milyar parametreli GPT-3'ün onlarca görevi örnek görmeksizin veya yalnızca birkaç örnekle gerçekleştirebildiğini sistematik olarak göstermiş; bu sonuç dil modellerinin yetenekleri konusundaki beklentileri kökten değiştirmiştir. Mekanizma sorusu hala tartışmalıdır. Bir yaklaşım, in-context learning'in gizli bir gradient descent gerçekleştirdiğini öne sürer: dikkat mekanizması, örneklerden üstkalık doğrusallık gibi temel kalıpları çıkartmak için fonksiyonel olarak gradyan hesaplamaya benzeyen bir süreç yürütmektedir. Alternatif yorum ise modelin eğitim sırasında on milyarlarca belgede gördüğünden benzer görevlerin farklı biçimlerini öğrenip bunları prompt'taki sinyal üzerine yeniden etkinleştirdiğini öne sürer. Uygulamada in-context learning prompt mühendisliği ile doğrudan bağlantılıdır. Hangi örneklerin seçildiğini, örneklerin sırası, örnek sayısı ve talimatın formatı model performansını onlu ölçekte etkiler. Chain-of-Thought prompting gibi teknikler, bu mekanizma üzerine akıl yürütme adımlarını yerleştirir. **Sık Sorulan Sorular** **In-context learning ile fine-tuning arasındaki fark nedir?** Fine-tuning ağ ağırlıklarını gerçekten günceller ve sürekli öğrenmeyi temsil eder. In-context learning ağırlıksız, çıkarım sırasında gerçekleşir; daha esnek ama daha az kalıcı öğrenme demektir. **Hangi modeller in-context learning'i iyi yapar?** Genel olarak büyük modeller daha iyidir; GPT-4, Claude ve Gemini gibi frontier modeller küçük modellerden belirgin şekilde üst performans gösterir. Model büyüklüğü ile in-context yetenek arasındaki ilişki yaklaşık log-doğrusaldır. **Örnek sırası önemli midir?** Evet, araştırmalar örnek sırasının performansı onlu yüzde kadar etkileyebildiğini göstermiştir. Optimal sıra veri kümesine ve göreve bağımlıdır; genel kural yoktur. **In-context learning'in sınırları nelerdir?** Bağlam penceresi sınırı, örnek sayısını küçük tutar. Çok adımlı akıl yürütme gerektiren veya sık güncellenen veri gerektiren görevlerde fine-tuning tipik olarak daha iyi sonuç verir.
Kayan Pencere Dikkati (Sliding Window Attention)
Kayan Pencere Dikkati (Sliding Window Attention, SWA), transformer mimarisinde her tokenın bütün diziye değil yalnızca belirli bir pencere boyutundaki komşu tokenlara dikkat ettiği verimli bir attention yöntemidir. Klasik tam dikkat (full self-attention) O(n²) bellek ve hesaplama karmaşıklığına yol açarken, kayan pencere yaklaşımı bunu O(n·w) düzeyine indirir; burada w pencere boyutunu gösterir. Tam dikkat mekanizmasında n uzunluğundaki bir dizi için n² çift dikkat hesaplamak gerekir; bu, 8.192 token uzunluğunda bile yaklaşık 67 milyon hesaplama anlamına gelir. Kayan Pencere Dikkati'nde her token yalnızca kendi konumunun w/2 soluna ve sağına dikkat eder. Pencere dizi boyunca kaydırılır ve bellek tüketimi sabit kalır. Mistral 7B bu mekanizmayı temel attention katmanlarında benimseyerek hem çıkarım hızını artırmış hem de uzun bağlam işleme kapasitesini genişletmiştir. Longformer ise yerel kayan pencereyi, belgelerin tamamını temsil eden global dikkat tokenleriyle birleştirerek soru-cevap ve özetleme görevlerinde başarılı sonuçlar elde etmiştir. BigBird modeli de benzer bir yaklaşımla yerel, global ve rastgele dikkat kombinasyonunu kullanır. Kayan Pencere Dikkati, uzak tokenlara doğrudan erişimi kısıtladığından bazı görevlerde tam dikkate kıyasla dezavantaj yaratabilir. Bu sınırlamayı aşmak için genellikle dönüşümlü katmanlar kullanılır: modelin bazı katmanları tam dikkat, bazıları ise kayan pencere dikkati uygular. Mistral bu stratejiyi benimseyerek hesaplama verimliliğini korurken uzun menzilli bağımlılıkları yönetme kapasitesini de sürdürür. Uzun bağlamlı uygulamaların giderek yaygınlaşmasıyla birlikte — hukuk belgeleri analizi, uzun kod tabanları, bilimsel makaleler — Kayan Pencere Dikkati ve benzeri verimlilik teknikleri (Flash Attention, GQA) LLM altyapısının temel bileşenleri haline gelmiştir. GPT-4 Turbo ve Claude'un 200K token desteği gibi örnekler, bu tür verimlilik mekanizmalarının önkoşulluğunu ortaya koymaktadır. Hukuk belgesi analizi, kod tabanı inceleme ve uzun bilimsel raporların özetlenmesi bu mekanizmanın doğrudan yararlı olduğu alanlardır.
Keyword Detection (Anahtar Kelime Tespiti)
Keyword detection (anahtar kelime tespiti), bir ses sinyalinde veya metin akışında önceden tanımlanmış sözcükleri ya da ifadeleri gerçek zamanlı olarak tanıyan yapay zeka tabanlı bir tekniktir. Sesli asistanlar, akıllı hoparlörler ve çağrı merkezi sistemlerinde temel bir bileşen olan bu teknoloji, sürekli dinleme (continuous listening) ile tetikleme kelimelerini milisaniyeler içinde ayırt edebilir. Teknik altyapı açısından keyword detection, genellikle iki aşamalı bir pipeline üzerinde çalışır. İlk aşamada küçük ve hesaplama açısından hafif bir model (örneğin MobileNet tabanlı ses sınıflandırıcısı) cihaz üzerinde sürekli çalışarak olası tetikleme kelimelerini tarar. Pozitif bir sinyal alındığında daha kapasiteli bir konuşma tanıma motoru devreye girer. Bu yaklaşım hem pil ömrünü korur hem de gizlilik açısından daha güvenli bir çözüm sunar; veriler tetikleyici kelime tespit edilene kadar buluta gönderilmez. Anahtar kelime tespiti için yaygın olarak kullanılan mimariler arasında Convolutional Neural Network (CNN) tabanlı ses sınıflandırıcıları, Recurrent Neural Network (RNN) ve dikkat mekanizmalı hibrit modeller yer alır. "Hey Siri", "OK Google" ve "Alexa" gibi wake-word sistemleri bu teknolojinin en bilinen uygulamalarıdır. Gömülü sistemlerde çalışan keyword detection modelleri, düşük gecikme süresi (≤200ms) ve yüksek yanlış pozitif dayanıklılığı gibi katı kısıtlamalara tabi tutulur. Arka plan gürültüsü, farklı aksanlar ve konuşma hızları modelin sağlamlığını test eden başlıca zorluklardır. Bu nedenle modeller genellikle ONNX veya TFLite ile optimize edilerek edge cihazlara deploy edilir. NLP alanında ise keyword detection, metin tabanlı belgelerde belirli kavramları otomatik olarak işaretlemek, içerik moderasyonu yapmak veya arama motorlarını optimize etmek amacıyla kullanılır. Ses ve metin pipeline'larının kesiştiği bu nokta, keyword detection'ı modern yapay zeka sistemlerinin vazgeçilmez bir bileşeni haline getirir.
Large Language Model (Büyük Dil Modeli)
Büyük Dil Modeli (LLM — Large Language Model), trilyonlarca metin tokeni üzerinde eğitilmiş, doğal dil anlama ve üretme konusunda insan düzeyine yakın performans gösteren yapay zeka sistemidir. Temeli Transformer mimarisine dayanır; milyarlarca parametre içeren bu modeller, metindeki bağlamı dikkat (attention) mekanizması aracılığıyla yakalar. LLM'ler, eğitim sürecinde büyük metin veri kümelerinden "sonraki tokeni tahmin et" hedefiyle öz-denetimli öğrenme (self-supervised learning) gerçekleştirir. Bu süreçte model; dilbilgisi, olgusal bilgi, mantık çıkarımı ve kültürel bağlamı örtük biçimde kodlar. Eğitim tamamlandıktan sonra model, belirli görevlere (soru yanıtlama, özetleme, kod üretme) yönelik ince ayar (fine-tuning) veya RLHF (İnsan Geri Bildiriminden Pekiştirmeli Öğrenme) ile hizalanır. Parametre sayısı modelin kapasitesini doğrudan etkiler: GPT-3 175 milyar, Llama 3.1 405 milyar, Claude 3 Opus ise yüzlerce milyar parametre içerir. Ancak parametre sayısı tek başına yeterli bir ölçüt değildir; eğitim verisi kalitesi, bağlam penceresi (context window) ve hizalama yöntemi de kritik rol oynar. LLM'lerin kullanım alanları hızla genişlemektedir: müşteri hizmetleri chatbotları, kod tamamlama araçları (GitHub Copilot), belge özetleme, çok dilli çeviri, tıbbi kayıt analizi ve hukuki metin tarama. Aynı zamanda bu modeller yapay zeka ajanlarının (AI agents) temel bileşeni olarak görev alır; araç çağırma (tool use) ve çok adımlı akıl yürütme yetenekleriyle otonom iş akışlarını mümkün kılar. Sınırlamalar açısından LLM'ler halüsinasyon (gerçek olmayan bilgi üretme), bilgi kesim tarihi (knowledge cutoff) ve uzun bağlamda dikkat dağılması sorunlarıyla karşı karşıyadır. Bu sorunları hafifletmek için RAG (Retrieval-Augmented Generation), uzun bağlam pencereleri ve çıkarım zamanında düşünme (test-time compute) gibi teknikler geliştirilmektedir. Rekabet ortamı hızla gelişmektedir: OpenAI GPT-4o, Anthropic Claude 3.5 Sonnet, Google Gemini 1.5 Pro ve Meta Llama 3.1 405B gibi modeller birbirini kısa sürelerde geçen yetenekler sergilemektedir. Açık ağırlıklı (open-weight) modeller, özellikle gizlilik gereksinimleri olan kurumsal dağıtımlar için bulut tabanlı alternatiflere güçlü bir seçenek sunmaktadır. Türkiye'deki yapay zeka geliştiricileri ve araştırmacılar için Llama, Mistral ve Qwen gibi açık modeller yerel fine-tuning ve çıkarım denemeleri için erişilebilir başlangıç noktaları oluşturmaktadır. Türkçe dil desteği büyük modellerle genel olarak güçlüdür; ancak düşük kaynaklı Türkçe içerikte daha iyi sonuç için özelleştirilmiş fine-tuning önerilmektedir. İşletmeler için veri gizliliği ve egemenlik gereksinimleri, Ollama ve vLLM gibi yerel çıkarım platformlarına olan talebi artırmaktadır.
LoRA (Low-Rank Adaptation) (Düşük Dereceli Adaptasyon)
LoRA (Low-Rank Adaptation), milyarlarca parametreli büyük dil modellerini (LLM) veya görsel difüzyon modellerini son derece verimli biçimde ince ayarlayan (fine-tune) bir parametre etkin tekniktir. Orijinal ağırlık matrislerini dondurarak yalnızca küçük ek matrisler eğiten bu yaklaşım, tam ince ayara kıyasla eğitim için gereken GPU belleğini ve hesaplama süresini dramatik ölçüde azaltır. Bu sayede tüketici sınıfı donanımlar üzerinde büyük ölçekli model uyarlaması mümkün hale gelir. Tekniğin matematiksel temeli düşük ranklı matris ayrışımına dayanır. Ağırlık güncellemesi ΔW = A × B olarak ifade edilir; burada A (d×r) ve B (r×d) boyutlarındaki küçük matrisler yalnızca r rank boyutunu eğitir. Eğitim başında A Gaussian dağılımla, B ise sıfırla başlatılır; böylece başlangıçta LoRA katkısı sıfır olur ve taban modelin davranışı bozulmaz. Çıkarım sırasında eğitilen matrisler W + (α/r) × BA formülüyle taban modele eklenir; bu işlem ek gecikme yaratmaz ve ayrı adaptör dosyaları farklı görevler için kolayca değiştirilebilir. Varyantlar arasında QLoRA özellikle dikkat çekmektedir. Taban modeli 4-bit NF4 ile nicemlendirerek belleğe yükleyen bu yöntem, 65 milyar parametreli bir modeli tek bir 48 GB GPU'ya sığdırabilmektedir; LoRA adaptörleri ise tam hassasiyetle eğitilir. AdaLoRA her katmana önem skoruna göre dinamik rank atarken DoRA ağırlığı büyüklük ve yön bileşenlerine ayırarak tam ince ayara daha yakın davranış sergiler. rsLoRA yüksek rank değerlerinde kararlı eğitim için rank normalizasyonu uygular. LoRA+ ise A ve B matrislerine farklı öğrenme hızları atayarak yakınsama hızını artırır. Görsel üretim alanında LoRA, belirli sanatçı stillerini, karakter yüzlerini veya nesne tarzlarını 10-50 görüntüyle modele öğretmek için kullanılır. Civitai platformunda on binlerce topluluk LoRA'sı ücretsiz paylaşılmakta; A1111 ve ComfyUI gibi arayüzler bu ağırlıkları çalışma zamanında kolayca yüklemeyi desteklemektedir. FLUX.1 modeli için LoRA eğitimi artık Replicate ve Hugging Face üzerinden çevrimiçi de yapılabilmektedir. Hugging Face PEFT kütüphanesi birkaç satır kodla herhangi bir Transformer mimarisine LoRA eklemek için standart araç haline gelmiştir.
Masked Language Modeling (Maskeli Dil Modelleme (MLM))
Masked Language Modeling (MLM), BERT ve türevlerinin ön eğitiminde kullanılan bir öz-gözetimli öğrenme görevidir. Modele verilen cümledeki token'ların rastgele bir bölümü [MASK] sembolüyle örtülür ve model, bağlamı kullanarak bu gizlenen token'ları tahmin etmeye çalışır. Orijinal BERT makalesinde (Devlin ve ark., Google, 2018) girdi dizisindeki token'ların %15'i seçilir. Bu seçilen token'ların %80'i [MASK] sembolüyle değiştirilirken %10'u rastgele başka bir token ile yer değiştirir, kalan %10 ise orijinal halinde bırakılır. Bu çeşitlendirme, modelin yalnızca [MASK] sembolüne değil gerçek token dağılımına da uyum sağlamasını hedefler; çapraz entropi (cross-entropy) kaybı yalnızca maskelenen pozisyonlar üzerinden hesaplanır. MLM'nin en kritik özelliği, modele çift yönlü (bidirectional) bağlam kavrama yeteneği kazandırmasıdır. GPT gibi öz-regresif modeller yalnızca sola bakarken, BERT hem solundaki hem sağındaki token'lardan yararlanarak tahmin üretir. Bu mimari fark, özellikle cümle sınıflandırma, soru cevaplama ve adlandırılmış varlık tanıma (NER) gibi anlama görevlerinde belirgin avantaj sağlar. Çift yönlü ön eğitim güçlü bir transfer öğrenme temeli oluşturur. BERT-Base 110 milyon, BERT-Large 340 milyon parametresiyle Wikipedia ve BookCorpus verisi üzerinde eğitilmiş; görev başlığı (task head) eklenerek GLUE ve SQuAD gibi kıyaslamalarda dönemin rekor puanlarını kırmıştır. Önceden eğitilmiş ağırlıklar, hedef görev verisine ince ayar (fine-tuning) yapılarak kolayca yeniden kullanılabilmektedir. Sonraki modeller MLM'yi daha da geliştirdi. RoBERTa, daha büyük toplu iş ve dinamik maskelemeyle eğitim verimliliğini artırdı. ALBERT, katman ağırlıklarını paylaştırarak parametre sayısını düşürdü. SpanBERT, tek token yerine token aralıklarını (span) maskeleyerek okuma anlama performansını iyileştirdi. XLM-RoBERTa ise 100'den fazla dili destekleyen çok dilli MLM modelini ortaya koydu. GPT tabanlı üretici modellerin yaygınlaşmasıyla BERT tipi MLM modelleri belirli alanlarda ön plandan çekilmiş olsa da sınıflandırma, NER ve soru cevaplama gibi yapılandırılmış görevlerde yaygın biçimde kullanılmaktadır.
Mistral (Fransız LLM Ailesi)
Mistral, 2023 yılında Paris'te kurulan Mistral AI şirketinin geliştirdiği açık ağırlıklı büyük dil modelleri ailesidir. Şirket, kuruluşundan yalnızca birkaç ay sonra Eylül 2023'te yayımladığı 7,3 milyar parametreli **Mistral 7B** ile, açık kaynaklı bir modelin kendi boyut sınıfındaki kapalı alternatifleri geçebileceğini kanıtladı; model o dönem 13B parametreli Llama 2'yi neredeyse tüm karşılaştırma testlerinde geride bıraktı. Mistral'i sektörde ayrıcalıklı kılan iki özellik vardır. Birincisi, **Mixture-of-Experts (MoE)** mimarisini ana akıma taşıyan öncü olmasıdır: Aralık 2023'te çıkan Mixtral 8x7B, her çıkarımda toplam 46,7 milyar parametrenin yalnızca yaklaşık 12,9 milyarını aktive ederek büyük model kapasitesini küçük model maliyetiyle birleştirdi. İkincisi, açık ağırlıklı modellerin **Apache 2.0** lisansıyla dağıtılmasıdır; bu lisans, Meta'nın Llama lisansındaki kullanım kısıtlarının aksine ticari kullanımı koşulsuz serbest bırakır. 2026 itibarıyla portföyün amiral gemisi, 675 milyar toplam ve 41 milyar aktif parametreli MoE modeli **Mistral Large 3**'tür. Aileyi çok modlu **Mistral Small 4**, kurumsal odaklı **Mistral Medium 3.5**, uç cihazlar için tasarlanan kompakt **Ministral 3** serisi, kod modeli **Devstral** ve dokuz dilde konuşma sentezi yapan 4 milyar parametreli **Voxtral TTS** tamamlar. Şirket ayrıca ChatGPT'nin Avrupa'daki en güçlü rakiplerinden biri kabul edilen **Le Chat** asistanını işletir. Modellere üç yoldan erişilir: Le Chat arayüzü, OpenAI uyumlu Mistral API'si (La Plateforme, Amazon Bedrock, Google Vertex AI, Azure AI Foundry) ve açık ağırlıkların Ollama, vLLM veya llama.cpp ile yerel çalıştırılması. Avrupa merkezli tek büyük sınır model laboratuvarı olan Mistral AI; GDPR, AB Yapay Zeka Yasası uyumu ve veri egemenliği arayan kurumlar için doğal bir tercihtir. Şirketin değerlemesi 2025'teki ASML öncülüğündeki 1,7 milyar euroluk yatırım turuyla 11,7 milyar euroya ulaşmıştır.
Named Entity Recognition (Adlandırılmış Varlık Tanıma)
Named Entity Recognition (NER), kısaca Adlandırılmış Varlık Tanıma, bir metindeki önceden tanımlanmış kategorilere ait varlık ifadelerini otomatik olarak tespit eden ve sınıflandıran temel bir Doğal Dil İşleme görevidir. NER, kişi adlarını (PER), coğrafi konumları (LOC), kuruluş isimlerini (ORG), tarih ve zaman ifadelerini (DATE/TIME) ile para birimlerini (MONEY) ham metin içinden çıkarır. Bu teknoloji, büyük hacimli yapılandırılmamış metni anlamlı ve işlenebilir yapıya dönüştürmek için kritik bir adım işlevi görür. NER'in tarihsel gelişimine bakıldığında ilk sistemlerin 1996 MUC-6 konferansında tanımlanan kurallara dayalı yaklaşımları benimsediği görülür. Bu erken sistemler elle yazılmış düzenli ifadeler ve sözcük listeleri kullanıyordu; İngilizce için kabul edilebilir sonuçlar verse de yeni alanlara uyarlamak son derece maliyetliydi. 2000'lerin başında Koşullu Rastgele Alanlar (CRF) ve Maksimum Entropi gibi istatistiksel modeller kurallı sistemlerin yerini almaya başladı; bu modeller etiketlenmiş eğitim verisinden bağlamsal örüntüler öğreniyor ve genelleme yapabiliyordu. BERT'in 2018'de yayımlanmasıyla NER alanında çığır açıldı. BERT ve sonraki dil modelleri, hem sol hem de sağ bağlamı aynı anda işleyen çift yönlü dikkat mekanizmaları aracılığıyla varlık sınırlarını çok daha doğru tespit edebildi. Günümüzde CoNLL-2003 gibi standart kıyaslama veri kümelerinde F1 puanları yüzde doksan beşi aşmaktadır. BIO etiketleme şeması, varlık sınırlarını açık biçimde kodlaması sayesinde model eğitiminde en yaygın kullanılan standarttır. Türkçe NER için BERTurk ve mBERT modellerini temel alan sistemler geliştirilmiş; tıp, hukuk ve finans gibi alana özel veri kümeleri oluşturulmuştur. Türkçe'nin çekimli ve bitişken yapısı, varlık sınırlarının belirlenmesini İngilizce'ye kıyasla daha güç kılar; bu nedenle alt sözcük tokenizasyon stratejileri kritik önem taşır. NER, bilgi grafiği oluşturma, soru yanıtlama, metin özetleme ve duygu analizi gibi ileri düzey NLP görevlerinin vazgeçilmez bir ön adımıdır.
Named Entity Recognition (NER) (Varlık İsmi Tanıma)
Named Entity Recognition (NER / Isimli Varlik Tanima), bir metin parcasindaki kisi adlarini, yer adlarini, kurum isimlerini, tarihleri, para miktarlarini ve diger belirli varlik kategorilerini otomatik olarak tespit edip etiketleyen bir dogal dil isleme gorevidir. Anlam cikarmada temel bir adim olan NER, ham metinden yapisal bilgi uretmenin en onemli araclarindan biridir. Ornegin "Elon Musk 2024 yilinda Tesla'nin CEO'sunu degistirdi" cumlesinde NER sistemi "Elon Musk"i PERSON, "Tesla"yi ORG, "2024 yilinda"yi DATE olarak etiketler. Bu etiketleme; bilgi grafikleri olusturma, soru yanıtlama, belge ozetleme, biyomedikal veri analizi ve haber izleme gibi sistemlerin temel girdisini olusturur. NER yaklasimlar tarihsel olarak uc kusakta gelismistir. Ilk kusak kural tabanli sistemler el ile yazilmis duzenli ifadeler ve sozlukler kullaniyordu; bakimi guc ve yeni alanlara genellemesi zayifdi. Ikinci kusak istatistiksel modeller (Conditional Random Fields, CRF) elle hazirlanmis dilbilimsel ozellikler ve egriltilmis egitim verisi gerektiriyordu; CoNLL-2003 yarismasi bu donemde NER arastirmasinin referans noktasiydi. Ucuncu kusak derin ogrenme modelleri, ozellikle BiLSTM-CRF mimarisi, el ozellikleri ihtiyacini ortadan kaldirdi ve durum sanatini ileriye tasidi. BERT ve diger Transformer modelleri 2018 sonrasinda hemen hemen tum benchmark'larda BiLSTM-CRF'yi gecmistir. Guncel NER uygulamalarinda spaCy kutuphanesi gercek zamanli ve hafif kullanim icin yaygin tercih olurken Hugging Face Transformers ekosistemi token siniflandirma gorevi olarak egitilmis veya ince ayarlanmis modelleri kolayca kullanimakta sunar. Biyomedikal ve hukuk gibi alana ozgul sistemlerde genel NER modelleri yetersiz kalabilir; bu durumda alan verisiyle ince ayar veya sifirdan egitim gereklidir. NER'in pratik zorluklar arasinda belirsizlik onemsenmistir: "Apple" sirket mi yoksa meyve mi, "Paris" sehir mi yoksa kisi mi? Baglam penceresi ve coreference resolution bu belirsizlikleri cozmede kritik rol oynar. **Sik Sorulan Sorular** **NER ile metin siniflandirma arasindaki fark nedir?** Metin siniflandirma bir belgeye veya cumleye kresek bir etiket atar (pozitif/negatif duygu gibi). NER ise metin icerisindeki belirli token dizilerini bulur ve etiketler; mekanizma token duzeyinde calisir. **NER ciktilarini nasil degerlendiririm?** F1 skoru standart metrik olup hem tam eslesme hem de tur dogrulugunu gerektirir. Precision, modelin isaretledigi varliklarin ne kadari gercekten dogru; recall, gercek varliklarin ne kadari tespit edildi. **spaCy mi Transformers mi kullanayim?** Hiz ve hafiflik kritikse spaCy, maksimum dogruluk gerekiyorsa BERT tabanli model; her ikisini de deneyip belirli verinizde benchmark yapmak onerilen pratiktir. **NER her dilde esit iyi calisir mi?** Hayir. Turkce gibi morfolojik zengin dillerde NER daha zordur; kelime sinirlarinin belirlenmesi ve ek yapilari modeli zorlar. Dile ozgu veya cok dilli on egitimli modeller kullanmak sonuclari iyilestirir.
Natural Language Generation (NLG) (Doğal Dil Üretimi)
Doğal Dil Üretimi (Natural Language Generation — NLG), yapay zeka sistemlerinin yapılandırılmış verilerden, bilgi grafiklerinden veya diğer makine tarafından okunabilir girdilerden insan diline yakın, anlaşılır metin üretmesini sağlayan doğal dil işlemenin (NLP) alt dalıdır. Haber ajanslarının finansal rapor özetleri, otomatik spor maçı anlatımları ve kişiselleştirilmiş e-ticaret ürün açıklamaları NLG'nin somut uygulamalarına örnek gösterilebilir. NLG sürecinin klasik mimarisi üç aşamadan oluşur: belge planlaması (hangi bilginin aktarılacağı), cümle planlaması (bilginin cümlelere nasıl bölüneceği) ve yüzey gerçekleşmesi (dilbilgisi kurallarına uygun metnin üretilmesi). Kural tabanlı erken sistemlerde bu aşamaların her biri şablon ve dil kurallarıyla ayrı ayrı kodlanırdı. 2017 sonrasında transformatör mimarilerinin benimsenmesiyle NLG kökten dönüştü. GPT serisi, T5 ve LLaMA gibi büyük dil modelleri (LLM), milyarlarca parametreyle eğitilerek belge planlama ile yüzey gerçekleşmesini tek bir öğrenme sürecinde birleştirdi. Bu yaklaşım hem kalitenin hem de esnekliğin dramatik biçimde artmasını sağladı. Kalite değerlendirmesinde BLEU ve ROUGE metrikleri referans metinle n-gram örtüşmesini ölçerken, BERTScore semantik benzerliği vektör uzayında değerlendirir. İnsan değerlendirmesi ise tutarlılık, akıcılık ve bilgi doğruluğu açısından hâlâ altın standart olarak kabul edilmektedir. NLG'nin kritik zorlukları arasında halüsinasyon (gerçek olmayan bilgi üretme), uzun metinlerde tutarlılığı koruma ve kontrollü üretim (belirlenen ton, uzunluk, hedef kitle parametrelerine uyma) sayılabilir. Retrieval-Augmented Generation (RAG) yaklaşımı, modeli güncel dış kaynaklara bağlayarak halüsinasyon riskini azaltmanın yaygın yöntemi haline gelmiştir. Veri odaklı NLG (data-to-text) sistemleri ise tablo, grafik veya veri tabanı sorgularından doğrudan metin üretir. Hava durumu bültenlerini otomatik yazan sistemler veya basketbol maçı istatistiklerinden anlatı oluşturan platformlar bu kategoriye girer. Bu uygulamalarda doğruluk, belirtilen sayısal değerlerin metinde hatasız yansıtılması anlamına gelir. Türkiye'de NLG; haber ajansları tarafından otomatik ekonomi haberciliği, e-ticaret platformlarında ürün açıklaması üretimi ve çağrı merkezi yazışma otomasyonu alanlarında aktif olarak kullanılmaktadır. Türkçenin çok ekli yapısı morfolojik üretimi zorlaştırdığından Türkçeye özgü NLG modellerinde özel tokenizasyon stratejileri kritik önem taşımaktadır.
Natural Language Processing (Doğal Dil İşleme)
Doğal Dil İşleme (NLP — Natural Language Processing), bilgisayarların insan dilini anlama, yorumlama, üretme ve anlamlı biçimde yanıt verme yeteneğini geliştiren yapay zeka dalıdır. Dilbilim, bilgisayar bilimi ve makine öğreniminin kesişim noktasında yer alan NLP, günümüzde ChatGPT gibi sohbet robotlarından Google Arama'ya, otomatik çeviriden sesli asistanlara kadar geniş bir kullanım alanına ulaşmıştır. NLP'nin temel işlem hattı birkaç katmandan oluşur: tokenizasyon (metni sözcük veya alt-sözcük parçalarına ayırma), morfolojik analiz (kelime köklerini ve eklerini çözümleme), sözdizimi çözümlemesi (cümle yapısını ağaçla modelleme) ve anlambilimsel analiz (bağlamı ve niyeti kavrama). Modern derin öğrenme yaklaşımları bu aşamaları büyük ölçüde bütünleşik sinir ağlarıyla uçtan uca öğrenir; BERT ve GPT serisi bu dönüşümün simgesi haline gelmiştir. Türkçe, sondan eklemeli (agglutinative) morfolojisi nedeniyle NLP için özellikle zorlu bir dildir. "Gidebileceklerinden" gibi tek bir sözcük onlarca anlam katmanı barındırabilir. BERTurk, Turkish GPT ve Zemberek gibi projeler Türkçe özelinde çözümler geliştirirken, Byte Pair Encoding (BPE) ve SentencePiece alt-sözcük tokenizasyonu dil modellerinin Türkçeyi verimli işlemesini mümkün kılmaktadır. 2017'de yayımlanan Transformer mimarisi NLP'yi köklü biçimde dönüştürdü: öz-dikkat mekanizması ile modeller uzun menzilli bağımlılıkları yakalayabildi. BERT (2018), GPT-3 (2020) ve ChatGPT (2022) bu dönüşümün kilometre taşlarıdır. Günümüzde büyük dil modelleri (LLM) NLP görevlerinin büyük çoğunluğunda insan düzeyine yaklaşmış ya da aşmıştır. NLP; metin sınıflandırma, adlandırılmış varlık tanıma, makine çevirisi, duygu analizi, soru-cevap sistemleri ve özetleme başta olmak üzere onlarca kritik uygulamaya güç vermektedir. Endüstride NLP bileşenleri yaygın biçimde kullanılmaktadır: müşteri hizmetlerinde chatbot ve otomasyon, hukuk teknolojisinde belge tarama, sağlık alanında klinik not çözümleme ve ilaç literatürü analizi. Retrieval-Augmented Generation (RAG) mimarisinde NLP katmanları, kullanıcı sorgusunu vektör uzayında temsil edip ilgili belgeleri alır; böylece LLM'in güncel ve doğru yanıtlar üretmesi desteklenir. Türkiye'de e-devlet platformları, fintech uygulamaları ve yerli yapay zeka girişimleri Türkçe NLP altyapısına giderek artan yatırım yapmaktadır.
Natural Language Understanding (NLU) (Doğal Dil Anlama)
Dogal Dil Anlama (NLU — Natural Language Understanding), bilgisayarlarin insan dilini yalnizca islemekle kalmayip anlam, niyet ve baglami cikarabilmesini saglayan yapay zeka alanidir. Dogal Dil Isleme'nin (NLP) bir alt dali olan NLU, kurallara dayali yaklasimdan modern transformer-tabanli modellere dogru evrilmistir. NLU'nun temel gorevleri sunlardir: niyet tanima (intent recognition), varlik tanima (named entity recognition — NER), bag temsili (coreference resolution), sentiment analizi, semantic rol etiketleme ve dogal dil cikarsama (natural language inference — NLI). Bu gorevler bir araya geldiginde insanin yazili veya sozlu ifadesinin ne demek istedigini makine tarafindan anlasilmasini saglar. Diyalog sistemleri ve sesli asistanlarda NLU kritik bir rol oynar. Alexa, Siri veya Google Assistant gibi sistemler konusmanin metnini sesden metin algoritmasi (ASR) ile alir; ardindan NLU motoru niyeti (kullanicinin ne istedigini) ve entityleri (kim, ne, nerede, ne zaman) cikarir. Bu bilgi is mantigi katmanina iletilerek uygun eylem tetiklenir. Buyuk dil modelleri, NLU'nun pek cok alt gorevini tek bir unifikasyon cercevesine getirmistir. GPT-4 veya Claude gibi modeller, metinden sonuc cikarabilir, soru yanitlayabilir ve baglami takip edebilir. GLUE ve SuperGLUE benchmark'lari NLU modellerinin karsilastirilmasi icin standart test setleri saglamaktadir. BERT, bu benchmark'larda insan duzeyini gectiginden beri NLU arastirmasinin merkezindedir. NLU'nun pratik uygulama alanlari son derece genistir. Musteri hizmetleri otomasyonunda gelen mesajin konusunu ve aciliyetini siniflandirmak, saglik sektorunde klinik notlardan ICD kodlari cikarmak, hukuki belgelerde madde referanslarini tanimak gibi gorevlerde NLU motorlari kullanilmaktadir. RAG (Retrieval-Augmented Generation) sistemlerinde kullanici sorgusunun dogru yorumlanmasi ve uygun belgelerin getirilmesi icin guclu NLU vazgecilmezdir. Instruction tuning ve RLHF gibi teknikler, modellerin NLU gorevlerini acik talimatlarla gerceklestirmesini daha da iyilestirmektedir.
Neural TTS (Nöral TTS (Sinir Ağı Tabanlı Metin-Ses Dönüşümü))
Nöral TTS (Neural Text-to-Speech — Nöral Metinden Konuşmaya Dönüşüm), derin öğrenme modelleri kullanarak yazılı metni doğal ve insan sesine yakın konuşmaya dönüştüren ses sentezi teknolojisidir. Geleneksel kural tabanlı (formant synthesis) veya birleştirici (concatenative synthesis) yöntemlerinin aksine nöral TTS, büyük miktarda konuşma verisi üzerinde eğitilen uçtan uca sinir ağlarıyla son derece gerçekçi ses kalitesi üretir. Modern nöral TTS sistemleri genellikle iki aşamadan oluşur: akustik model ve vokoder. Akustik model, metni bir ara temsil (çoğunlukla mel-spektrogram) biçimine dönüştürür; vokoder ise bu ara temsili ham ses dalgasına çevirir. Tacotron 2, dikkat mekanizması (attention mechanism) kullanan bir seq2seq akustik modeldir. FastSpeech 2 ise paralelleştirme sayesinde çok daha hızlı çalışır. VITS (Variational Inference with adversarial learning for end-to-end TTS), hem akustik modeli hem de vokoderi tek bir modelde birleştirip gerçek zamanlı sentez sağlar. Vokoder cephesinde WaveNet otoregresif ama yavaş çalışırken, HiFi-GAN ve BigVGAN GAN tabanlı mimarileriyle gerçek zamanlı ses sentezi sunar. Ses klonlama (voice cloning), nöral TTS'in en dikkat çekici uygulamasıdır. ElevenLabs gibi platformlar yalnızca birkaç saniyelik ses örneğiyle yüksek kaliteli kişiselleştirilmiş sesler üretebilmektedir. Zero-shot ses klonlama modellerinde (YourTTS, OpenVoice) eğitim verisi olmaksızın yeni bir sesin taklidi yapılabilmektedir. Duygusal ton, vurgu ve konuşma hızı kontrolü modern sistemlerin standart özellikleri arasına girmiştir. Endüstriyel alanda OpenAI TTS, Google WaveNet (Cloud Text-to-Speech), Microsoft Azure TTS ve Amazon Polly bu teknolojiyi bulut API'leri olarak sunmaktadır. Sesli asistanlar, ekran okuyucular, podcast üretimi, oyun karakterleri ve otomatik müşteri hizmetleri başlıca kullanım senaryolarıdır. SSML (Speech Synthesis Markup Language) ile geliştiriciler ton, hız ve telaffuz nüansları üzerinde ayrıntılı kontrol sağlayabilir. Ses klonlama teknolojisinin kötüye kullanım potansiyeli (deepfake ses), etik ve hukuki tartışmaların merkezine oturmuştur. Sahte ses içeriğinin tespiti için audio watermarking ve ses parmak izi teknolojileri geliştirilmektedir.
Otoregresif Kod Çözme (Otoregresif Kod Çözme)
Otoregresif Kod Çözme (Autoregressive Decoding), bir dil modelinin metin üretirken her yeni tokeni yalnızca önceki tokenlerden türeterek sırayla ürettiği standart çıkarım yöntemidir. Modelin çıktı dizisi soldan sağa doğru inşa edilir; her adımda tüm önceki bağlam koşullu olasılık dağılımını belirler ve buradan bir sonraki token örneklenir ya da seçilir. Matematikte otoregresif süreç, bir serinin her terimini kendinden önceki terimlere bağlı bir fonksiyon olarak ifade eder. Dil modellerinde bu P(x_t | x_1, ..., x_{t-1}) biçiminde yazılır: t. tokenin olasılığı, 1'den t-1'e kadar tüm önceki tokenlere koşulludur. GPT ailesi başta olmak üzere tüm kausal dil modelleri bu paradigmayı kullanır. Kod çözme stratejisi, üretilen metnin kalitesini ve çeşitliliğini doğrudan etkiler. Açgözlü kod çözme (greedy decoding), her adımda en yüksek olasılıklı tokeni seçer; hızlıdır ancak tekrarlayan çıktılar üretebilir. Işın araması (beam search), K olası diziyi paralel takip ederek toplam puan açısından en iyi tam diziyi arar; çeviri gibi görevlerde kaliteyi artırır. Sıcaklık örneklemesi (temperature sampling), olasılık dağılımını keskinleştirerek veya yumuşatarak çıktı çeşitliliğini ayarlar. Top-p (nucleus) ve top-k örnekleme ise düşük olasılıklı tokenleri keserek anlamsız çıktı riskini azaltır. Otoregresif kod çözmenin temel performans sorunu, her tokenin sırayla üretilmesidir; bu durum gecikmeyi (latency) artırır ve GPU paralelizmini kısıtlar. KV önbelleği (KV cache), önceki adımlarda hesaplanan anahtar-değer matrislerini saklayarak yeniden hesaplanmalarını önler ve çıkarımı önemli ölçüde hızlandırır. Spekülatif kod çözme (speculative decoding) ise küçük bir taslak model kullanarak büyük modelin doğrulamasını paralel yürütür; böylece birden fazla token tek geçişte onaylanabilir. Flash Attention ve sürekli toplu işleme (continuous batching) gibi teknikler de üretim sistemlerindeki verimliliği artıran önemli optimizasyonlar arasında yer alır. Bu yöntemler, yüksek trafikli LLM hizmeti senaryolarında gecikmeyi düşürmek ve GPU kullanımını artırmak amacıyla birlikte uygulanmaktadır.
POS Tagging (Sözcük Türü Etiketleme)
POS Tagging (Part-of-Speech Tagging), bir cümledeki her kelimenin dilbilgisel rolünü — isim, fiil, sıfat, zarf, zamir, edat ve bağlaç gibi kategorilere — otomatik olarak atayan doğal dil işleme (NLP) tekniğidir. Türkçede 'sözcük türü etiketleme' olarak da bilinen bu işlem, NLP ardışık düzenlerinin (pipeline) temel ön işleme adımlarından biridir. POS etiketleme, sözcüklerin anlamını bağlama göre belirlemek için kritik bir öneme sahiptir. İngilizcede 'bank' kelimesi hem 'banka' (isim) hem de 'bir hesaba para yatırmak' (fiil) anlamına gelebilir; POS etiketi bu tür yapısal belirsizlikleri çözerek sonraki NLP görevlerinin daha doğru çalışmasını sağlar. Türkçe gibi eklemeli dillerde (agglutinative languages) tek bir kelime kökü çok sayıda ek alabildiğinden, sözcük türü etiketlemesi morfolojik analiz ile birleşik yürütülür. Teknik açıdan POS etiketleme, kural tabanlı yöntemlerden (1960'lar, ENGTWOL gibi) istatistiksel modellere (1980-2000'ler: Hidden Markov Models, CRF), ardından derin öğrenme tabanlı mimarilere (BiLSTM, 2014+; BERT, 2018+) evrilmiştir. Modern BERT tabanlı POS etiketleyiciler, İngilizce için %98'in üzerinde doğruluk oranı elde ederken Türkçe için de %97+ başarı oranına ulaşan çok dilli modeller mevcuttur. POS etiketleme, Adlandırılmış Varlık Tanıma (NER), makine çevirisi, duygu analizi, sözdizimsel ayrıştırma (dependency parsing) ve metin okuma sentezi (TTS) gibi NLP görevlerinin temelinde yer alır. Büyük dil modelleri (LLM'ler) bu bilgiyi örtük olarak öğrenmiş olsa da açık POS etiketleme; yorumlanabilirlik, az kaynaklı dil çalışmaları ve özel alan NLP sistemleri için önemini korumaktadır.
PRM (Süreç Ödül Modeli)
PRM (Process Reward Model — Süreç Ödül Modeli), bir dil modelinin akıl yürütme zincirindeki her adımı ayrı ayrı puanlayan ödül modelidir. Yalnızca nihai cevaba bakan ORM'nin (Outcome Reward Model) aksine PRM, çözüm boyunca her ara adıma bağımsız bir skor üretir; bu yapı matematiksel muhakeme, kod üretimi ve mantık problemleri gibi çok adımlı görevlerde modelin hatalı düşünce zincirlerini yakalamayı mümkün kılar. PRM'ler iki temel bağlamda devreye girer. Birincisi çıkarım anında doğrulayıcı (verifier) olarak: model aynı soruya N farklı çözüm üretir, PRM her zinciri puanlar ve en yüksek skorlu aday seçilir. Bu yaklaşım, 'Let's Verify Step by Step' makalesinde MATH kıyaslamasında çoğunluk oylamasını ve ORM'yi belirgin biçimde geride bıraktı. İkincisi RL eğitiminde yoğun ödül sinyali olarak: seyrek sonuç ödülünün yetersiz kaldığı uzun zincirlerde PRM her adıma geribildirim vererek politikayı daha hızlı iyileştirir. OpenAI'nin 2023'te yayımladığı PRM800K veri seti, alanın mihenk taşıdır: MATH problemlerindeki 800 binden fazla adım insan uzmanlar tarafından tek tek doğru/nötr/hatalı olarak etiketlendi. Math-Shepherd (2024) bu maliyetli insan emeğine alternatif sunar; bir adımdan devam eden tamamlamaların doğru sonuca ulaşma oranını Monte Carlo örneklemesiyle tahmin ederek otomatik etiket üretir. Qwen2.5-Math-PRM-72B gibi açık ağırlıklı modeller, üretim ortamında Best-of-N kurulumlarında matematik skorunu 8-10 puan artırabilmektedir. DeepSeek-R1 teknik raporu, büyük ölçekli RL eğitiminde PRM kullanmama kararını üç gerekçeyle açıkladı: genel muhakemede 'iyi adım' tanımı belirsiz, otomatik etiketleme güvenilmez ve model tabanlı ödül ödül hacklemeye kapı açıyor. R1 bunun yerine doğrulanabilir görevlerde kural tabanlı sonuç ödülüyle GRPO eğitimini benimsedi. 2026 itibarıyla yerleşik reçete şu ikili üzerine kurulu: eğitim sinyali için doğrulanabilir sonuç ödülü, çıkarım ve veri kalitesi katmanı için PRM. ProcessBench ve PRMBench gibi yeni kıyaslama setleri PRM'lerin hata tespit becerisini ince taneli hata türleriyle ölçerek araştırmanın önünü açmaktadır.
Prompt (Prompt)
Prompt, bir yapay zeka dil modeline verilen yazılı talimat, soru veya girdi metninin genel adıdır. Türkçede "promt" şeklinde de yazılan bu terim, kullanıcının bir YZ sisteminden belirli bir yanıt veya çıktı alabilmek için sisteme ilettiği her türlü mesajı kapsar. Bir prompt; soru, komut, bağlam bilgisi, örnekler ve kısıtlamalar gibi unsurlar içerebilir. Yapay zeka sistemleri, girdinin kalitesine ve açıklığına göre farklı kalitede yanıtlar üretir. Bu nedenle etkili bir prompt yazmak, istenilen sonuca ulaşmak için kritik bir beceri hâline gelmiştir. Buna "prompt mühendisliği" (prompt engineering) denir. Promptlar üç temel kategoriye ayrılır: (1) Sıfır atışlı promptlar (zero-shot): Herhangi bir örnek verilmeden doğrudan soru ya da talimat içerir. (2) Az atışlı promptlar (few-shot): Modele istenen çıktı biçimini göstermek için birkaç örnek sunar. (3) Sistem promptları (system prompt): Modelin genel davranışını, tonunu ve kısıtlamalarını belirleyen arka plan talimatlarıdır. ChatGPT, Claude, Gemini gibi büyük dil modellerinde kullanıcının yazdığı her mesaj bir prompttur. Modelin sisteme gönderilen gizli talimatlar bütünü ise "sistem promptu" olarak adlandırılır. Prompt uzunluğu ve içeriği, modelin bağlam penceresini (context window) doğrudan etkiler. Prompt tasarımı; sadelik, netlik ve bağlam sağlama ilkelerine dayanır. "Bana bir makale yaz" yerine "Yapay zeka etiği üzerine, B2 düzeyinde ve 500 kelimelik bir tanıtım makalesi yaz" gibi spesifik bir prompt çok daha iyi sonuçlar üretir. Türkiye'de artan YZ kullanımıyla birlikte "prompt ne demek" ve "promt nedir" aramaları da hızla artmıştır. Etkili bir prompt genellikle şu bileşenleri içerir: görev tanımı (ne yapılacağı), bağlam (arka plan bilgisi), biçim kısıtlaması (uzunluk, dil, ton) ve varsa örnekler. Özellikle karmaşık görevlerde "chain-of-thought prompting" tekniğiyle modelden adım adım düşünmesi istenerek daha tutarlı ve doğru yanıtlar elde edilebilir. 2025 ve sonrasında yapay zeka ajanları ve çok adımlı akış mimarilerinde prompt tasarımı daha da kritik bir hâl almaktadır. ReAct, Chain-of-Thought ve Tree-of-Thoughts gibi gelişmiş teknikler, tek bir promptun ötesinde modeli adım adım düşünmeye ve araçlarla etkileşime girmeye yönlendirir.
Prompt Tuning (İstem Ayarlama (Soft Prompting))
Prompt Tuning, büyük dil modellerini (LLM) belirli bir göreve uyarlamak için model ağırlıklarını tamamen güncellemek yerine yalnızca küçük bir 'yumuşak istem' (soft prompt) vektörünü optimize eden bir Parameter-Efficient Fine-Tuning (PEFT) tekniğidir. 2021 yılında Google araştırmacıları Brian Lester, Rami Al-Rfou ve Noah Constant tarafından önerilmiş; T5-11B ölçeğindeki modellerde tam fine-tuning ile rekabet edebildiği gösterilmiştir. Geleneksel fine-tuning yöntemlerinde milyarlarca parametre yeniden eğitilirken, prompt tuning yalnızca giriş katmanına eklenen öğrenilebilir vektörleri (soft token) günceller. Bu vektörler insan tarafından okunabilen kelimeler değildir; modelin kendi embedding uzayında gradyan inişiyle optimize edilmiş sayısal temsillerdir. Model ağırlıklarının tamamı dondurulmuş halde kalır; bu sayede aynı temel model, farklı görevler için farklı soft prompt'larla verimli biçimde çalıştırılabilir. Yöntemin en önemli avantajı hesaplama verimliliğidir: tam fine-tuning'e kıyasla eğitilmesi gereken parametre sayısı dramatik biçimde azalır; daha az GPU belleği, daha kısa eğitim süresi ve her görev için yalnızca küçük bir vektörün depolanması yeterlidir. Özellikle model ağırlıklarına doğrudan erişimin mümkün olmadığı API tabanlı senaryolarda bu özellik büyük pratik değer taşır. Pratik uygulamalarda iki önemli kısıtlama göze çarpar: model boyutu küçüldükçe (10 milyarın altında parametre) tam fine-tuning'e göre performans açığı belirginleşir; giriş bağlam uzunluğunun bir kısmı soft token'lara tahsis edildiğinden kullanılabilir bağlam penceresi de daralmaktadır. Üstelik soft prompt'lar yorumlanamaz olduğundan hata ayıklaması güçleşebilir. Prompt tuning ailesi birkaç önemli varyant içerir: Prefix Tuning her transformer katmanına öğrenilebilir vektörler ekleyerek daha güçlü yönlendirme sağlar; P-Tuning doğal dil anlama görevlerine odaklanır; Multi-Task Prompt Tuning paylaşılan tek bir prompt'u birden fazla görev için eş zamanlı optimize eder. Bu varyantlar, LoRA ile birlikte günümüzde en yaygın kullanılan PEFT teknikleri arasındadır.
Question Answering (Soru Cevaplama)
Question Answering (Soru Cevaplama ya da kısaca QA), doğal dil işlemenin (NLP) temel görevlerinden biridir; doğal dil ile yöneltilen sorulara metin pasajlarından, belge koleksiyonlarından veya yapılandırılmış bilgi tabanlarından otomatik yanıt üretmeyi amaçlar. QA sistemleri işleyiş biçimine göre beş ana kategoride incelenir. Extractive QA (Çıkarımsal Soru Cevaplama), verilen bir metin pasajından sorunun yanıtını birebir çıkarır; cevap daima kaynak metindeki bir sözcük dizisidir. SQuAD (Stanford Question Answering Dataset), bu yaklaşım için standart kıyaslama veri setidir. BERT ve RoBERTa gibi önceden eğitilmiş transformer modelleri, extractive QA görevlerinde neredeyse insan düzeyine ulaşmıştır. Abstractive QA (Soyutlayıcı Soru Cevaplama) ise cevabı metinden doğrudan almak yerine yeni cümlelerle yeniden ifade eder; GPT-4 ve Claude gibi büyük dil modelleri (LLM) bu yaklaşımı kullanır. Open-domain QA, belirli bir belgeyle sınırlı kalmaksızın Wikipedia gibi geniş bilgi tabanlarında arama yaparak yanıt üretir; RAG (Retrieval-Augmented Generation) bu kategorinin güncel mimarisidir. Closed-domain QA, tıp veya hukuk gibi belirli bir alana ait sorulara odaklanır. Knowledge-based QA ise Wikidata gibi yapılandırılmış bilgi grafiklerini (knowledge graph) sorgulayarak yanıt verir. Mimari açıdan çoğu modern QA sistemi iki bileşenden oluşur: belgelerden ilgili pasajları seçen Retriever (Erişici) ve bu pasajları işleyerek yanıt üreten Reader (Okuyucu). Retriever bileşeni BM25 gibi anahtar kelime eşleşmesi ya da dense vector search (yoğun vektör araması) yöntemlerini kullanır; Reader ise fine-tuned transformer modelleri üzerine kuruludur. Bu iki bileşeni uçtan uca birleştiren RAG mimarisi, hem bilgiye erişimi hem de dil üretimini tek bir çerçevede sunar ve 2020 sonrasında açık-domain QA'nin fiili standardı haline gelmiştir. QA sistemlerinin başarısı genellikle EM (Exact Match) ve F1 skoru ile ölçülür. Gerçek hayatta bu teknoloji; sesli asistanlarda (Alexa, Siri), müşteri destek chatbotlarında, arama motorlarının öne çıkan snippet özelliğinde ve kurumsal bilgi yönetim platformlarında yaygın biçimde kullanılmaktadır.
Qwen (Alibaba Dil Modeli Ailesi)
Qwen (通义千问), Alibaba Group'un geliştirdiği ve sürekli güncellenen büyük dil modeli serisidir. "Tongyi Qianwen" adının kısaltması olan Qwen, 2023'te kamuya açılan ilk sürümlerinden bu yana hem kapalı hem açık kaynak modeller sunarak küresel LLM pazarında Çin kökenli alternatiflerin en güçlü temsilcilerinden biri konumuna geldi. Model ailesi birkaç bölümde incelenir: **Qwen-Max/Plus/Turbo** sürümleri Alibaba Cloud üzerinden API olarak sunulan kapalı kaynak modellerdir; farklı hız-kalite-maliyet dengesine göre seçilebilir. **Qwen2 ve Qwen2.5** serisi ise 0.5B'dan 72B parametreye kadar uzanan açık kaynak modellerdir; Hugging Face'de yayımlanmış ve ince ayar topluluğu tarafından yaygın biçimde kullanılmaktadır. **Qwen-VL**, görüntü ve metin girdisini birleştiren çok modlu sürümdür. **Qwen-Coder** ve **QwQ** ise sırasıyla kod üretimi ve akıl yürütme (reasoning) için optimize edilmiş özel modeller olarak öne çıkar; QwQ, DeepSeek-R1 ile birlikte açık kaynak reasoning model yarışının önemli oyuncusu hâline geldi. Teknik özellikler açısından Qwen modelleri Grouped Query Attention (GQA) ve Rotary Position Embedding (RoPE) gibi modern Transformer iyileştirmelerini benimser; uzun bağlam penceresi (bazı sürümlerde 128K token) kurumsal belge analizine olanak tanır. Çince ve İngilizce'de güçlü performansıyla bilinmesinin yanı sıra çok dilli destek kapsamı giderek genişlemektedir. Lisanslama açısından Qwen2 ve Qwen2.5 serisi Tongyi Qianwen Lisansı altında yayımlanmakta olup bazı sürümler Apache 2.0 altında tamamen özgür kullanım sunar; bu durum kurumsal benimsemeyi kolaylaştırmaktadır. Ollama, LM Studio ve vLLM gibi çerçeveler Qwen modellerini yerel olarak çalıştırmayı desteklemektedir. Qwen modelleri Türkiye gibi gelişmekte olan yapay zeka ekosistemlerinde dikkat çekmektedir: açık kaynak statüsü, geniş dil desteği ve görece düşük çalıştırma maliyeti kurumsal benimsemeyi kolaylaştırmaktadır. 2026 itibarıyla Qwen2.5-Max sürümü MMLU ve GPQA gibi akademik karşılaştırmalarda Batı kaynaklı modellere yakın puanlar almaktadır.
QwQ (QwQ)
QwQ, Alibaba'nın Qwen ekibi tarafından geliştirilen, cevap vermeden önce uzun bir düşünce zinciri (chain-of-thought) üreten 32 milyar parametreli açık kaynak akıl yürütme (reasoning) modelidir. İlk önizlemesi **QwQ-32B-Preview** adıyla Kasım 2024'te, stabil sürümü **QwQ-32B** ise 5 Mart 2025'te Apache 2.0 lisansıyla yayımlandı. Model, Qwen2.5-32B tabanı üzerine takviye öğrenme (reinforcement learning) ile eğitildi ve AIME24 matematik kıyaslamasında 79,5 puan alarak kendisinden yaklaşık 20 kat büyük 671B parametreli DeepSeek-R1'in 79,8 puanına neredeyse eşit performans gösterdi; OpenAI o1-mini'yi (63,6) ise açık farkla geçti. İsmin ikinci ve daha eski bir anlamı da var: **qwq**, internet ve anime kültüründe ağlayan bir yüzü temsil eden metin ifadesidir. İki "q" harfi yaşlı gözleri, ortadaki "w" ise büzülmüş ağzı simgeler; "uwu" ve "owo" ifadeleriyle aynı aileden gelir ve Discord, Twitch, TikTok gibi platformlarda "üzgünüm ama sevimliyim" tonunda kullanılır. Qwen ekibi model adını seçerken bu ifadeye bilinçli bir gönderme yaptı; "Qwen with Questions" açılımı da bu kelime oyununun üzerine oturur. QwQ'nun teknik önemi, **test-time compute** paradigmasını tüketici donanımına indirmesinde yatar: model, çıkarım sırasında `<think>...</think>` etiketleri arasında yüzlerce hatta binlerce token uzunluğunda iç monolog üretir ve düşünme süresi arttıkça doğruluk oranı yükselir. 4-bit kuantize edilmiş hali yaklaşık 20 GB VRAM ile tek bir RTX 3090/4090 üzerinde veya 32 GB birleşik belleğe sahip bir Mac'te çalışır; bu, o dönemde yalnızca bulut API'leriyle erişilebilen o1 sınıfı akıl yürütmeyi yerel hale getiren ilk pratik seçeneklerden biriydi. 2026 itibarıyla QwQ, tarihsel olarak önemli ama aktif geliştirmesi durmuş bir modeldir: Qwen ekibi Nisan 2025'te yayımlanan **Qwen3** serisini QwQ'nun resmi halefi ilan etti. Qwen3'ün hibrit "thinking / non-thinking" modları, QwQ'nun her soruda uzun uzun düşünme zorunluluğunu ortadan kaldırır. Yine de QwQ-32B, Hugging Face ve Ollama üzerinden indirilebilir durumda ve açık kaynak reasoning modellerinin gelişimini anlamak için referans noktası olmayı sürdürür.
RAG (Geri Getirim Artırılmış Üretim)
RAG (Retrieval-Augmented Generation — Erişim Destekli Üretim), büyük dil modellerinin (LLM) eğitim verisinde bulunmayan ya da güncellenmemiş bilgileri harici bir bilgi tabanından çekerek kullanmasını sağlayan mimari yaklaşımdır. Model ağırlıkları değiştirilmeden, çıkarım (inference) zamanında güncel ve kaynak gösterilebilir bilgi enjekte edilir. RAG'in temel çalışma akışı üç aşamadan oluşur. **İndeksleme:** Dokümanlar önce chunk'lara (parçalara) bölünür, ardından bir gömme (embedding) modeli kullanılarak vektör uzayına dönüştürülür ve vektör veri tabanına kaydedilir (Pinecone, Weaviate, pgvector). **Erişim (Retrieval):** Kullanıcı sorusu da aynı embedding modeliyle vektöre dönüştürülür ve vektör veri tabanında kosinüs benzerliği veya yaklaşık en yakın komşu (ANN) aramasıyla ilgili chunk'lar bulunur. **Üretim (Generation):** Bulunan chunk'lar soruyla birlikte LLM'e bağlam (context) olarak verilir; model bu bilgilere dayanarak yanıt üretir. RAG'in öne çıktığı senaryolar şunlardır: kurumsal bilgi tabanı chatbotları, yasal belge sorgulama, tıbbi literatür özetleme, müşteri destek sistemleri ve gerçek zamanlı veri gerektiren uygulamalar. Fine-tuning ile karşılaştırıldığında RAG çok daha düşük maliyetli ve güncellenmesi kolaydır; bilgi tabanı değiştiğinde yalnızca indeks güncellenir, model yeniden eğitilmez. Başlıca RAG varyantları arasında **Naive RAG** (temel akış), **Advanced RAG** (yeniden sıralama/reranking, hibrit arama, query rewriting), **Modular RAG** (bileşenlerin bağımsız değiştirilebildiği esnek mimari) ve **Graph RAG** (bilgi grafiğinden erişim; Microsoft'un 2024 açık kaynak yayını) sayılabilir. Uygulamada sık karşılaşılan sorunlar: chunk boyutu ve örtüşme stratejisi optimizasyonu, embedding model seçimi, retrieval kalitesini artırmak için HyDE (Hypothetical Document Embedding) veya çapraz kodlayıcı (cross-encoder) reranking kullanımı. LangChain, LlamaIndex ve Haystack gibi framework'ler bu pipeline'ı yönetmek için yaygın araçlardır. Detaylı bilgi için /blog/rag-nedir-retrieval-augmented-generation sayfasına bakılabilir. RAG'in başarısını ölçmek için RAGAS gibi değerlendirme framework'leri kullanılır: faithfulness (modelin yalnızca verilen bağlama sadık kalması), answer relevancy (yanıtın soruyla ilgisi) ve context recall (doğru chunk'ların getirilmesi) temel metriklerdir. Özellikle kurumsal dağıtımlarda bu metriklerin sürekli izlenmesi, sistemin güvenilirliğini korumanın temel yoludur.
Reasoning Model (Akıl Yürüten Model)
Reasoning model, bir kullanıcı sorusuna hemen cevap vermek yerine önce gizli bir düşünce zinciri ("thinking trace") üreterek problemi adım adım çözen büyük dil modeli ailesidir. Klasik LLM'ler bir sonraki tokeni doğrudan tahmin ederken, reasoning model bu tahmin sürecini içselleştirir; hipotez kurma, deneme, geri dönüp düzeltme ve doğrulama aşamalarını sıralı biçimde uygular. Kullanıcıya sunulan nihai yanıt, bu iç monolog tamamlandıktan sonra üretilir. Temel mekanizma, test-time compute ölçeklemesine dayanır: modele problem başına tahsis edilen hesaplama bütçesi (düşünce token sayısı) arttıkça doğruluk da yükselir. Bu yaklaşım, klasik LLM ölçekleme yasasının (daha büyük parametre = daha iyi) yanına yeni bir boyut ekler — daha uzun düşünce, daha doğru çıktı. Modeller genellikle süreç ödüllü pekiştirmeli öğrenme (Process Reward Model, PRM) ile eğitilir; bu yöntem yalnızca son cevabı değil, her akıl yürütme adımını ödüllendirir. Reinforcement learning, modeli kendi hatalarından öğrenerek daha güvenilir akıl yürütme zincirleri oluşturmaya yönlendirir. 2024 yılında OpenAI o1 ile ana akıma giren reasoning modelleri kısa sürede geniş bir ekosisteme dönüştü. OpenAI o3, matematik olimpiyatı problemleri (AIME) ve yazılım mühendisliği kıyaslama testlerinde (SWE-Bench Verified) insanüstü performans gösterirken; DeepSeek-R1, açık ağırlıklı bir seçenek olarak aynı alanda rekabetçi sonuçlar elde etti. Alibaba'nın Qwen QwQ-32B modeli ve Anthropic'in Claude Extended Thinking özelliği de bu ailenin önde gelen temsilcileri arasındadır. Google'ın Gemini 2.0 Flash Thinking modeli ise çok daha düşük maliyetle benzer reasoning kapasitesi sunar. Reasoning modelleri her görev için uygun değildir. Basit e-posta taslağı, özetleme veya çeviri gibi işlerde gereksiz maliyet ve gecikme üretirler. Buna karşın çok adımlı matematiksel ispat, karmaşık kod hata ayıklama, hukuki analiz ve bilimsel araştırma gibi durumlarda klasik LLM'lere kıyasla belirgin avantaj sunarlar. Doğru kullanım stratejisi, iş yüküne göre reasoning ve klasik modeller arasında akıllı yönlendirme yapmayı gerektirir.
RLHF (Reinforcement Learning from Human Feedback) (İnsan Geri Bildirimiyle Pekiştirmeli Öğrenme)
RLHF (Reinforcement Learning from Human Feedback — İnsan Geri Bildirimiyle Pekiştirmeli Öğrenme), büyük dil modellerinin (LLM) insan değerleri, beklentileri ve etik standartlarıyla uyumlu hale getirilmesi için kullanılan en kritik eğitim tekniğidir. İnternetteki ham verilerle ön eğitim görmüş bir modeli, gerçek kullanıcı ihtiyaçlarına yanıt veren, güvenli ve yardımsever bir asistana dönüştüren köprüdür. RLHF üç temel aşamadan oluşur. Birinci aşamada (Supervised Fine-Tuning / SFT), model insan uzmanları tarafından yazılmış örnek soru-cevap çiftleriyle ince ayarlanır; asistan üslubu ve yardımcı yanıt biçimi öğretilir. İkinci aşamada, aynı soruya modelin ürettiği farklı yanıtlar insan değerlendiricilere sunulur; onlar hangisinin daha iyi olduğunu işaretler. Bu tercih verileri kullanılarak ayrı bir Ödül Modeli (Reward Model) eğitilir — tıpkı deneyimli bir editör gibi, hangi yanıtın daha kaliteli olduğunu numerik skora dönüştürür. Üçüncü aşamada ise SFT modeli, Proximal Policy Optimization (PPO) algoritmasıyla Ödül Modelinden gelen sinyallere göre optimize edilir. KL-diverjans cezası sayesinde model, başlangıç noktasından çok uzaklaşmadan en yüksek ödülü getiren yanıtları üretmeyi öğrenir. RLHF'nin önemi büyüktür: OpenAI'ın 2017-2022 araştırmaları ve InstructGPT makalesiyle hayata geçirilen bu yaklaşım, ChatGPT, Claude ve Gemini gibi ticari asistanların temelini oluşturur. Modelin toksisite, önyargı ve zararlı içerik üretme eğilimini bastırırken kibarlık, yapıcılık ve güvenilirliği ön plana çıkarır. Ancak RLHF'nin sınırlılıkları da vardır: Ödül hacklemesi (modelin gerçek kalite yerine Ödül Modelini kandırması), insan değerlendirici tutarsızlığı ve PPO'nun karmaşık kurulumu başlıca zorluklardır. Bu nedenle DPO (Direct Preference Optimization), RLAIF (RL from AI Feedback) ve Constitutional AI gibi alternatifler giderek önem kazanmaktadır. Özellikle DPO, ödül modeli gerektirmeden tercih verilerinden doğrudan politika öğrenerek daha basit ve kararlı bir hizalama sağlamaktadır. DeepSeek'in GRPO yöntemi ise değer fonksiyonu olmadan PPO'nun yerine geçen yeni bir yaklaşımdır. Günümüzde RLHF, hizalama (alignment) araştırmalarının merkezi olmayı sürdürmektedir. Ölçek büyüdükçe RLAIF gibi yapay zeka destekli değerlendirme yöntemleri insan etiketlemenin bir bölümünü otomatikleştirirken, temel prensip — modeli insan tercihlerine göre şekillendirmek — değişmemektedir.
Sentence Transformers (Cümle Dönüştürücüler)
Sentence Transformers, 2019 yılında Nils Reimers ve Iryna Gurevych tarafından geliştirilen SBERT (Sentence-BERT) mimarisine dayanan, metin cümlelerini ve paragraflarını anlamsal açıdan karşılaştırılabilir sabit boyutlu yoğun vektörlere dönüştüren Transformer tabanlı kütüphane ve model ailesidir. Orijinal BERT modelinin cümle benzerliği hesaplamadaki yetersizliğini gidermek amacıyla tasarlanan SBERT, Siyamez ağ (Siamese network) yapısıyla iki cümleyi eşzamanlı olarak kodlayarak anlamsal benzerlik puanı üretir. Klasik BERT modelinde iki cümleyi karşılaştırmak için her çift ayrı ayrı modelden geçirilmek zorundaydı; bu durum n cümle için n×(n-1)/2 model çağrısı gerektiriyordu. SBERT bu sorunu her cümleyi tek seferinde sabit boyutlu bir vektöre dönüştürerek çözdü: tüm corpus önce encode edilir, ardından cosine similarity veya dot product ile anlık karşılaştırma yapılabilir. Bu yaklaşım hesaplama süresini dramatik biçimde kısaltır — 10.000 cümle için yaklaşık 65 saatten 5 saniyeye iner. Kütüphane, Natural Language Inference (NLI) verileriyle triplet loss veya contrastive learning kullanılarak ince ayar yapılmış çok sayıda model barındırır. Popüler modeller arasında all-MiniLM-L6-v2 (hız-kalite dengesi, 384 boyutlu vektör), all-mpnet-base-v2 (yüksek kalite) ve paraphrase-multilingual-mpnet-base-v2 (50'den fazla dil desteği) öne çıkar. Türkçe için emrecan/bert-base-turkish-cased-mean-nli-stsb-tr ve benzeri topluluk modelleri geliştirilmiştir. Sentence Transformers'ın en yaygın kullanım senaryoları şunlardır: anlamsal arama (semantic search), RAG (Retrieval-Augmented Generation) sistemlerinde belge gömme, metin kümeleme, çift metin eşleşme (bitext mining), soru-cevap sistemleri ve içerik önerisi. Özellikle RAG pipeline'larında, kullanıcı sorgusu ve belge parçalarının (chunk) vektöre dönüştürülmesinde Sentence Transformers fiili standart haline gelmiştir. Python'da pip install sentence-transformers ile kurulabilen kütüphane, Hugging Face Hub ile entegre çalışır; yüzlerce önceden eğitilmiş model doğrudan indirilebilir ve kullanılabilir.
Sentiment Analysis (Duygu Analizi (Sentiment Analysis))
Duygu analizi (Sentiment Analysis), metin verilerindeki öznel ifadelerden duygusal eğilimi — pozitif, negatif veya nötr — otomatik olarak çıkaran doğal dil işleme (NLP) görevidir. Müşteri yorumları, sosyal medya paylaşımları, anket yanıtları ve haber metinleri gibi yapılandırılmamış metinleri anlamlandırmak için yaygın biçimde kullanılır. Yöntemler üç ana kategoride incelenir: **Kural tabanlı yaklaşımlar**, önceden tanımlanmış kelime listeleri (VADER, SentiWordNet) ve sözdizimi kuralları kullanır; hızlı ve açıklanabilir ancak bağlam ve ironi konusunda sınırlıdır. **Makine öğrenimi tabanlı yaklaşımlar**, Naive Bayes, SVM ve lojistik regresyon gibi algoritmalarla etiketli veriden öğrenir; kural tabanlıdan daha esnek ama veri bağımlıdır. **Derin öğrenme ve LLM tabanlı yaklaşımlar**, BERT, RoBERTa ve GPT ailesi modeller nüanslı duygu ifadelerini, ironik söylemleri ve alan spesifik jargonu çok daha iyi kavrar. Görev tanımları bakımından temel duygu sınıflandırması (pozitif/negatif/nötr) en basit biçimdir. **Kapsam tabanlı (aspect-based) duygu analizi**, bir ürün yorumundaki farklı özelliklere (kamera, pil, ekran) ayrı duygu puanları atar — "kamerası harika ama pili berbat" gibi ifadeler bu yöntemle doğru işlenir. **Duygu yoğunluğu** analizi, yalnızca yön değil kuvvet de belirler. **Çok dilli duygu analizi**, özellikle Türkçe gibi morfolojik açıdan zengin diller için ek zorluklar barındırır. Uygulama alanları şunlardır: marka itibar yönetimi (sosyal medya izleme), ürün geliştirme (müşteri geri bildirimi önceliklendirme), finans sektöründe haber ve tweet duygusuyla fiyat hareketi tahmini, siyasi kampanya analizi ve çağrı merkezi kayıt analizi. Türkiye'de e-ticaret yorumları ve sosyal medya analitiği en yaygın kullanım alanlarıdır. Başlıca zorluklar: ironi ve alaycılık tespiti, alan değişimi (domain shift) — bir modelin film yorumları üzerindeki başarısı tıp metinlerinde düşebilir —, çok dilli bağlam, gizli duygu ifadeleri ve etiketleyiciler arası anlaşmazlık. Türkçe için TRSentiNet ve Turkish Sentiment Analysis veri setleri geliştirilmiş olmakla birlikte İngilizce kaynaklarla kıyaslandığında hâlâ sınırlı kalmaktadır.
Sesli Asistan (Sesli Asistan)
Sesli asistan (voice assistant), otomatik konuşma tanıma (ASR), doğal dil işleme (NLP) ve metin-ses dönüştürme (TTS) teknolojilerini bir araya getirerek kullanıcıyla sesli diyalog kuran yapay zeka sistemidir. 2024 itibarıyla dünyada 8,4 milyarı aşkın sesli asistan kullanılmakta; Siri, Amazon Alexa, Google Assistant ve Cortana bu sınıfın en yaygın örnekleri arasında yer almaktadır. Sistemin çalışma zinciri dört temel adımdan oluşur: Kullanıcı sesi uyandırma sözcüğüyle (wake word) tetiklenip ASR motoruna iletilir; ASR, ses dalgalarını fonem düzeyinde işleyerek metne dönüştürür. NLU (doğal dil anlama) katmanı bu metni analiz ederek niyet (intent) ve varlık (entity) çıkarımı yapar. Yanıt oluşturulduktan sonra TTS motoru metni doğal seslendirmeye çevirerek kullanıcıya iletir. Gecikme hedefi 500ms altındadır; bunun üzeri gerçek zamanlı hissiyatı bozar. İlk nesil sesli asistanlar kural tabanlı niyet eşleştirme kullanıyordu; bu yaklaşım dar kapsamlı komutlarda tatmin edici olsa da karmaşık ve bağlam gerektiren sorularda yetersiz kalıyordu. Büyük dil modellerinin entegrasyonuyla sesli asistanlar köklü bir dönüşüm geçirmektedir: GPT-4o gerçek zamanlı sesli konuşma modu, Gemini Live ve Claude telefon asistan entegrasyonları bu yeni neslin örnekleridir. OpenAI Realtime API gibi uçtan uca modeller ASR→NLP→TTS zincirini tek modele sıkıştırarak hem gecikmeyi hem de hata birikimini azaltmaktadır. Türkçe sesli asistan ekosistemi açısından Whisper large-v3, Türkçe konuşma tanımada yüksek doğruluk sunan en erişilebilir modeldir. Google Cloud Speech-to-Text ve AWS Transcribe de Türkçe desteği sağlar. Akıllı ev kontrolü, takvim yönetimi, navigasyon ve kurumsal müşteri hizmetleri sesli asistanların başlıca uygulama alanlarıdır. Edge AI çipleri (Apple Neural Engine, Qualcomm AI Hub) bulut bağlantısı gerektirmeden cihaz üzerinde yüksek kaliteli sesli asistan deneyimini mümkün kılmaktadır. Akıllı hoparlörler, akıllı televizyonlar, otomobil infotainment sistemleri ve giyilebilir cihazlar sesli asistanların yaygınlaştığı başlıca donanım platformlarıdır.
Soft Prompting (Yumuşak İstem)
Soft prompting (yumuşak istemleme), büyük dil modellerini (LLM) ince ayar yapmadan görev odaklı davranışa yönlendiren parametre verimli bir öğrenme tekniğidir. Geleneksel prompt mühendisliğinde insan tarafından yazılan metin talimatları (hard prompt) kullanılırken, soft prompting modelin giriş uzayına eklenen ve gradyan inişi yoluyla optimize edilen sürekli vektör gömmelerini (continuous embeddings) kullanır. Tekniğin çalışma prensibi şu şekilde özetlenebilir: Önceden eğitilmiş model tamamen dondurulur, ağırlıkları güncellenmez. Modelin token gömme katmanına sanal tokenlar (virtual tokens) eklenir; bu tokenlar gerçek sözcüklere karşılık gelmez, sadece yüksek boyutlu vektörlerdir. Eğitim sürecinde yalnızca bu sanal token vektörleri güncellenir ve model görev odaklı bağlam bilgisi edinir. Standart ince ayara (full fine-tuning) kıyasla eğitim süresi ve bellek kullanımı dramatik biçimde azalır. Soft prompting ile ince ayar arasındaki temel fark şudur: İnce ayarda milyarlarca parametre yeniden eğitilirken, soft prompting'de yalnızca birkaç yüz ila birkaç bin sanal token parametresi öğrenilir. Bu yaklaşım, özellikle T5, GPT ve LLaMA gibi büyük modelleri çeşitli downstream görevlere uyarlamak için son derece ekonomiktir. Gerçek dünya uygulamalarında soft prompting, metin sınıflandırma, soru yanıtlama, özetleme ve kod üretimi gibi alanlarda başarılı sonuçlar vermiştir. Prefix Tuning ve P-Tuning v2 gibi türevler, yalnızca giriş katmanına değil, modelin ara katmanlarına da sanal tokenlar ekleyerek performansı artırmıştır. Bu yöntemler düşük veri rejimlerinde de etkili bir uyarlama imkânı sunar. Her görev için bağımsız soft prompt eğitilir; aynı temel model birden fazla amaç için kullanılabilir. Her uyarlama ayrı bir tam model kopyası gerektirmez, bu da bellek ve depolama açısından büyük bir tasarruf anlamına gelir. Sonuç itibarıyla soft prompting, modern NLP boru hatlarında hem maliyet hem de esneklik açısından önemli bir yer tutmaktadır.
SSML (SSML)
SSML (Speech Synthesis Markup Language — Konuşma Sentezi İşaretleme Dili), metinden konuşmaya (TTS) sistemlerinin sesi nasıl üretmesi gerektiğini ayrıntılı biçimde tanımlayan W3C standardı bir XML biçimlendirme dilidir. Düz metin yalnızca içeriği aktarırken SSML, konuşmanın hızını, perdesini, ses düzeyini, duraklamalarını, vurgularını ve belirli kelime ya da ifadelerin telaffuzunu programatik olarak kontrol etmeyi mümkün kılar. Bu düzeyde kontrol, sesli kullanıcı arayüzleri, etkileşimli sesli yanıt (IVR) sistemleri ve ekran okuyucular için doğal, anlaşılır ve bağlam uygun bir ses deneyimi oluşturmanın temel aracıdır. Her SSML belgesi `<speak>` kök etiketiyle başlar ve geçerli bir XML yapısı izler. En temel etiketler şunlardır: `<break time='500ms'/>` belirli bir süre duraklama ekler; `<prosody rate='slow' pitch='low'>` metnin yavaş ve alçak perdeden okunmasını sağlar; `<emphasis level='strong'>` bir kelimeyi güçlü vurguyla öne çıkarır. `<say-as interpret-as='date' format='dmy'>` etiketi, TTS motorunun bir tarihi nasıl seslendireceğini açıkça belirtir; sayı, saat, para birimi ve telefon numaraları için de benzer direktifler mevcuttur. `<phoneme alphabet='ipa' ph='...'>` etiketi ise teknik terimler, yabancı özel isimler veya kısaltmalar için tam fonetik telaffuzu IPA notasyonuyla tanımlar. Platform ekosistemi açısından W3C'nin temel SSML standardının üzerine Amazon Polly, Google Cloud TTS ve Microsoft Azure Cognitive Services gibi büyük platformlar kendine özgü uzantılar ekler. Amazon Polly'nin `<amazon:auto-breaths>` etiketi doğal nefes efektleri üretirken, Google'ın `<google:auto>` etiketi konuşma stilini dinamik olarak seçer. Bu uzantılar üretim kalitesini artırsa da taşınabilirliği kısıtlar; bu nedenle çapraz platform projelerinde standart etiketlere bağlı kalmak mimari esnekliği korur. Dialogflow, Amazon Lex ve Azure Bot Framework gibi konuşma platformlarına entegre edilen SSML, önemli cümlelerin vurgulanması, doğal duraklamalar ve sayıların bağlama uygun okunması ile kullanıcı deneyimini ölçülebilir biçimde iyileştirir. Temel XML bilgisine sahip bir geliştirici, `break`, `prosody` ve `say-as` etiketlerini öğrenerek üretim kalitesinde SSML çıktısı üretebilir.
Text Classification (Metin Sınıflandırma)
Text classification (metin sınıflandırma), bir metin parçasının önceden tanımlanmış kategorilerden birine veya birkaçına otomatik olarak atanması görevidir. Doğal Dil İşleme'nin (NLP) temel taşlarından biri olan bu teknik; e-posta spam filtrelerinden duygu analizine, haber kategorizasyonundan müşteri hizmetleri otomasyonuna kadar geniş bir uygulama yelpazesine sahiptir. Makine öğrenimi tabanlı yaklaşımlarda metin önce sayısal temsillere dönüştürülür: TF-IDF vektörleri, Word2Vec embeddingler veya BERT gibi transformer tabanlı temsiller. Bu vektörler ardından Naive Bayes, Destek Vektör Makineleri (SVM) veya derin sinir ağları gibi sınıflandırıcılara beslenir. Modern uygulamalarda BERT, RoBERTa ve GPT gibi büyük dil modelleri ince ayar yapılarak (fine-tuning) olağanüstü doğruluk oranları elde edilmektedir. Üç temel türü vardır: ikili sınıflandırma (binary: spam/değil), çok sınıflı sınıflandırma (multi-class: spor/siyaset/ekonomi haber kategorizasyonu) ve çok etiketli sınıflandırma (multi-label: tek metne birden fazla kategori atama). Değerlendirme için salt doğruluk (accuracy) yetersiz kalabilir; sınıf dengesizliği durumlarında precision, recall ve F1 skoru daha güvenilir metriklerdir. Eşik bağımsız ölçüm için ROC-AUC kullanılır; kalibrasyon testi ise model güvenirliğini doğrular. Gerçek dünya uygulamalarının en yaygın zorluğu veri dengesizliğidir: örneğin yüzde bir spam, yüzde doksan dokuz normal e-posta dağılımı. Bu sorun SMOTE örnekleme, class-weight ayarlaması veya threshold kalibrasyonu ile giderilir. Sağlık alanında klinik not kategorizasyonu, hukuk sektöründe belge sınıflandırması ve içerik moderasyonunda zararlı içerik tespiti kritik kullanım alanlarıdır. SetFit gibi few-shot öğrenme çerçeveleri, contrastive learning ile yalnızca 8–64 etiketli örnek kullanarak tam ince ayar düzeyinde performans elde eder. Zero-shot sınıflandırmada GPT-4o veya Claude gibi büyük dil modelleri ek eğitim verisi olmaksızın kategori açıklamalarıyla doğru etiket ataması yapabilir. Türkçe için BERTurk, bert-base-turkish-cased ve XLM-R modelleri güçlü kıyaslama noktaları oluşturmaktadır.
Text Summarization (Metin Özetleme)
Metin özetleme (text summarization), doğal dil işleme (NLP) alanının temel görevlerinden biri olup uzun belgelerin, makalelerin veya konuşmaların yapay zeka tarafından otomatik biçimde kısaltılmasını sağlar. Amaç, kaynak metnin ana fikirlerini ve kritik bilgilerini koruyarak okurun zamanını verimli kullanmasına yardımcı olmaktır. Bu görev iki ana yaklaşımla gerçekleştirilir: çıkarımlı (extractive) ve soyut (abstractive) özetleme. Çıkarımlı yöntemde model, kaynak metinden en önemli cümleleri birebir seçerek bir özet oluşturur; bu yöntem tutarlı ve halüsinasyon riskinin düşük olduğu sonuçlar üretir. Soyut özetlemede ise model, metni anlayarak tamamen yeni cümleler üretir; daha akıcı ve insan yazısına yakın özetler ortaya çıkar ancak yanlış bilgi oluşturma riski de beraberinde gelir. Transformer mimarisinin yükselişiyle birlikte, özellikle BERT ve GPT ailesinin baskın olduğu 2018 sonrası dönemde, soyut özetleme kalitesi dramatik biçimde artmıştır. BART, T5 ve Pegasus gibi modeller bu alanda öne çıkan mimarilerdir. Günümüzde GPT-4, Claude ve Gemini gibi büyük dil modelleri (LLM), binlerce sayfalık belgeleri saniyeler içinde özetleyebilmekte; hukuk, gazetecilik, akademi ve kurumsal iş süreçlerinde yaygın kullanım alanı bulmaktadır. Değerlendirme amaçlı en yaygın metrik olan ROUGE (Recall-Oriented Understudy for Gisting Evaluation), üretilen özet ile referans özet arasındaki n-gram örtüşmesini ölçer. Uzun bağlam pencereleri (128K token ve üzeri) ile donatılmış büyük dil modellerinin yaygınlaşması, metin özetlemeyi yapay zeka asistanlarının en çok kullanılan yeteneklerinden biri haline getirmiştir. Bugün her büyük belge yönetim platformu, haber toplayıcı ve kurumsal yazılım bu teknolojiyi aktif olarak kullanmaktadır.
Token (Dil Modeli Birimi)
Token, büyük dil modelleri (LLM) ve doğal dil işleme (NLP) sistemlerinde metnin işlenebilir en küçük birimidir. LLM'ler ham metni doğrudan okuyamaz; önce metni token adı verilen parçacıklara böler, ardından her tokena sayısal bir kimlik (token ID) atar ve bu sayısal diziler üzerinde matematiksel işlemler gerçekleştirir. Bir token; tam bir kelime, kelimenin bir parçası (alt-kelime/subword), tek bir karakter ya da noktalama işareti olabilir. Bu dönüşüm sürecine tokenizasyon (tokenization) denir. GPT serisi modellerde kullanılan BPE (Byte Pair Encoding), eğitim verisi üzerinde en sık birlikte geçen karakter çiftlerini yinelemeli olarak birleştirerek bir vocabulary oluşturur. Google'ın geliştirdiği WordPiece de benzer bir mantıkla çalışırken seçim kriterinde maksimum olasılığı kullanır. SentencePiece ise dil bağımsız çalışan ve doğrudan ham karakterlerden token üreten bir yöntemdir. Token kavramı üç kritik boyutu doğrudan etkiler. Birinci boyut bağlam penceresidir (context window): bir modelin aynı anda işleyebildiği maksimum token sayısı o modelin 'hafıza kapasitesini' tanımlar. GPT-4o 128.000 token, Claude 3.5 Sonnet 200.000 token, Gemini 1.5 Pro ise 1.000.000 token bağlam kapasitesiyle öne çıkar. Bu limit aşıldığında model eski bağlamı unutur. İkinci boyut API maliyetidir: OpenAI, Anthropic ve Google gibi sağlayıcılar hizmetlerini giriş (input) ve çıkış (output) token sayısına göre faturalandırır. GPT-4o için 1 milyon giriş tokenu yaklaşık 5 USD, 1 milyon çıkış tokenu ise 15 USD'dir. Aynı görevi daha az tokenla çözen prompt tasarımı maliyeti kayda değer ölçüde azaltır; bu nedenle token ekonomisi LLM uygulama mühendisliğinin temel konularından biri haline gelmiştir. Üçüncü boyut dikkat hesaplamasıdır: Transformer mimarisinde her token diğer tüm tokenlarla dikkat skoru hesaplar. Bu O(n²) karmaşıklık nedeniyle bağlam uzadıkça hesaplama maliyeti hızla büyür; Flash Attention ve diğer verimlilik teknikleri bu soruna çözüm arayışından doğmuştur. Türkçe gibi eklemeli dillerde token kullanımı İngilizce'ye kıyasla daha yüksektir. 'Gidebileceklerinden' gibi tek bir Türkçe kelime birden fazla tokena bölünebilirken, aynı anlam İngilizce'de daha az token harcar. Bu durum Türkçe içerikli API çağrılarında maliyeti ve bağlam penceresi verimliliğini olumsuz etkileyebilir.
Tokenization (Tokenizasyon (Parçalara Ayırma))
Tokenizasyon, metin verisini büyük dil modelleri (LLM) ve doğal dil işleme (NLP) sistemlerinin işleyebileceği temel birimlere —"token"lara— dönüştürme sürecidir. Yapay zeka modelleri metni insan gibi harf harf değil, token kimlik numaraları (ID) cinsinden işler; tokenizasyon bu dönüşümün ilk ve belirleyici adımıdır. Bir token; tam kelime, kelime kökü, hece veya bayt grubu olabilir. Modern LLM'lerin büyük çoğunluğu Byte Pair Encoding (BPE) ya da SentencePiece gibi alt-kelime (subword) algoritmalarını tercih eder. Bu yöntemler yaygın kelimeleri tek token'a sıkıştırırken nadir kelimeleri birden fazla parçaya böler; böylece sözlük boyutu sınırlı tutulurken bilinmeyen kelime (OOV) sorunu ortadan kalkar. WordPiece (BERT), Tiktoken (GPT-4) ve SentencePiece (LLaMA, T5) gibi tokenizer'lar aynı metni farklı parça sayısına bölebilir. Tokenizasyon hem modelin tahmin kalitesini hem de kullanıcının API maliyetini doğrudan etkiler. OpenAI, Anthropic ve Google gibi sağlayıcılar ücretlendirmeyi kelime değil token başına yapar; bu nedenle token sayısını önceden tahmin etmek maliyet yönetiminin temelidir. Tiktoken kütüphanesi veya Hugging Face tokenizers ile prompt'lar göndermeden önce sayılabilir. Türkçe'nin eklemeli (agglutinative) yapısı tokenizasyon açısından ciddi bir dezavantaj yaratır: aynı içeriğin Türkçe versiyonu İngilizce'ye kıyasla genellikle 1,5–2 kat daha fazla token tüketir. Bu durum hem API maliyetini artırır hem de bağlam penceresi (context window) kapasitesini daha hızlı doldurur. Gemma, Qwen ve DeepSeek gibi çok dilli modeller Türkçe içerli eğitim verileriyle bu açığı kısmen kapatmıştır. Son olarak, tokenizasyon modelin bazı basit sorulardaki başarısızlığını da açıklar. Bir LLM'e "Strawberry kelimesinde kaç R var?" diye sorulduğunda alınan yanlış yanıt, modelin harfleri değil token ID'lerini gördüğünden kaynaklanır. Bu temel kısıt, LLM ile çalışan geliştiricilerin anlaması gereken en kritik altyapı konseptlerinden biridir.
Topic Modeling (Konu Modelleme)
Konu modelleme (topic modeling), büyük metin koleksiyonlarındaki gizli tematik yapıları otomatik olarak keşfeden bir doğal dil işleme tekniğidir. Etiketlenmemiş belgelerin içinde hangi konuların ne yoğunlukta geçtiği istatistiksel yöntemlerle çıkarılır; böylece binlerce hatta milyonlarca belgeyi elle incelemeye gerek kalmadan anlamsal gruplamalar elde etmek mümkün olur. Alanın en klasik algoritması Latent Dirichlet Allocation (LDA)'dır. LDA, her belgenin birden fazla konunun karışımından oluştuğunu ve her konunun belirli kelimelerin olasılıklı dağılımı olduğunu varsayar. Model bu dağılımları yinelemeli Bayes çıkarımı (Gibbs örneklemesi veya değişimsel çıkarım) yoluyla öğrenir. Çıktı olarak her konu için en olasılıklı kelimeler listesi elde edilir; araştırmacı bu listeye bakarak konuya anlamsal bir etiket atar. LDA'nın bag-of-words temsili sözcük sırası ve bağlamı yok sayar. BERTopic bu sorunu kökten çözer: cümleler önce BERT gibi bir dönüştürücü modelle bağlam duyarlı vektörlere dönüştürülür, ardından UMAP ile boyut azaltma ve HDBSCAN ile kümeleme uygulanır; son adımda c-TF-IDF ile temsil kelimeleri seçilir. Bu yaklaşım Türkçe gibi morfolojik açıdan zengin dillerde de yüksek kaliteli konular üretir. Pratik kullanım alanları son derece geniştir: müşteri destek ekipleri yüzlerce günlük şikayet e-postasını otomatik kategorilere ayırır; akademisyenler on yıllar içinde yayımlanan binlerce makaleyi tarayarak araştırma trendlerini tespit eder; hukuk firmaları e-keşif süreçlerinde milyonlarca belgeyi konulara göre gruplandırır. Konu sayısının (K hiperparametresi) doğru belirlenmesi kritiktir; coherence score metrikleri (C_v, UMass) K optimizasyonu için kullanılabilir. Durma kelimelerinin ve nadir kelimelerin ön işleme aşamasında temizlenmesi model kalitesini doğrudan etkiler. Türkçe metinler için Zemberek veya TurkishNLP tabanlı lemmatizasyon zorunlu bir adımdır. Ayrıca dinamik konu modelleme (DTM) ve zaman serisi tabanlı yaklaşımlar, konuların zaman içinde nasıl değiştiğini izlemek için kullanılmaktadır.
Tree of Thoughts (ToT) (Düşünce Ağacı)
Tree of Thoughts (ToT), büyük dil modellerinin karmaşık muhakeme görevlerini çözmek için tasarlanmış bir akıl yürütme çerçevesidir. Princeton ve Google DeepMind araştırmacıları tarafından 2023 yılında yayımlanan "Tree of Thoughts: Deliberate Problem Solving with Large Language Models" makalesiyle tanıtılmıştır. Klasik Chain-of-Thought (CoT) prompting yönteminde model tek bir doğrusal düşünce zinciriyle ilerler; bir adımda hata yapılırsa tüm çözüm yanlış yöne sapabilir. ToT bu sınırı aşmak için ağaç tabanlı arama algoritmaları kullanır ve modelin eş zamanlı olarak birden fazla düşünce dalı üretmesine, her dalı değerlendirmesine ve gerektiğinde geri dönüp (backtracking) farklı bir yol denemesine olanak tanır. Çalışma mekanizması üç temel bileşenden oluşur: (1) Düşünce üretimi — her adımda birden fazla ara çözüm adayı (düşünce düğümü) oluşturulur. (2) Değerlendirme — LLM kendi ürettiği düşünceleri puanlar ya da oylar; umut verici görünmeyen dallar budanır (pruning). (3) Arama stratejisi — BFS (Genişlik Öncelikli Arama), DFS (Derinlik Öncelikli Arama) veya Beam Search ile ağaçta gezinilir. Beam Search her seviyede yalnızca en yüksek puanlı k düğümü koruyarak verimlilik ile doğruluk arasında denge kurar. Orijinal makalede Game of 24 bulmacasında CoT yalnızca yüzde 4 başarı sağlarken ToT yüzde 74 başarı oranı elde etmiştir. Yaratıcı yazarlık ve çok adımlı matematik problemlerinde de belirgin üstünlük gözlemlenmiştir. ToT'nin en önemli teorik katkısı, test zamanı hesaplamayı (test-time compute) artırarak daha kaliteli çıktı elde etme fikrini pekiştirmesidir. Bu yaklaşım OpenAI o1 ve DeepSeek-R1 gibi düşünen modellerin (reasoning models) eğitiminde Monte Carlo Ağaç Araması (MCTS) ile birleştirilmiş ve modern LLM'lerdeki "thinking trace" davranışının temelini oluşturmuştur. Temel sınırlaması token maliyetidir: tek bir sorgu yerine paralel LLM çağrıları yapılması özellikle bulut API kullanımında maliyeti artırabilir. LangGraph ve LangChain kütüphaneleri ToT uygulama şablonları sunar.
Word Embedding (Kelime Gömme)
Kelime gömme (word embedding), kelimeleri yüksek boyutlu gerçek sayı vektörlerine dönüştüren temsil öğrenme tekniğidir. Bu yaklaşım, kelimelerin anlamsal ve sözdizimsel ilişkilerini matematiksel uzayda yansıtır: anlamca yakın sözcükler uzayda birbirine yakın konumlanırken farklı anlamlılar uzakta kalır. Tipik vektör boyutları 50 ile 4096 arasında değişir; daha yüksek boyut daha fazla anlam nüansı taşır ancak bellek ve hesaplama maliyeti de artar. Klasik bag-of-words yaklaşımı kelimeleri birbirinden bağımsız bir-sıcak (one-hot) vektörlerle temsil ederdi; bu yöntem "kral" ile "hükümdar" arasındaki anlamsal bağı yakalayamıyordu. Word2Vec (2013, Google) ve GloVe (2014, Stanford) mimarileriyle birlikte yoğun vektör temsilleri yaygınlaştı. Word2Vec'in ünlü örneğinde "kral − erkek + kadın ≈ kraliçe" vektör aritmetiği, modelin anlam ilişkilerini öğrendiğini kanıtladı. FastText (Meta, 2016) ise kelimeleri karakter n-gramı parçalarına bölerek sözlük dışı sözcükleri de vektöre çevirme becerisini getirdi. Statik kelime gömmelerinin (Word2Vec, GloVe, FastText) temel sınırlaması bağlam körlüğüdür: "banka" kelimesi finans veya nehir kenarı anlamına geldiğinde aynı vektörü alır. Bu sorunu BERT ve türevi modeller çözdü: Transformer katmanları her kelimeye bağlama özgü bir temsil üretir, böylece aynı kelime farklı cümlelerde farklı vektörler alır. Çok anlamlı kelimeler artık cümle bağlamına göre doğru şekilde kodlanabilir hale gelmiştir. Türkçe için özelleştirilmiş gömmeler mevcuttur: BERTurk, TURK-BERT ve çeşitli FastText modelleri geniş Türkçe corpus'larla eğitilmiştir. Türkçe'nin eklemeli morfolojisi nedeniyle alt-kelime gömmeleri ve karakter tabanlı modeller özellikle önem kazanmaktadır: "gidiyorum", "gidiyorsun", "gidiyoruz" gibi çekimli formlar kök anlamını paylaşacak biçimde kodlanabilir. Günümüzde kelime gömmesi kavramı cümle ve belge gömmelerine (sentence/document embeddings) evrilmiştir. OpenAI text-embedding-3, Cohere Embed ve Mistral Embed gibi modeller tüm paragrafı tek bir vektörle temsil ederek Retrieval-Augmented Generation (RAG) altyapıları, semantik arama motorları ve öneri sistemlerinin omurgasını oluşturur. Gömme kalitesi cosine benzerliği ve kNN kıyaslamaları ile ölçülür; STS (Semantic Textual Similarity) benchmark setleri alanda standart değerlendirme ölçütü olarak kullanılır.