category Gelişmiş Algoritmalar
Gelişmiş Algoritmalar kategorisi, yapay zeka ve makine öğrenimi alanındaki 25 temel terim ve kavramı kapsar: A* Algoritması Nedir? Yapay Zekada Yol Bulma, Bayesian Optimization, Beam Search Decoding Nedir? Paralel Hipotez Arama, Concept Drift Detection Nedir? Kavram Kayması Tespiti, Decision Trees, Fuzzy Logic. Her terim için tanım, örnek ve ilgili kavramları bu sayfadan keşfedebilirsiniz.
A* Algoritması Nedir? Yapay Zekada Yol Bulma (A* Arama Algoritması)
A* (A-yıldız) algoritması, 1968 yılında Peter Hart, Nils Nilsson ve Bertram Raphael tarafından Stanford Araştırma Enstitüsü'nde geliştirilen, graflar ve ağlar üzerinde en kısa yolu bulan sezgisel bir arama algoritmasıdır. Yapay zeka, robotik, oyun geliştirme ve navigasyon sistemlerinde en yaygın kullanılan yol bulma (pathfinding) yöntemi olma özelliğini korumaktadır. A*, Dijkstra algoritmasının garantili optimalliği ile sezgisel arama yöntemlerinin verimliliğini bir araya getirir. Temel değerlendirme fonksiyonu f(n) = g(n) + h(n) formülüyle tanımlanır: g(n) başlangıç noktasından mevcut düğüme ulaşmanın gerçek maliyetini, h(n) ise mevcut düğümden hedef noktaya olan tahmini mesafeyi (sezgisel fonksiyon) ifade eder. Bu iki bileşeni birleştirerek algoritma, hem geçmiş maliyeti hem de gelecekteki tahmini maliyeti optimize eder. Algoritmanın doğruluk ve optimallik garantisi, kullanılan sezgisel fonksiyonun kabul edilebilir (admissible) olmasına bağlıdır. Kabul edilebilir sezgisel, gerçek maliyeti hiçbir zaman olduğundan fazla tahmin etmez. Düzlemsel koordinatlarda sıklıkla kullanılan Öklid ve Manhattan mesafe formülleri bu kriteri karşılar. Sezgisel aynı zamanda tutarlı (consistent/monotone) olduğunda A* keşfedilen düğümleri yeniden ziyaret etmez ve bellek kullanımı azalır. A*, açık liste (open list) ve kapalı liste (closed list) veri yapılarıyla çalışır. Önce başlangıç düğümünü açık listeye ekler; her adımda f değeri en düşük düğümü seçer, komşularını değerlendirir ve listeyi günceller. Bu süreç hedefe ulaşılana veya tüm olası yollar tükenene kadar devam eder. Öncelik kuyruğu (priority queue) ile uygulandığında zaman karmaşıklığı O(E log V) mertebesindedir. Yapay zeka araştırmalarında A*, pekiştirmeli öğrenmede planlama problemlerinin çözümünde, doğal dil işlemede sözdizimi ağaçlarının aranmasında ve konfigürasyon uzaylarında robot hareket planlamasında kullanılmaktadır. Oyun motorlarında ise NPC (Non-Player Character) yapay zekasının temel navigasyon bileşeni olarak yaygındır.
Bayesian Optimization (Bayesci Eniyileme)
Bayesian Optimization (Bayesci Eniyileme), gradient bilgisi olmadan ve fonksiyonun matematiksel formu bilinmeden, kara kutu niteliğindeki pahalı amaç fonksiyonlarını en az sayıda değerlendirmeyle optimize etmeye yarayan ileri bir arama yöntemidir. Temel fikir şudur: geçmiş değerlendirmelerden elde edilen bilgiyi bir olasılık modeline (vekil/surrogate model) aktarmak, ardından bu modeli kullanarak bir sonraki en umut verici noktayı akıllıca seçmek. Yöntem döngüsel ve sıralı çalışır. İlk olarak birkaç rastgele nokta değerlendirilir; elde edilen sonuçlar bir Gaussian Process (Gaussian Süreç) gibi probabilistik bir vekil modele fit edilir. Daha sonra bir kazanım fonksiyonu (acquisition function) — çoğunlukla Beklenen İyileşme (Expected Improvement, EI), Üst Güven Sınırı (Upper Confidence Bound, UCB) veya İyileşme Olasılığı (Probability of Improvement, PI) — vekil modelden hesaplanarak yeni bir aday nokta seçilir. Gerçek amaç fonksiyonu bu noktada değerlendirilir, sonuç modele eklenir ve döngü devam eder. Bayesian Optimization, özellikle derin öğrenme modellerinde hiperparametre optimizasyonu, otomatik makine öğrenmesi (AutoML) çerçeveleri ve sinir mimarisi arama (Neural Architecture Search, NAS) gibi her değerlendirmenin saatler sürebildiği senaryolarda Grid Search veya Random Search'e kıyasla büyük verimlilik avantajı sağlar. Popüler uygulamalar arasında Hyperopt, Optuna, SMAC ve Google Vizier sayılabilir. Yöntemin sınırlılıkları arasında Gaussian Process tabanlı vekil modelin yüksek boyutlarda hesaplama maliyetinin O(n³) ile artması ve doğası gereği sıralı işlem gerektirmesi yer alır. Bu sınırlılıkları aşmak için Tree-structured Parzen Estimator (TPE) ve Random Forest tabanlı SMAC gibi alternatif vekil modeller kullanılmaktadır.
Beam Search Decoding Nedir? Paralel Hipotez Arama (Işın Arama Kod Çözme)
Beam search decoding, otomatik çeviriden metin özetlemeye kadar geniş bir yelpazede kullanılan temel bir çıkarım algoritmasıdır. Greedy search her adımda yalnızca en yüksek olasılıklı tek tokeni seçerken; beam search 'ışın genişliği' (beam width, k) kadar hipotezi paralel biçimde takip eder. Her adımda mevcut k hipotezin her biri en olası devamlarıyla genişletilir, ortaya çıkan k×vocab_size aday arasından toplamda en yüksek log-olasılıklı k dizisi bir sonraki adım için korunur. Son token üretildiğinde (veya EOS tokeni görüldüğünde) en yüksek kümülatif olasılıklı dizi çıktı olarak döner. k=1 greedy search ile özdeştir; k arttıkça arama kalitesi artabilir ancak hesaplama ve bellek maliyeti de k katına çıkar.
Concept Drift Detection Nedir? Kavram Kayması Tespiti (Kavram Kayması Tespiti)
Concept drift detection (kavram kayması tespiti), makine öğrenmesi modellerinin üretim ortamında zamanla nasıl davrandığını izleyen ve giriş verilerinin ya da hedef değişkenin istatistiksel dağılımında meydana gelen kaymaları erken tespit eden bir MLOps tekniğidir. Bir model eğitildiğinde, belirli bir veri dağılımını temsil eden eğitim kümesi üzerinde optimize edilir. Ancak gerçek dünya koşulları değişkendir; kullanıcı davranışları, piyasa dinamikleri, çevresel faktörler veya sistem değişiklikleri nedeniyle veri dağılımı, modelin orijinal eğitim sürecinde öğrendiklerinden giderek uzaklaşabilir. Bu duruma kavram kayması denir ve model performansının bozulmasına yol açar. Kavram kaymasının üç temel türü vardır. Ani kayma (sudden drift), veri dağılımının kısa sürede dramatik biçimde değiştiği durumları tanımlar; COVID-19 salgınının e-ticaret alışkanlıklarını yatay kesmesi buna örnek verilebilir. Kademeli kayma (gradual drift), eski veri dağılımının yavaş yavaş yenisiyle yer değiştirdiği geçiş süreçlerini kapsar; mevsimsel tüketici eğilimlerinin kayması bu tür bir kavram kaymasıdır. Tekrarlı kayma (recurring drift) ise daha önce görülmüş dağılım kalıplarının periyodik olarak yeniden ortaya çıktığı döngüsel durumları ifade eder. Popüler tespit algoritmaları arasında ADWIN (ADaptive WINdowing), DDM (Drift Detection Method), EDDM (Early Drift Detection Method) ve Page-Hinkley testi öne çıkar. ADWIN, geçmiş veri penceresini dinamik olarak boyutlandırarak istatistiksel sapmaları saptar. DDM ise model hatası oranını ve standart sapmasını izleyerek drift'i erken uyarıyla bildirir. MLOps pipeline'larında kavram kayması tespiti, modelin ne zaman yeniden eğitileceğini veya fine-tuning yapılacağını belirleyen kritik bir karar mekanizmasıdır. Amazon SageMaker Model Monitor, Evidently AI, WhyLogs ve Nannyml gibi araçlar bu süreci otomatikleştirir. Erken tespit, iş kararlarını olumsuz etkileyebilecek sessiz model çürümesini (model decay) önler.
Decision Trees (Karar Ağaçları)
Karar Ağaçları (Decision Trees), tıpkı insan beyninin bir problemi çözerken "Evet/Hayır" soruları sorarak ilerlemesi mantığıyla çalışan, görsel olarak ters çevrilmiş bir ağaca benzeyen ve hem sınıflandırma hem de tahmin (regresyon) yapabilen çok popüler bir makine öğrenimi algoritmasıdır.
Fuzzy Logic (Bulanık Mantık)
Bulanık Mantık (Fuzzy Logic), klasik bilgisayarların "0 veya 1" (Siyah veya Beyaz / Doğru veya Yanlış) şeklindeki katı, ikili mantığına karşı çıkan; hayattaki "Biraz, Çok, Kısmen" gibi ara değerleri ve grilikleri bilgisayarın anlamasını sağlayan matematiksel bir yaklaşımdır.
Genetic Algorithms (Genetik Algoritmalar)
Genetik Algoritmalar, doğrudan Charles Darwin'in "Doğal Seçilim ve Evrim" teorisinden ilham alınarak yazılmış, bilgisayar mühendisliğinde ve yapay zekada en iyi çözümü (optimum) bulmak için kullanılan arama ve optimizasyon algoritmalarıdır.
Inverse Reinforcement Learning (IRL) (Ters Pekiştirmeli Öğrenme)
Bir uzmanın (genellikle insanın) davranışlarını gözlemleyerek, bu davranışların altında yatan asıl amacı veya ödül fonksiyonunu (reward function) matematiksel olarak tahmin etme sürecidir.
K-Means Clustering (K-Ortalamalar Kümeleme)
K-Means Kümeleme, Denetimsiz Makine Öğreniminin (Unsupervised Learning) dünyadaki en popüler algoritmasıdır. Amacı, etiketsiz ve karmaşık bir veri yığınını, benzerliklerine (matematiksel yakınlıklarına) bakarak, önceden belirlenmiş "K" adet gruba (kümeye) otomatik olarak ayırmaktır.
Karınca Kolonisi Optimizasyonu (ACO) (Karınca Kolonisi Optimizasyonu)
Karınca Kolonisi Optimizasyonu (ACO), Marco Dorigo tarafından 1992 yılında geliştirilen ve karıncaların feromon izi bırakarak yiyecek kaynağı arama davranışını taklit eden bir meta-sezgisel optimizasyon algoritmasıdır. Gerçek karıncalar, kısa yollar üzerinde daha fazla feromon biriktiği için zamanla en kısa yolu keşfeder; ACO bu biyolojik mekanizmayı hesaplamalı problemlere uygular. Algoritma, sanal "yapay karıncaların" çözüm uzayını keşfetmesi, yüksek kaliteli çözümleri feromon yoğunluğuyla işaretlemesi ve sonraki karıncaların bu izleri izlemesiyle çalışır. İki temel mekanizma dengeyi sağlar: buharlaşma yoluyla feromon azalması yerel optimallerden kaçınmayı desteklerken, birikim ise iyi çözümlerin güçlendirilmesini sağlar. ACO, Gezgin Satıcı Problemi (TSP), ağ yönlendirme, çizelgeleme ve protein katlama gibi kombinatoryal optimizasyon problemlerinde başarıyla uygulanmaktadır. Önemli varyantları arasında Karınca Kolonisi Sistemi (ACS), MAX-MIN Karınca Sistemi (MMAS) ve Rank-Tabanlı Karınca Sistemi (ASrank) yer almaktadır.
KNN (K-En Yakın Komşu) (K-En Yakın Komşu Algoritması)
KNN (K-En Yakın Komşu), makine öğreniminin en temel ve anlaşılır denetimli öğrenme algoritmalarından biridir. Temel çalışma prensibi son derece sezgiseldir: yeni bir veri noktasını sınıflandırmak veya değer tahmin etmek için o noktaya en yakın K komşuya bakılır ve komşular arasındaki çoğunluk kararına göre sonuç belirlenir. Algoritma "tembel öğrenme" (lazy learning) kategorisine girer çünkü eğitim aşamasında herhangi bir model oluşturmaz; tüm hesaplamayı tahmin zamanında gerçekleştirir. Eğitim verisi doğrudan bellekte tutulur ve her yeni tahmin için tüm veriyle mesafe karşılaştırması yapılır. Bu yaklaşım eğitimi son derece hızlı kılarken büyük veri setlerinde tahmin aşamasını yavaşlatır. Mesafe ölçümü için çeşitli metrikler kullanılır. En yaygını Öklid (Euclidean) mesafesidir; ancak Manhattan mesafesi, Minkowski mesafesi ve cosine benzerliği de yaygın tercihlerdir. Özellik ölçekleri birbirinden farklıysa mutlaka min-max normalizasyonu veya z-skoru standartlaştırması uygulanmalıdır; aksi hâlde büyük ölçekli özellikler küçükleri baskılar ve mesafe hesabı yanıltıcı sonuçlar üretir. K sayısının seçimi algoritmanın performansını doğrudan etkiler. Küçük K değerleri (K=1 gibi) aşırı öğrenmeye (overfitting) yol açabilir; tek bir komşuya olan bağımlılık gürültülü veri noktalarını olduğundan önemli kılar ve karar sınırını düzensizleştirir. Büyük K değerleri model genellemesini artırır ancak karar sınırları körleşir ve küçük sınıf kümelemeleri kaybolabilir. Optimum K genellikle tek sayı olarak seçilir (oy beraberliğini önlemek için) ve çapraz doğrulama (cross-validation) ile belirlenir. KNN hem sınıflandırma hem de regresyon görevlerinde kullanılabilir. Sınıflandırmada en sık görülen komşu sınıfı atanırken, regresyonda K komşunun değerlerinin basit ya da ağırlıklı ortalaması alınır. Boyut laneti (curse of dimensionality) nedeniyle yüksek boyutlu uzaylarda noktalararası mesafeler anlamsızlaşmaya başlar; bu durum PCA gibi boyut azaltma veya özellik seçimi (feature selection) tekniklerinin önceden uygulanmasını zorunlu kılar. Algoritmanın hesaplama ve bellek maliyeti büyük veri kümelerinde sorun yaratabilir. Bu sorunu hafifletmek için KD-Tree veya Ball Tree gibi uzamsal indeks yapıları kullanılır; bu yapılar tahmin süresini O(n·d)'den O(d·log n)'e düşürür. Scikit-learn kütüphanesi KNeighborsClassifier ve KNeighborsRegressor sınıflarıyla KNN'i uçtan uca destekler.
Markov Decision Process (MDP) (Markov Karar Süreci)
Markov Karar Süreci (MDP), Pekiştirmeli Öğrenmenin (Reinforcement Learning) ve otonom ajanların belkemiğini oluşturan, durumların (State), eylemlerin (Action), ödüllerin (Reward) ve rastgeleliğin bulunduğu ortamlarda yapay zekanın "geleceği planlayarak en mantıklı kararı" almasını sağlayan matematiksel bir modeldir.
Mixture of Agents (Ajanların Karışımı)
Mixture of Agents (MoA — Ajan Karışımı), birden fazla büyük dil modelinin aynı sorunu bağımsız olarak yanıtladığı, ardından bir 'aggregator' modelin bu yanıtları sentezleyerek tek bir rafine çıktı ürettiği AI mimarisidir. Together AI tarafından önerilmiş olan MoA, tekil model yerine model topluluğu kullanarak AlpacaEval kıyaslamalarında GPT-4 Turbo'yu geride bırakan sonuçlar elde etmiştir.
Model Sıkıştırma (Model Sıkıştırma)
Model sıkıştırma (model compression), derin öğrenme ve makine öğrenimi modellerinin boyutunu, hesaplama maliyetini ve bellek gereksinimlerini azaltmaya yönelik tekniklerin genel adıdır. Milyarlarca parametre içeren büyük yapay zeka modelleri; eğitim sürecinde muazzam donanım kaynakları tüketir ve üretim ortamında yüksek gecikme ile enerji maliyeti yaratır. Model sıkıştırma, bu ağır modelleri orijinal doğruluk değerlerine yakın tutarken çok daha küçük, hızlı ve verimli hale getirir. Temel model sıkıştırma yöntemleri dört ana başlık altında incelenir. Birincisi budama (pruning): modeldeki önemsiz ağırlıkları veya nöronları tespit edip kaldırarak bağlantılar seyreltilir; bu yöntemle %50-90 oranında parametre azaltımı elde edilebilir. İkincisi niceleme (quantization): 32-bit kayan noktalı ağırlık değerleri 8-bit veya 4-bit tam sayılara dönüştürülür; böylece hem bellek hem de çıkarım (inference) süresi 2-8 kat iyileştirilebilir. Üçüncüsü bilgi damıtma (knowledge distillation): büyük bir öğretmen modelin yümuşak olasılık çıktıları küçük bir öğrenci modele aktarılarak kompakt ama güçlü modeller elde edilir. Dördüncüsü ise düşük ranklı ayrıştırma (low-rank factorization): büyük ağırlık matrisleri iki küçük matrisin çarpımına ayrıştırılır; LoRA ve QLoRA bu yaklaşımın modern uygulamalarıdır. Pratik ekosistemde GPTQ, AWQ, GGUF ve bitsandbytes gibi araçlar, büyük dil modellerini tüketici sınıfı GPU'larda ve hatta CPU üzerinde çalıştırılabilir hale getirmiştir. llama.cpp projesi sayesinde 70 milyar parametreli modeller sıradan dizüstü bilgisayarlarda bile çalışabilmektedir. Model sıkıştırma; akıllı telefon tabanlı konuşma tanıma, gerçek zamanlı nesne algılama, uç cihaz (edge) yapay zekası ve kaynak kısıtlı IoT sistemleri gibi alanlarda kritik önem taşımaktadır.
Monte Carlo Tree Search (MCTS) Nedir? (Monte Carlo Ağaç Araması)
Monte Carlo Tree Search (MCTS), olasılıksal simülasyonlar kullanarak geniş karar ağaçlarında en iyi hamleyi bulan buluşsal bir arama algoritmasıdır. Klasik minimax aramasından farklı olarak tüm dalları değerlendirmek yerine yüzlerce rastgele simülasyon (rollout) çalıştırır ve kaynakları en umut verici bölgelere yoğunlaştırır. Dört aşamalı bir döngü üzerine kuruludur: Seçim aşamasında mevcut ağaçta UCT (Upper Confidence bounds applied to Trees) formülüyle en iyi düğüm seçilir; Genişleme aşamasında seçilen düğüme yeni çocuk düğümler eklenir; Simülasyon (Rollout) aşamasında rasgele ya da ağırlıklı politika oynamasıyla bir sonuca gidilir; Geri Yayılım aşamasında simülasyon sonucu ağaçtan köke kadar taşınarak istatistikler güncellenir. Verilen süre ya da iterasyon sayısı dolana dek bu döngü tekrar eder; en çok ziyaret edilen kök çocuğu nihai hamle olarak seçilir. Algoritma 2006 yılında Rémi Coulom tarafından bilgisayarlı Go için önerilmiş, Kocsis ve Szepesvári'nin UCT formülüyle güçlendirilmiştir. 2016'da DeepMind'ın AlphaGo programı MCTS'i derin sinir ağlarıyla birleştirerek dünya Go şampiyonu Lee Sedol'ü 4-1 yenerek tarihin en dikkat çekici yapay zeka başarılarından birini gerçekleştirmiştir. 2017'de AlphaZero, satranç, shogi ve Go'da yalnızca öz-oyun ve MCTS kullanarak insan yazılmış bilgiye ihtiyaç duymaksızın tablo kıran performanslar elde etmiştir. MCTS, değerlendirme fonksiyonu tasarlamak güç olmakla birlikte simülasyonların hızlı olduğu board oyunlarından robot planlamasına, ilaç keşfine ve operasyon araştırmasına kadar pek çok alanda tercih edilen güçlü bir karar verme aracıdır.
Neural Architecture Search (NAS) Nedir? Otomatik Model Tasarımı (Nöral Ağ Mimarisi Arama)
Neural Architecture Search (NAS), en yüksek performansı sağlayan sinir ağı mimarisini insan müdahalesi olmadan otomatik olarak keşfeden bir yapay zeka tekniğidir. NAS, araştırmacıların manuel deneme yanılma yoluyla haftalarca uğraştığı mimari tasarım sürecini otomatikleştirerek hem süreyi hem de maliyeti dramatik biçimde düşürür. EfficientNet ve NASNet gibi çığır açan modeller bu yöntemle keşfedilmiştir.
PCA (Principal Component Analysis) (Temel Bileşen Analizi)
PCA (Temel Bileşen Analizi), makine öğreniminde çok fazla değişkene (özelliğe/boyuta) sahip karmaşık verileri, en önemli bilgileri (varyansı) kaybetmeden çok daha az sayıdaki değişkenle (boyut azaltma - dimensionality reduction) ifade etmeye yarayan çok güçlü bir istatistiksel dönüşüm tekniğidir.
PRM (Süreç Ödül Modeli)
PRM (Process Reward Model — Süreç Ödül Modeli), bir yapay zekanın mantık yürütme sürecindeki her adımı ayrı ayrı değerlendiren ödül modelidir. Yalnızca nihai cevabı denetleyen ORM'nin aksine PRM, ara adımların kalitesini de ölçer; bu sayede model doğru sonuca yanlış akıl yürütmeyle değil, gerçekten sağlam bir düşünce zinciriyle ulaşmayı öğrenir.
Quantum Machine Learning (Kuantum Makine Öğrenimi)
Kuantum makine öğrenimi (QML), kuantum bilgisayarların süperpozisyon, dolanıklık (entanglement) ve kuantum girişimi (interference) gibi temel mekanik özelliklerini klasik makine öğrenmesi algoritmalarıyla birleştiren disiplinlerarası bir araştırma alanıdır. Temel hedef; büyük veri kümelerini analiz etmek, karmaşık optimizasyon problemlerini çözmek ve yeni kuantum özgün modeller geliştirmek için kuantum bilgisayarların potansiyel hesaplama hızı avantajından yararlanmaktır. QML yaklaşımları üç ana kategoride incelenir: Birincisi, kuantumdan ilham alan algoritmalar (quantum-inspired) klasik donanımda kuantum prensiplerini taklit eder. İkincisi, hibrit kuantum-klasik algoritmalar hesaplamayı kuantum ve klasik işlemciler arasında bölerek bugünün gürültülü ara ölçekli kuantum (NISQ) cihazlarında çalışabilir. Üçüncüsü ise tamamen kuantum algoritmalar teorik olarak tam ölçekli evrensel kuantum bilgisayarı gerektirir. En yaygın QML algoritmaları arasında Kuantum Destek Vektör Makinesi (QSVM), Kuantum Sinir Ağları (QNN), Değişimsel Kuantum Özdeğer Çözücü (VQE) ve Kuantum Yaklaşık Optimizasyon Algoritması (QAOA) sayılabilir. VQE, parametre ayarını klasik optimizatöre bırakırken kuantum durumlarını donanım üzerinde ölçen hibrit bir yapı sunar; bu sayede NISQ cihazlarında da uygulanabilir hale gelir. Uygulama alanları arasında ilaç keşfi ve moleküler simülasyon, finansal portföy optimizasyonu, malzeme bilimi, kriptografi ve lojistik planlaması öne çıkar. IBM Qiskit, Google Cirq, Xanadu PennyLane ve TensorFlow Quantum gibi çerçeveler araştırmacılara kuantum devrelerini simüle etme ve gerçek kuantum donanımına erişim imkânı sunar. Klasik makine öğrenmesine kıyasla "kuantum üstünlüğü" henüz pratikte genel olarak ortaya konulamamıştır; ancak HHL algoritması gibi belirli problem sınıflarında teorik üstel hız kazanımı kanıtlanmıştır. QML, günümüzde ağırlıklı olarak teorik ve deneysel aşamada olmakla birlikte, gelecekte hesaplama yoğun yapay zeka modellerinin eğitimini kökten dönüştürebilecek potansiyele sahiptir.
Random Forest (Rastgele Orman)
Rastgele Orman (Random Forest), tek bir karar ağacının zayıflıklarını (overfitting/ezberleme) ortadan kaldırmak için, yüzlerce hatta binlerce farklı karar ağacının bir araya gelerek bir "Orman" oluşturduğu ve hep birlikte oy kullanarak sonuca vardığı Ensemble (Topluluk) öğrenme algoritmasıdır.
ReAct (Akıl Yürütme + Eylem)
ReAct (Reasoning + Acting), büyük dil modellerinin (LLM) akıl yürütme izlerini (reasoning traces) ve eylemleri (actions) birbirine kenetleyerek ürettiği bir prompting çerçevesidir. Shunyu Yao ve arkadaşları tarafından 2022 yılında yayımlanan "ReAct: Synergizing Reasoning and Acting in Language Models" makalesiyle tanıtılmıştır. Geleneksel zincir-düşünce (Chain-of-Thought) prompting'i yalnızca dahili akıl yürütmeye dayanırken, ReAct modelin aynı zamanda harici araçlarla (web arama, hesap makinesi, veritabanı sorgusu) etkileşime girmesine olanak tanır. Her adımda model önce bir düşünce üretir (Thought), ardından bir eylem gerçekleştirir (Action), sonra bu eylemin sonucunu gözlemler (Observation) ve döngü tekrarlanır. ReAct döngüsü şu şekilde işler: 1) Model mevcut bağlamı değerlendirerek sıradaki adım için bir plan düşüncesi (Thought) üretir. 2) Bir araç çağrısı veya başka bir eylem (Action) tanımlar. 3) Araçtan dönen sonucu gözlemler (Observation). 4) Gözlemi bağlama ekleyerek yeni bir Thought üretir. Bu döngü görev tamamlanana kadar devam eder. ReAct, AI ajan çerçevelerinin (LangChain, LlamaIndex, OpenAI Agents, Google Vertex AI Agents) temel akıl yürütme stratejisi olarak yaygınlaşmıştır. Özellikle açık uçlu soru cevaplama, olgusal doğrulama (fact-checking) ve çok adımlı problem çözmede saf CoT'a kıyasla belirgin doğruluk artışı sağlar. Modelin hem düşüncesini hem de eylemini izlenebilir kılması, hata ayıklamayı ve güvenilirliği artırır.
Support Vector Machines (SVM) (Destek Vektör Makineleri)
Destek Vektör Makineleri (SVM), özellikle sınıflandırma (Classification) ve regresyon problemlerinde verileri birbirinden ayırmak için kullanılan çok güçlü ve popüler bir denetimli (Supervised) makine öğrenimi algoritmasıdır. Temel amacı, iki farklı veri grubu (Örn: Elmalar ve Armutlar) arasına çizebileceği "en geniş yolu / çizgiyi" (Hiperdüzlem) bulmaktır.
Tabu Arama (Tabu Arama)
Tabu Arama, Fred Glover tarafından 1986 yılında geliştirilen ve kombinatoryal optimizasyon problemlerini çözmek için kullanılan meta-sezgisel bir arama algoritmasıdır. Temel fikir, yerel arama sırasında daha önce ziyaret edilen çözümleri veya yapılan hareketleri geçici olarak yasaklayan bir 'tabu listesi' tutmaktır. Bu mekanizma algoritmanın yerel optimumlardan kaçmasını ve arama uzayını daha geniş biçimde keşfetmesini sağlar. Algoritma, komşuluk araması yaparak mevcut çözümün komşularını değerlendirir ve tabu listesinde yer almayan en iyi komşuya geçer; bu nedenle çözüm kalitesini geçici olarak kötüleştiren adımlar da atılabilir. Uzun vadeli bellek yapıları (diversifikasyon) ile arama uzayının az keşfedilen bölgelerine yönelme ve yoğunlaştırma stratejileriyle umut vaat eden bölgelerdeki aramanın derinleştirilmesi mümkündür. Tabu Arama; gezgin satıcı problemi (TSP), çizelgeleme, araç rotalama, grafik renklendirme ve ağ tasarımı gibi NP-zor problemlerde yaygın olarak kullanılır.
Taslak Model (Taslak Model)
Taslak Model (Draft Model), spekülatif kod çözme (speculative decoding) yönteminde büyük doğrulayıcı modele aday token dizileri öneren küçük ve hızlı dil modelidir. Spekülatif kod çözmenin temel iddiası şudur: büyük modelin her token üretimi için yaptığı hesaplamanın büyük bölümünü küçük bir model ucuza gerçekleştirebilir; büyük model yalnızca bu önerileri toplu biçimde doğrulama veya reddetme rolünü üstlenir. Spekülatif kod çözme sürecinde taslak model γ adet token sırayla üretir. Ardından büyük doğrulayıcı model bu γ tokeni tek bir ileri geçişte (forward pass) paralel olarak değerlendirir. Kabul veya ret kararı her token için bağımsız olasılık karşılaştırmasıyla verilir; büyük modelin dağılımından belirgin biçimde sapan tokenler reddedilir. Reddedilen ilk token noktasından büyük model sıralı kod çözmeye geri döner. Bu mekanizma modelin çıktı dağılımını değiştirmez; yalnızca gecikme süresini azaltır. Taslak modelin seçimi kritiktir. Büyük modelle aynı model ailesinden gelen küçük bir versiyon (örneğin Llama 3 70B ile doğrulama yapılırken Llama 3 8B taslak olarak kullanılması) yüksek token kabul oranı sağlar; taslak modelin dil dağılımı doğrulayıcıya yakın olduğunda daha az token reddedilir. Farklı mimari veya eğitimdeki bir model düşük kabul oranına yol açar ve spekülatif kod çözmenin avantajını ortadan kaldırır. Taslak modelin bellek varlığı düşük olduğundan spekülatif kod çözme GPU bellek tüketimini artırsa da net verim kazancı önemlidir: iyi ayarlanmış senaryolarda büyük modelin tek başına çalışmasına kıyasla 2–3 kat hız artışı gözlemlenir. Google'ın Medusa yaklaşımı ise ayrı bir taslak model yerine doğrulayıcı modelin kafasına ek kafa katmanları ekleyerek aday tokenler üretir.
Token Kabul Oranı (Token Kabul Oranı)
Token Kabul Oranı (Token Acceptance Rate), spekülatif kod çözme sistemlerinde taslak modelin önerdiği tokenlerin büyük doğrulayıcı model tarafından kabul edilme yüzdesini ölçen verim metriğidir. Bu oran, spekülatif kod çözmenin pratikte ne kadar etkin çalıştığını değerlendirmenin temel göstergesidir. Spekülatif kod çözmede taslak model γ adet aday token önerir; doğrulayıcı model bunları değerlendirerek kabul veya reddeder. Eğer γ=8 öneride 6 tanesi kabul ediliyorsa token kabul oranı %75'tir. Kabul oranı yüksek olduğunda her doğrulayıcı geçişinden daha fazla yeni token kazanılır; bu durum fiili hız çarpanını artırır. Kabul oranı düştükçe spekülatif kod çözme geleneksel otoregresif kod çözmeye kıyasla avantajını yitirir ve belirli bir eşiğin altında geleneksel kod çözme daha verimli hâle gelir. Token kabul oranını etkileyen başlıca faktörler şunlardır: taslak modelin büyük modelle dağılım uyumu (kalibrasyonu), görev tipi, kontekst uzunluğu ve sıcaklık değeri. Aynı model ailesinden seçilen taslak modeller (LLaMA 3 8B + LLaMA 3 70B) dağılım uyumu yüksek olduğundan genellikle %80 üzerinde kabul oranı sağlar. Çeviri ve kod tamamlama gibi tahmin edilebilir görevler yaratıcı metin üretimine kıyasla daha yüksek kabul oranı verir. Token kabul oranı ile ortalama kabul uzunluğu (average accepted length, α) arasında doğrudan ilişki vardır. α değeri her doğrulayıcı geçişinde kabul edilen ortalama token sayısını gösterir ve teorik hız çarpanı (1 + α) olarak hesaplanır. Örneğin α=3 olduğunda teorik hız 4× artar. Pratikte bu değer GPU bellek bant genişliği ve model boyutu gibi faktörlere bağlı olarak değişir.