tag Algoritmalar
Bu sayfada Algoritmalar etiketi ile işaretlenmiş 2 yapay zeka kavramını bulabilirsiniz.
Beam Search (Işın Araması), doğal dil işleme ve konuşma tanıma alanlarında kullanılan sezgisel bir arama algoritmasıdır. Dizi üretimi görevlerinde, olası çıktı dizileri arasından en yüksek olasılıklı olanı bulmak amacıyla kullanılır. Açgözlü aramanın (greedy search) aksine, her adımda yalnızca tek en iyi seçeneği takip etmek yerine, belirlenen sayıda (ışın genişliği — beam width) en iyi adayı eş zamanlı olarak izler. Algoritma şöyle çalışır: Başlangıçta boş bir dizi ile başlanır ve her adımda mevcut adayların tüm olası genişlemeleri hesaplanır. Bu genişlemeler, toplam log-olasılık skorlarına göre sıralanır ve yalnızca en yüksek skorlu k aday (ışın genişliği) bir sonraki adıma aktarılır. Süreç, tüm diziler bir bitiş simgesi üretene ya da maksimum uzunluğa ulaşana dek devam eder. Işın genişliği (k) belirleyici bir hiperparametredir: k=1 durumu açgözlü aramaya eşdeğerdir ve en hızlı ama en az kapsamlı çözümdür. k değeri arttıkça çıktı kalitesi genel olarak yükselir; ancak hesaplama maliyeti de orantılı biçimde artar. Pratik uygulamalarda k=4 ile k=10 arasındaki değerler yaygındır. Beam Search, özellikle makine çevirisi, metin özetleme, konuşma sentezi ve konuşma tanıma sistemlerinde standart çözüm olarak kullanılmaktadır. Google Sinirsel Makine Çeviri sistemi ve pek çok modern dil modeli bu algoritmayı benimsemiştir. Bununla birlikte, açık uçlu metin üretiminde (yaratıcı yazım, diyalog sistemleri) tekrarlayıcı ve generik çıktılar üretme eğilimi nedeniyle nucleus sampling ve sıcaklık örnekleme gibi stokastik yöntemler ön plana çıkmıştır. Tarihsel olarak 1977 yılında konuşma tanıma araştırmalarında kullanılan Beam Search, derin öğrenme çağında NLP'nin temel bileşenlerinden biri haline gelmiştir. Algoritmanın hesaplama karmaşıklığı O(k × V × L) olup V sözcük dağarcığı boyutunu, L ise dizi uzunluğunu ifade eder; bu nedenle büyük dil modellerinde inference maliyetini doğrudan etkiler.
Beam Search (Işın Araması)
Beam Search (Işın Araması), doğal dil işleme ve konuşma tanıma alanlarında kullanılan sezgisel bir arama algoritmasıdır. Dizi üretimi görevlerinde, olası çıktı dizileri arasından en yüksek olasılıklı olanı bulmak amacıyla kullanılır. Açgözlü aramanın (greedy search) aksine, her adımda yalnızca tek en iyi seçeneği takip etmek yerine, belirlenen sayıda (ışın genişliği — beam width) en iyi adayı eş zamanlı olarak izler. Algoritma şöyle çalışır: Başlangıçta boş bir dizi ile başlanır ve her adımda mevcut adayların tüm olası genişlemeleri hesaplanır. Bu genişlemeler, toplam log-olasılık skorlarına göre sıralanır ve yalnızca en yüksek skorlu k aday (ışın genişliği) bir sonraki adıma aktarılır. Süreç, tüm diziler bir bitiş simgesi üretene ya da maksimum uzunluğa ulaşana dek devam eder. Işın genişliği (k) belirleyici bir hiperparametredir: k=1 durumu açgözlü aramaya eşdeğerdir ve en hızlı ama en az kapsamlı çözümdür. k değeri arttıkça çıktı kalitesi genel olarak yükselir; ancak hesaplama maliyeti de orantılı biçimde artar. Pratik uygulamalarda k=4 ile k=10 arasındaki değerler yaygındır. Beam Search, özellikle makine çevirisi, metin özetleme, konuşma sentezi ve konuşma tanıma sistemlerinde standart çözüm olarak kullanılmaktadır. Google Sinirsel Makine Çeviri sistemi ve pek çok modern dil modeli bu algoritmayı benimsemiştir. Bununla birlikte, açık uçlu metin üretiminde (yaratıcı yazım, diyalog sistemleri) tekrarlayıcı ve generik çıktılar üretme eğilimi nedeniyle nucleus sampling ve sıcaklık örnekleme gibi stokastik yöntemler ön plana çıkmıştır. Tarihsel olarak 1977 yılında konuşma tanıma araştırmalarında kullanılan Beam Search, derin öğrenme çağında NLP'nin temel bileşenlerinden biri haline gelmiştir. Algoritmanın hesaplama karmaşıklığı O(k × V × L) olup V sözcük dağarcığı boyutunu, L ise dizi uzunluğunu ifade eder; bu nedenle büyük dil modellerinde inference maliyetini doğrudan etkiler.
Simulated Annealing (Benzetimli Tavlama)
Benzetimli Tavlama (Simulated Annealing), fizikteki metal tavlama sürecinden esinlenen olasılıksal bir optimizasyon algoritmasıdır. Metal tavlama işleminde erimiş metal yavaşça soğutularak atom dizilişi minimum enerji durumuna ulaşır; benzer şekilde bu algoritma da çözüm uzayında küresel minimumu (veya maksimumu) aramak için kontrollü bir soğuma stratejisi kullanır. Algoritma 1983 yılında Scott Kirkpatrick, C. Daniel Gelatt Jr. ve Mario P. Vecchi tarafından önerilmiştir. Benzetimli Tavlama, yerel minimumlara takılmaktan kaçınmak için başlangıçta yüksek bir sıcaklık parametresiyle çalışır. Bu aşamada kötü çözümleri belirli bir olasılıkla kabul edebilir. Sıcaklık yavaş yavaş azaldıkça (soğuma programı), algoritma giderek daha seçici hale gelir ve yalnızca daha iyi çözümleri kabul etmeye başlar. Bu sayede evrimsel süreçlerde görülen lokal optimallerden kaçış mekanizmasına benzer bir davranış elde edilir. Algoritma, pratik uygulamalarda son derece geniş bir kullanım alanına sahiptir: gezgin satıcı problemi (TSP), çizelgeleme optimizasyonu, devre tasarımı, portföy optimizasyonu ve ağ yönlendirme problemleri bunların başında gelir. Derin öğrenme çağında bile hiperparametre optimizasyonu ve sinir ağı ağırlıklarının başlangıç değerlerini ayarlamak için kullanılmaktadır. Temel parametre olan soğuma hızı (cooling schedule), algoritmanın başarısını doğrudan etkiler. Çok hızlı soğuma lokal minimuma takılmaya; çok yavaş soğuma ise aşırı uzun çalışma sürelerine yol açar.