Bayesian Optimization (Bayesci Eniyileme)
Bayesian Optimization (Bayesci Eniyileme), gradient bilgisi olmadan ve fonksiyonun matematiksel formu bilinmeden, kara kutu niteliğindeki pahalı amaç fonksiyonlarını en az sayıda değerlendirmeyle optimize etmeye yarayan ileri bir arama yöntemidir. Temel fikir şudur: geçmiş değerlendirmelerden elde edilen bilgiyi bir olasılık modeline (vekil/surrogate model) aktarmak, ardından bu modeli kullanarak bir sonraki en umut verici noktayı akıllıca seçmek.
Yöntem döngüsel ve sıralı çalışır. İlk olarak birkaç rastgele nokta değerlendirilir; elde edilen sonuçlar bir Gaussian Process (Gaussian Süreç) gibi probabilistik bir vekil modele fit edilir. Daha sonra bir kazanım fonksiyonu (acquisition function) — çoğunlukla Beklenen İyileşme (Expected Improvement, EI), Üst Güven Sınırı (Upper Confidence Bound, UCB) veya İyileşme Olasılığı (Probability of Improvement, PI) — vekil modelden hesaplanarak yeni bir aday nokta seçilir. Gerçek amaç fonksiyonu bu noktada değerlendirilir, sonuç modele eklenir ve döngü devam eder.
Bayesian Optimization, özellikle derin öğrenme modellerinde hiperparametre optimizasyonu, otomatik makine öğrenmesi (AutoML) çerçeveleri ve sinir mimarisi arama (Neural Architecture Search, NAS) gibi her değerlendirmenin saatler sürebildiği senaryolarda Grid Search veya Random Search'e kıyasla büyük verimlilik avantajı sağlar. Popüler uygulamalar arasında Hyperopt, Optuna, SMAC ve Google Vizier sayılabilir.
Yöntemin sınırlılıkları arasında Gaussian Process tabanlı vekil modelin yüksek boyutlarda hesaplama maliyetinin O(n³) ile artması ve doğası gereği sıralı işlem gerektirmesi yer alır. Bu sınırlılıkları aşmak için Tree-structured Parzen Estimator (TPE) ve Random Forest tabanlı SMAC gibi alternatif vekil modeller kullanılmaktadır.