Loss Function (Kayıp (Maliyet) Fonksiyonu)

Kayıp fonksiyonu (loss function), makine öğrenmesi modelinin tahminleri ile gerçek etiketler arasındaki farkı sayısal olarak ölçen matematiksel bir işlevdir. Eğitim sürecinin kalbi olan bu fonksiyon, modelin ne kadar 'yanlış' olduğunu bir skalar değere dönüştürür; optimizasyon algoritması da bu değeri minimize etmek için ağırlıkları günceller. Görev türüne göre farklı kayıp fonksiyonları kullanılır. İkili sınıflandırmada ikili çapraz entropi (binary cross-entropy), çok sınıflı görevlerde kategorik çapraz entropi (categorical cross-entropy) standarttır. Bu fonksiyonlar, modelin olasılık çıktıları ile gerçek etiketler arasındaki log-olasılık farklılığını ölçer ve modeli güvenilir olasılık kalibrasyonuna yönlendirir. Regresyon görevlerinde ortalama kare hata (Mean Squared Error, MSE) ve ortalama mutlak hata (Mean Absolute Error, MAE) en yaygın seçeneklerdir. MSE büyük hatalara ağırlık verirken MAE tüm hatalara eşit davranır; aykırı değer (outlier) hassasiyetine göre bu ikisi arasında seçim yapılır. Huber kaybı ise ikisinin karışımı olarak hem büyük hem küçük hatalarda dengeli davranır. Kayıp fonksiyonu, düzenlileştirme terimleriyle genişletilebilir. L1 (Lasso) ve L2 (Ridge) düzenlileştirmesi, kayıp değerine ağırlıkların büyüklüğüne orantılı bir ceza ekleyerek modelin aşırı öğrenmesini frenler ve seyrek çözümler üretmesini teşvik eder. GAN'larda, contrastive learning'de ve RL'de özel kayıp fonksiyonları (adversarial loss, triplet loss, policy gradient) görevin dinamiklerine göre tasarlanır. Seçilen kayıp fonksiyonu doğrudan optimizasyon yüzeyini şekillendirir ve bu nedenle model eğitiminin en kritik tasarım kararlarından birini oluşturur. Kayıp fonksiyonunun doğru seçimi, model mimarisinin doğru seçimi kadar belirleyicidir. Dengesiz sınıflara sahip bir veri setinde standart çapraz entropi kullanmak, modelin baskın sınıfa odaklanmasına yol açar; bu durumda focal loss gibi daha gelişmiş alternatifler devreye girer. Benzer biçimde, öneri sistemlerinde pairwise sıralama kaybı (pairwise ranking loss) veya bilgi damıtmada KL-diverjans kaybı tercih edilir. Kayıp yüzeyinin şekli, gradyan iniş yönteminin kaç adımda yakınsayacağını ve yerel minimuma takılıp takılmayacağını etkiler; bu nedenle kayıp seçimi ile öğrenme hızı ve momentum gibi hiperparametrelerin birlikte ele alınması gerekir.