DiScoFormer: Tek Bir Modeller Yoğunluk ve Skor Tahmini
Yeni bir transformer modeli olan DiScoFormer, veri noktalarından dağılımın yoğunluğunu ve skorunu tek bir ileri geçişte, yeniden eğitim gerektirmeden tahmin ediyor. Kernel yoğunluk tahminini genelleştirerek yüksek boyutlarda 37 kata kadar daha iyi performans sunuyor.
DiScoFormer Nedir?
Makine öğrenimi ve bilimsel hesaplamada sık karşılaşılan bir problem, bir veri kümesinden bu verilerin geldiği dağılımı kestirmektir. Bu, dağılımın yoğunluğunu (density) ve özellikle yüksek boyutlarda daha kullanışlı olan skorunu (score) tahmin etmeyi gerektirir. Skor, log-yoğunluğun gradyanıdır ve bir noktayı daha olası bir bölgeye yönlendirir. Difüzyon tabanlı üretken modeller (Stable Diffusion, DALL-E gibi) rastgele gürültüden başlayarak skoru takip eder ve gerçekçi görüntüler üretir. Aynı skor, Bayes örneklemesi ve plazma gibi sistemlerin parçacık simülasyonlarında da kullanılır.
Mevcut yöntemler genellikle genelleme yeteneği ile doğruluk arasında bir ödünleşim gerektirir. Örneğin, klasik kernel yoğunluk tahmini (KDE) eğitim gerektirmez ve her dağılıma uygulanabilir, ancak boyut arttıkça doğruluğu hızla düşer. Sinir ağı tabanlı skor eşleme modelleri yüksek boyutlarda doğru kalır, ancak her dağılım için yeniden eğitilmeleri gerekir.
DiScoFormer (Density and Score Transformer), bu soruna yeni bir çözüm sunar. Bir dizi veri noktası verildiğinde, dağılımın hem yoğunluğunu hem de skorunu tek bir ileri geçişte, yeniden eğitim gerektirmeden tahmin eden bir transformer modelidir. Bu, özellikle Türkiye'deki araştırma grupları için önemlidir; çünkü sınırlı hesaplama kaynaklarıyla her yeni problem için model eğitmek yerine, tek bir modeli farklı görevlerde kullanabilirler.
Nasıl Çalışır?
DiScoFormer, tüm örneklemi temsil eden bir bağlam (context) ile sorgu (query) noktaları arasında çapraz dikkat (cross-attention) mekanizması kullanır. Bu sayede model, yalnızca veri olan noktalarda değil, herhangi bir noktada yoğunluk ve skor tahmini yapabilir. Yoğunluk ve skor matematiksel olarak ilişkilidir: skor, log-yoğunluğun gradyanıdır. DiScoFormer, bu ilişkiyi kullanarak paylaşımlı bir omurga (shared backbone) ve iki çıktı başlığı (output head) ile çalışır. Skor başlığı, her sorguda log-yoğunluk başlığının gradyanına eşit olmak zorundadır; bu iki çıktı arasındaki fark, etiket gerektirmeyen bir tutarlılık kaybı (consistency loss) oluşturur. Model, çıkarım sırasında bu tutarlılık kaybını kullanarak birkaç gradyan adımı ile kendini yeni bir dağılıma uyarlayabilir. Örneğin, eğitim sırasında görülmeyen bir Gauss karışımı (GMM) verildiğinde, model sadece 10-20 gradyan adımı ile uyum sağlayabilir.
Neden Transformer?
Kernel yoğunluk tahmininde, her bir veri noktasının etki alanını belirleyen tek bir bant genişliği (bandwidth) sabit olarak belirlenir. Dikkat mekanizması (attention) bunun genelleştirilmiş halidir: tek bir dikkat başlığının ağırlıkları, veri üzerinde neredeyse bir Gauss çekirdeği (Gaussian kernel) oluşturur. DiScoFormer, KDE'yi özel bir durum olarak içerir ve onu geliştirir. Model, birden fazla ölçeği aynı anda öğrenerek veriye uyum sağlar. Ayrıca, transformer mimarisi sayesinde model, veri noktaları arasındaki uzun menzilli ilişkileri de yakalayabilir; bu, KDE'nin yapamadığı bir şeydir.
Eğitim Verisi ve Performans
DiScoFormer, eğitim için Gauss Karışım Modelleri (GMM) kullanır. GMM'ler evrensel yoğunluk yaklaşıklayıcılarıdır ve kapalı formda yoğunluk ile skor hesaplamaya izin verir. Her mini-grup (batch) için yeni bir GMM oluşturulur, böylece model neredeyse sınırsız sayıda farklı dağılım örneğiyle karşılaşır. Eğitim sırasında 2 ile 10 arasında bileşen sayısına sahip GMM'ler kullanılmıştır.
Sonuçlar: DiScoFormer, hem yoğunluk hem de skor tahmininde KDE'yi geride bırakır. 100 boyutta, en iyi ayarlanmış KDE'ye kıyasla skor hatasını yaklaşık 6.5 kat, yoğunluk hatasını ise 37 kattan fazla azaltır. Ayrıca, eğitim sırasında görülmeyen dağılımlara (daha fazla modlu karışımlar, Laplace, Student-t gibi) karşı da doğruluğunu korur. Örneğin, 20 bileşenli bir GMM'de bile hata oranı sadece %5 artmıştır. KDE'nin tek avantajı, özellikle küçük veri kümelerinde hızlı olmasıdır; ancak örnek sayısı arttıkça DiScoFormer'un performansı artarken KDE'nin belleği tükenir.
Neden Önemli?
Skor tahmini, üretken modeller, Bayes çıkarımı ve bilimsel hesaplama gibi birçok alanın ortak ihtiyacıdır. DiScoFormer, önceden eğitilmiş, yüksek boyutlarda doğru ve yeniden eğitim gerektirmeyen bir tahminleyici olarak bu alanlardaki maliyeti tek seferde düşürebilir. Türkiye'deki yapay zeka araştırmacıları ve mühendisler için, özellikle büyük dil modelleri ve görüntü üretimi gibi kaynak yoğun uygulamalarda, yeniden eğitim ihtiyacını ortadan kaldırması önemli bir verimlilik artışı sağlayabilir. Örneğin, bir Türk startup'ı, DiScoFormer'ı kullanarak farklı müşteri veri kümeleri için ayrı ayrı model eğitmek yerine, tek bir modelle yoğunluk ve skor tahmini yaparak zamandan ve GPU maliyetinden tasarruf edebilir. Ayrıca, modelin KDE'yi genelleştirmesi, klasik yöntemleri tamamen reddetmek yerine onları iyileştiren bir yaklaşım sunar; bu da akademik ve endüstriyel uygulamalarda pratik fayda sağlar. Sonuç olarak, DiScoFormer, hem teorik hem de pratik açıdan önemli bir adım olup, birçok alanda yeniden kullanılabilir bir araç olarak öne çıkmaktadır.
