Konuşma Tanımada Benchmark Optimizasyonu Ölçümü

Giriş: Benchmark Optimizasyonu Sorunu

Otomatik konuşma tanıma (ASR) sistemlerinin performansını değerlendirmek için kullanılan geleneksel benchmark'lar, gerçek dünya koşullarının çoğunu göz ardı ediyor. Bu nedenle, sesli sistemlerin güvenilirliği, doğallığı ve bağlamsal uygunluğu gibi özellikler ölçülememiş oluyor. Son dönemde, Real World VoiceEQ, Open-ASR Leaderboard ve Far-field ASR Leaderboard gibi platformlarda tutulan test setleri (held-out sets) bu sorunu çözmek için adımlar atıyor. Ancak, daha kapsamlı ölçümler tek başına yeterli değil. Makine öğrenmesinde sıkça tartışılan "benchmark optimizasyonu" veya "benchmaxxing" olarak bilinen bu olgu, konuşma tanımada ölçülmesi zor bir sorun olarak kalmıştı. Yeni araştırmalar, bu sorunu ölçmek için üç test öneriyor.

Üç Yeni Test ve Bulgular

Araştırmacılar, 11 yaygın açık kaynaklı ASR modelini değerlendirdi. Sonuçlar, en yüksek puan alan bazı sistemlerin, VoxPopuli İngilizce ve LibriSpeech (clean, other) veri kümelerindeki benchmark transkriptlerini, sesle çelişse bile yeniden ürettiğini gösterdi. Örneğin, bir VoxPopuli klibinde ses kaydında "Thank you, Mr. President" ifadesi açıkça duyulmasına rağmen, referans transkriptte "Thank you" kısmı eksikti. Test edilen 11 modelden 6'sı, sesle çelişmesine rağmen benchmark'ın hatalı transkriptini yeniden üretti. Bu davranış, modellerin yalnızca söyleneni değil, aynı zamanda hangi benchmark'ta test edildiklerini gösteren akustik ipuçlarını da kullandığını düşündürüyor.

Fikir Birliği Anlaşmazlığı Testi

İlk test olan "fikir birliği anlaşmazlığı" (consensus disagreement) testi, ASR modellerinin VoxPopuli'deki transkripsiyon hatalarıyla karşılaştığında ne yaptığını inceliyor. Düşük fonem hata oranına (PER) sahip bağımsız modellerden oluşan bir topluluk (ensemble) kullanılarak, modellerin referans transkriptle uyumsuz olduğu durumlar tespit ediliyor. Örneğin, bir klipte ses "Thank you" içerirken referans transkript bunu atlamış; modellerin çoğu hatalı transkripti tekrarlamış. Ancak, aynı içerik yeni kaydedilmiş seslerle sunulduğunda bu davranış zayıflıyor veya kayboluyor. Bu, modellerin benchmark üyeliğini tanıyan akustik ipuçlarına tepki verdiğini gösteriyor.

Sessize Alınan Sayılar ve Yazım Değişimleri

İkinci testte, test veri kümelerindeki sayılar bilinçli olarak sessize alındı ve modellerden duyduklarını yazmaları istendi. Sayılar seste olmadığı için modellerin sayı yazmaması gerekirken, bazı modeller referans transkriptteki sayıları yüksek oranda yeniden üretti. Özellikle LibriSpeech'te, güçlü benchmark performansına sahip modeller, sessize alınan sayıları örneklerin yaklaşık %30-40'ında geri getirdi. Üçüncü test ise yazım değişimlerini (orthographic switching) inceliyor: "any one" vs "anyone", "Mr." vs "Mister" gibi aynı sesli ancak farklı yazılan kelimeler. Modellerin, benchmark'ın beklediği yazım biçimini seçme oranı ölçüldü; bazı modeller %90'a varan doğrulukla benchmark'a özgü yazımı seçti.

Neden Önemli?

Bu bulgular, Türkiye'de ve dünyada ASR modeli seçerken dikkatli olunması gerektiğini gösteriyor. Benchmark skorlarına körü körüne güvenmek, gerçek dünya performansını abartabilir. Özellikle Türkçe gibi az kaynaklı dillerde, açık kaynaklı modellerin benchmark optimizasyonu yapması, yanıltıcı sonuçlara yol açabilir. Araştırmacılar ve geliştiriciler, tamamen ayrı tutulmuş (held-out) test setleri kullanmalı ve tek bir benchmark üzerindeki kelime hata oranına (WER) odaklanmak yerine, farklı koşullarda test etmelidir. Open ASR Leaderboard'a eklenen "Benchmark fitting" sekmesi, bu analizleri tüm modeller için sunarak daha şeffaf bir değerlendirme imkanı sağlıyor. Ayrıca, benchmark geliştiricilerinin basit rastgele ayrımlar yerine zamansal veya konuşmacı bazlı ayrımlar kullanması, eğitim verisi şeffaflığının artırılması öneriliyor. Bu sayede, gerçek iyileştirmeler ile benchmark'a özgü kazanımlar ayırt edilebilir.