Language Identification (LID) (Dil Tanıma)

#ses-işleme #asr #çok-dilli #konuşma-tanıma

Bir ses kaydı veya metin parçasının hangi dile ait olduğunu otomatik olarak belirleyen yapay zeka tekniği.

Language Identification (LID), kısaca dil tanıma, bir konuşma kaydının ya da metin parçasının hangi dile ait olduğunu insan müdahalesi olmadan otomatik olarak belirleyen yapay zeka görevidir. Çok dilli sistemlerin olmazsa olmaz bir ön işlem katmanı olan LID, gelen sesi veya metni önce tanımlayarak doğru ASR modeline, çeviri motoruna ya da içerik denetim sistemine yönlendirir. İki ana kolu bulunmaktadır: konuşma tabanlı LID ve metin tabanlı LID. Konuşma tabanlı LID'de sistem, sesten log-mel spektrogram veya MFCC gibi akustik öznitelikler çıkarır ve bunları sabit uzunluklu bir gömmeye (embedding) dönüştürür. Klasik yaklaşımlarda i-vektörler kullanılırken modern sistemler ECAPA-TDNN, x-vektör veya Whisper gibi derin sinir ağı mimarilerini tercih etmektedir. SpeechBrain'in VoxLingua107 üzerinde eğitilmiş ECAPA-TDNN modeli 107 dilde %93,3 doğruluk sağlarken OpenAI Whisper'ın large-v3 sürümü FLEURS kıyaslamasında %94,6 oranına ulaşmaktadır. 2025-2026 itibarıyla FireRedLID bu kıyaslamada %97,18 ile en yüksek doğruluğa ulaşmıştır. Meta'nın MMS-LID-4017 modeli ise 4.017 dili tanıyabilen en geniş kapsama sahip sistemdir. Metin tabanlı LID'de karakter n-gramları, kelime embeddingleri ve kural tabanlı yöntemler kullanılır. Meta'nın fastText tabanlı modeli 176 dili, GlotLID ise 600'den fazla düşük kaynaklı dili desteklemektedir. LID; çok dilli çağrı merkezi yönlendirme, makine çevirisi, içerik denetimi ve konuşucu diyarizasyonu gibi alanlarda yaygın biçimde kullanılmaktadır. Tek konuşmada birden fazla dilin kullanıldığı kod değiştirme (code-switching) senaryoları, sistem tasarımında önemli bir zorluk oluşturmaktadır. Ayrıca 3 saniyenin altındaki kısa ses parçalarında doğruluk belirgin biçimde düşer ve aksanlı konuşmalar bazı modellerin yanlış sınıflandırmasına yol açabilir. Türkçe, hem VoxLingua107 hem MMS-LID hem de Whisper'ın dil listeleri arasında yer almaktadır. Türkçenin sondan eklemeli (agglutinative) yapısı kısa metin parçalarında dil tanımayı güçleştirirken, TurkicNLP projesi Türk dili ailesi için ortak eğitimle kelime hata oranını %54 oranında azaltmayı başarmıştır.

LID Nasıl Çalışır?

Konuşma tabanlı LID sistemleri tipik olarak dört adımda çalışır. İlk olarak ham ses sinyalinden log-mel spektrogram veya MFCC gibi akustik öznitelikler çıkarılır. Ardından bu öznitelikler ECAPA-TDNN veya x-vektör gibi derin sinir ağı mimarisiyle işlenerek sabit uzunluklu bir gömme (embedding) vektörüne dönüştürülür. Bu gömme, softmax sınıflandırıcı ya da PLDA gibi bir karar birimine iletilir ve en olası dil etiketi üretilir. Modern büyük modeller (Whisper, MMS-LID) ise uçtan uca mimarilerle doğrudan ham sesten dil etiketini tahmin eder.

Önemli Modeller ve Sistemler

Alandaki başlıca sistemler şunlardır: SpeechBrain ECAPA-TDNN (107 dil, VoxLingua107 üzerinde %93,3 doğruluk), OpenAI Whisper large-v3 (99 dil, FLEURS'ta %94,6 doğruluk), FireRedLID (FLEURS'ta %97,18 ile güncel en yüksek performans), Meta MMS-LID-4017 (4.017 dil kapsamıyla en geniş sistem). Metin tabanlı LID'de fastText (176 dil) ve GlotLID (600'den fazla düşük kaynaklı dil) yaygın kullanılmaktadır. Çok modlu sistemlerde ise SeamlessM4T entegre bir LID bileşeni sunmaktadır.

Başlıca Kullanım Alanları

LID; çok dilli çağrı merkezi yönlendirme (müşterinin diline göre otomatik aktarım), makine çevirisi boru hatları (kaynak dil belirlenmeden çeviri yapılamaz), içerik denetimi (dile özgü kural setleri uygulama), konuşucu diyarizasyonu ve hava trafik kontrolü gibi kritik alanlarda uygulanır. Sosyal medya platformları da çok dilli içerik moderasyonu ve dil politikası uyumu için LID kullanmaktadır.

Başlıca Zorluklar

Kod değiştirme (code-switching) en temel zorluktur: tek konuşmada iki veya daha fazla dilin kullanılması sistemi yanıltabilir; MaskLID gibi yinelemeli maskeleme yaklaşımları bu soruna çözüm sunmaktadır. Kısa ses parçaları (3 saniye altı) doğruluğu ciddi ölçüde düşürür. 2025 araştırmaları bazı LID modellerinin aslında dil yerine aksanı sınıflandırdığını ortaya koymuştur. Düşük kaynaklı dillerde yetersiz eğitim verisi nedeniyle hata oranı yüksek kalmaktadır.

Türkçe ve Türk Dili Ailesi

Türkçe, VoxLingua107, Whisper (99 dil) ve Meta MMS-LID kapsama alanında yer almaktadır. Türkçenin sondan eklemeli (agglutinative) yapısı kısa metin parçalarında dil tanımayı güçleştirebilir. TurkicNLP projesi, Azerbaycanca ve Kazakça gibi Türk dili ailesi dillerini ortak eğitimle destekleyerek kelime hata oranını %54 azaltmayı başarmıştır. Çağrı merkezlerinde Türkçe-İngilizce kod değiştirme senaryoları aktif araştırma konusu olmaya devam etmektedir.

Sık Sorulan Sorular

  • check_circle LID ile ASR arasındaki fark nedir? ASR (Otomatik Konuşma Tanıma) sesi metne dönüştürürken LID yalnızca konuşulan dili belirler. LID genellikle ASR'dan önce çalışan bir yönlendirici katmandır.
  • check_circle Hangi LID modeli en fazla dili destekler? Meta'nın MMS-LID-4017 modeli 4.017 dili tanıyabilmesiyle mevcut en geniş kapsama sahip sistemdir.
  • check_circle LID, konuşucu tanıma ile aynı şey midir? Hayır. Konuşucu tanıma (speaker recognition) kimin konuştuğunu belirlerken LID hangi dilde konuşulduğunu saptar. Her iki görev benzer akustik mimari kullanabilir ancak amaçları farklıdır.
  • check_circle Kısa ses kayıtlarında LID güvenilir midir? 3 saniyenin altındaki ses parçalarında doğruluk önemli ölçüde düşer. 5-10 saniye ve üzeri konuşma kesimleri çok daha güvenilir sonuçlar verir.
  • check_circle Türkçe için en iyi LID modeli hangisidir? Whisper large-v3 ve Meta MMS-LID, Türkçeyi kapsayan ve yaygın kullanılan iki güçlü seçenektir. Yüksek doğruluk gerektiren uygulamalar için ECAPA-TDNN tabanlı sistemler de tercih edilmektedir.