tag Whisper
Speech Recognition (Konuşma Tanıma (ASR))
Bu sayfada Whisper (Speech Recognition (Konuşma Tanıma (ASR))) etiketi ile işaretlenmiş 2 yapay zeka kavramını bulabilirsiniz.
Konuşma tanıma (Speech Recognition), insan sesini makine tarafından otomatik olarak yazılı metne dönüştüren teknoloji ve araştırma alanıdır. Otomatik Konuşma Tanıma (Automatic Speech Recognition, ASR) olarak da anılan bu alan, akustik sinyalleri önce sayısal özellik vektörlerine, ardından kelime veya karakter dizilerine dönüştürür. Temel işlem hattı üç ana aşamadan oluşur: ses ön işleme (gürültü azaltma, ses normalizasyonu ve ses etkinlik tespiti), özellik çıkarma (Mel Frekans Kepstral Katsayıları, MFCC veya mel-spektrogram hesaplama) ve dil modeli tabanlı kod çözme aşaması. Tarihsel gelişim açısından değerlendirildiğinde Hidden Markov Model (HMM) ve Gaussian Mixture Model (GMM) kombinasyonları bu alanda uzun yıllar boyunca endüstri standardı olmuştur. 2010lu yıllarda derin öğrenmenin hızlı yükselişiyle birlikte tekrarlayan sinir ağları (RNN, LSTM) ve ardından Transformer mimarisi sahneye girmiştir. OpenAI tarafından 2022 yılında kamuoyuyla paylaşılan Whisper modeli, 680.000 saatlik çok dilli ses verisiyle eğitilmiş olup düşük kaynaklı diller dahil pek çok dilde yüksek tanıma doğruluğu göstermektedir. Meta tarafından geliştirilen MMS (Massively Multilingual Speech) projesi ise 1.100 den fazla dili kapsayan veri kümesiyle az kaynaklı dil araştırmalarına önemli bir katkı sunmuştur. Modern ASR sistemleri Kelime Hata Oranı (Word Error Rate, WER) metriğiyle karşılaştırılır. Temiz stüdyo ortamında en iyi sistemler yüzde üç ile beş arasında WER elde edebilirken gürültülü ortam, aksan çeşitliliği ve alan jargonu bu oranı ciddi biçimde yükseltebilmektedir. Gerçek zamanlı akış (streaming) sistemleri düşük gecikme için optimize edilmiş küçük modeller kullanırken toplu sistemler daha yüksek doğruluk için büyük modellerden yararlanır. Konuşma tanıma; sesli asistanlar, otomatik altyazı üretimi, çağrı merkezi kalite analizi, tıbbi dikte yazılımları ve motor engelli bireyler için geliştirilen erişilebilirlik araçlarında kilit bir teknoloji konumundadır. Yüksek çekimli ve eklemeli bir dil yapısına sahip olan Türkçe, sözcük biçimbilimi (morfoloji) açısından İngilizceye kıyasla ASR sistemleri için ek güçlükler barındırmaktadır.
Speech Recognition (Konuşma Tanıma (ASR))
Konuşma tanıma (Speech Recognition), insan sesini makine tarafından otomatik olarak yazılı metne dönüştüren teknoloji ve araştırma alanıdır. Otomatik Konuşma Tanıma (Automatic Speech Recognition, ASR) olarak da anılan bu alan, akustik sinyalleri önce sayısal özellik vektörlerine, ardından kelime veya karakter dizilerine dönüştürür. Temel işlem hattı üç ana aşamadan oluşur: ses ön işleme (gürültü azaltma, ses normalizasyonu ve ses etkinlik tespiti), özellik çıkarma (Mel Frekans Kepstral Katsayıları, MFCC veya mel-spektrogram hesaplama) ve dil modeli tabanlı kod çözme aşaması. Tarihsel gelişim açısından değerlendirildiğinde Hidden Markov Model (HMM) ve Gaussian Mixture Model (GMM) kombinasyonları bu alanda uzun yıllar boyunca endüstri standardı olmuştur. 2010lu yıllarda derin öğrenmenin hızlı yükselişiyle birlikte tekrarlayan sinir ağları (RNN, LSTM) ve ardından Transformer mimarisi sahneye girmiştir. OpenAI tarafından 2022 yılında kamuoyuyla paylaşılan Whisper modeli, 680.000 saatlik çok dilli ses verisiyle eğitilmiş olup düşük kaynaklı diller dahil pek çok dilde yüksek tanıma doğruluğu göstermektedir. Meta tarafından geliştirilen MMS (Massively Multilingual Speech) projesi ise 1.100 den fazla dili kapsayan veri kümesiyle az kaynaklı dil araştırmalarına önemli bir katkı sunmuştur. Modern ASR sistemleri Kelime Hata Oranı (Word Error Rate, WER) metriğiyle karşılaştırılır. Temiz stüdyo ortamında en iyi sistemler yüzde üç ile beş arasında WER elde edebilirken gürültülü ortam, aksan çeşitliliği ve alan jargonu bu oranı ciddi biçimde yükseltebilmektedir. Gerçek zamanlı akış (streaming) sistemleri düşük gecikme için optimize edilmiş küçük modeller kullanırken toplu sistemler daha yüksek doğruluk için büyük modellerden yararlanır. Konuşma tanıma; sesli asistanlar, otomatik altyazı üretimi, çağrı merkezi kalite analizi, tıbbi dikte yazılımları ve motor engelli bireyler için geliştirilen erişilebilirlik araçlarında kilit bir teknoloji konumundadır. Yüksek çekimli ve eklemeli bir dil yapısına sahip olan Türkçe, sözcük biçimbilimi (morfoloji) açısından İngilizceye kıyasla ASR sistemleri için ek güçlükler barındırmaktadır.
Speech-to-Text (ASR) (Sesten Metne (Otomatik Konuşma Tanıma))
Speech-to-Text (STT) veya Otomatik Konuşma Tanıma (ASR — Automatic Speech Recognition), mikrofondan ya da ses dosyasından gelen konuşulmuş dili analiz ederek yazıya dönüştüren yapay zeka teknolojisidir. Siri, Google Asistan ve otomatik YouTube altyazılarının temelinde bu teknoloji yatar. Modern STT sistemlerinin mimarisi birkaç katmandan oluşur. Akustik model, ham ses sinyallerindeki konuşma birimlerini (fonemleri) tanır; dil modeli ise tanınan ses örüntülerini anlamlı kelime ve cümlelere dönüştürür. 2015 yılından itibaren bu iki ayrı bileşen, uçtan uca (end-to-end) derin öğrenme mimarileriyle tek bir modelde birleştirilmeye başlandı. Günümüzde en yaygın yaklaşım Transformer tabanlı modeller olan Wav2Vec 2.0 (Meta) ve Whisper (OpenAI) gibi sistemlerdir. Whisper, 2022'de OpenAI tarafından piyasaya sürülen ve 680.000 saat ses verisiyle eğitilen çok dilli bir STT modelidir. Açık kaynaklı yapısı geliştiricilerin özgürce kullanımına imkân tanır; Türkçe dahil 99 dili destekler. Google'ın USM (Universal Speech Model) modeli ise 300'den fazla dili kapsayan kurumsal ölçekli bir ASR altyapısı sunar. Kalite ölçütü olarak WER (Word Error Rate — Kelime Hata Oranı) kullanılır: üretilen metin ile referans metin arasındaki kelime düzeyindeki hatalar normalleştirilerek hesaplanır. İnsan seviyesi İngilizce konuşma tanımada WER %5 civarındayken modern sistemler bu eşiğe ulaşmış ya da geçmiştir. Türkiye'de STT teknolojisi müşteri hizmetleri çağrı merkezi analitiği, tıbbi dikte sistemleri ve dil öğrenme uygulamalarında giderek yaygınlaşmaktadır. Türkçenin aglütinatif yapısı (çok ekli sözcük biçimleri) sözcük dağarcığı büyüklüğü açısından STT modellerine ek zorluk çıkarmaktadır; bu nedenle Türkçeye özgü ince ayarlı modeller standart modellere kıyasla daha yüksek doğruluk sunar. Gerçek zamanlı STT uygulamalarında gecikme (latency) kritik bir tasarım parametresidir: çevrimiçi konferans altyazıları için 200 ms altı gecikme hedeflenir. Streaming ASR mimarileri, konuşmacı konuşmaya devam ederken kısmi transkriptler üretir ve sonucu iteratif olarak günceller. Bu yaklaşım, Conformer mimarisi gibi yerel dikkat (local attention) mekanizmalarını kullanan modellerle verimli biçimde uygulanır.