tag ASR
Acoustic Model (Akustik Model)
Bu sayfada ASR (Acoustic Model (Akustik Model)) etiketi ile işaretlenmiş 7 yapay zeka kavramını bulabilirsiniz.
Akustik Model, otomatik konuşma tanıma (ASR) sistemlerinin temel bileşenidir ve ses sinyalleri ile dilbilimsel birimler (fonemler, seslemler veya sözcükler) arasındaki istatistiksel ilişkiyi temsil eden bir modeldir. Konuşma işlemenin çekirdeğinde yer alan bu yapı, ham ses dalgalarını sayısal özelliklere (genellikle MFCC — Mel Frekansı Kepstral Katsayıları) dönüştürerek hangi sesbirime veya sözcüğe karşılık geldiğini olasılıksal olarak tahmin eder. Tarihsel olarak akustik modeller, Gizli Markov Modelleri (Hidden Markov Models — HMM) ve Gauss Karışım Modelleri (GMM) üzerine inşa edilmiştir. Bu klasik yaklaşımda her fonem, ayrı bir durum makinesiyle temsil edilir ve gözlem olasılıkları Gauss dağılımlarıyla hesaplanır. 1970'lerden 2000'lerin başına kadar konuşma tanımanın baskın paradigması olan bu yöntem, sınırlı veri ve hesaplama gücüyle bile kabul edilebilir sonuçlar vermiştir. Derin öğrenmenin yükselişiyle birlikte akustik modeller köklü bir dönüşüm geçirmiştir. Günümüz sistemlerinde Derin Sinir Ağları (DNN), Tekrarlayan Sinir Ağları (RNN), LSTM ve Transformer mimarileri, HMM ile hibrit ya da tamamen uçtan uca (end-to-end) biçimde kullanılmaktadır. OpenAI'nin Whisper modeli gibi son nesil sistemler, dil modelini ve akustik modeli tek bir Transformer mimarisi altında birleştirerek son derece yüksek doğruluk oranları elde etmektedir. Akustik modelin eğitimi için yüzlerce hatta binlerce saat etiketlenmiş ses kaydı gerekmektedir. Çevre gürültüsü, farklı aksanlar, mikrofon kalitesi ve konuşma hızı gibi faktörler tanıma doğruluğunu doğrudan etkiler. Transfer learning ve self-supervised learning yaklaşımları (wav2vec, HuBERT gibi modeller), etiketli veri ihtiyacını önemli ölçüde azaltmıştır. Akustik model çıkışı genellikle fonem olasılıkları dizisidir; bu olasılıklar dil modeli ile birleştirilerek nihai kelime transkripti üretilir.
Acoustic Model (Akustik Model)
Akustik Model, otomatik konuşma tanıma (ASR) sistemlerinin temel bileşenidir ve ses sinyalleri ile dilbilimsel birimler (fonemler, seslemler veya sözcükler) arasındaki istatistiksel ilişkiyi temsil eden bir modeldir. Konuşma işlemenin çekirdeğinde yer alan bu yapı, ham ses dalgalarını sayısal özelliklere (genellikle MFCC — Mel Frekansı Kepstral Katsayıları) dönüştürerek hangi sesbirime veya sözcüğe karşılık geldiğini olasılıksal olarak tahmin eder. Tarihsel olarak akustik modeller, Gizli Markov Modelleri (Hidden Markov Models — HMM) ve Gauss Karışım Modelleri (GMM) üzerine inşa edilmiştir. Bu klasik yaklaşımda her fonem, ayrı bir durum makinesiyle temsil edilir ve gözlem olasılıkları Gauss dağılımlarıyla hesaplanır. 1970'lerden 2000'lerin başına kadar konuşma tanımanın baskın paradigması olan bu yöntem, sınırlı veri ve hesaplama gücüyle bile kabul edilebilir sonuçlar vermiştir. Derin öğrenmenin yükselişiyle birlikte akustik modeller köklü bir dönüşüm geçirmiştir. Günümüz sistemlerinde Derin Sinir Ağları (DNN), Tekrarlayan Sinir Ağları (RNN), LSTM ve Transformer mimarileri, HMM ile hibrit ya da tamamen uçtan uca (end-to-end) biçimde kullanılmaktadır. OpenAI'nin Whisper modeli gibi son nesil sistemler, dil modelini ve akustik modeli tek bir Transformer mimarisi altında birleştirerek son derece yüksek doğruluk oranları elde etmektedir. Akustik modelin eğitimi için yüzlerce hatta binlerce saat etiketlenmiş ses kaydı gerekmektedir. Çevre gürültüsü, farklı aksanlar, mikrofon kalitesi ve konuşma hızı gibi faktörler tanıma doğruluğunu doğrudan etkiler. Transfer learning ve self-supervised learning yaklaşımları (wav2vec, HuBERT gibi modeller), etiketli veri ihtiyacını önemli ölçüde azaltmıştır. Akustik model çıkışı genellikle fonem olasılıkları dizisidir; bu olasılıklar dil modeli ile birleştirilerek nihai kelime transkripti üretilir.
Fonem (Phoneme)
Fonem (İng. phoneme), bir dilde anlam ayırt etme işlevi gören en küçük soyut ses birimidir. 'Bal' ve 'kal' sözcüklerini birbirinden ayıran /b/ ve /k/ birer fonemdir: bu seslerden birinin değişmesi doğrudan anlam değişikliği yaratır. Fonem soyut bir kavramdır; fiziksel olarak üretilen somut sesler ise **allofon** adını alır. Türkçedeki /l/ fonemi 'lale' sözcüğünde ön damakta, 'al' sözcüğünde arka damakta üretilir, ancak bu fark anlam ayırt etmediği için ikisi de aynı fonemin allofonu sayılır. Bir dilin fonem envanteri, o dildeki tüm anlam ayırt edici seslerin kümesidir. Türkçede bu küme yaklaşık 29 fonemden oluşur (8 ünlü + 21 ünsüz); İngilizcede aksana göre ~44, Hawaii dilinde 13, Güney Afrika'daki !Xũ dilinde ise 141 fonem vardır. Fonemleri evrensel biçimde yazıya dökmek için 1888'den beri kullanılan Uluslararası Fonetik Alfabe (IPA) standarttır: Türkçe 'şeker' sözcüğü IPA ile /ˈʃe.ceɾ/ olarak gösterilir. Yapay zeka açısından fonem, konuşma teknolojilerinin ortak paydasıdır. Otomatik konuşma tanıma (ASR) sistemleri ham ses dalgasını önce mel spektrogram gibi akustik özelliklere, ardından fonem dizilerine, son adımda sözcüklere dönüştürür. Metin-ses (TTS) sistemleri ters yönde çalışır: metin, grafem-fonem (G2P) dönüşümüyle fonem dizisine, oradan akustik özelliklere ve ses dalgasına çevrilir. VITS, FastSpeech 2 ve StyleTTS 2 gibi modern sinirsel TTS modelleri girdilerini fonem dizisi olarak alır; bu yaklaşım homograf belirsizliklerini büyük ölçüde ortadan kaldırır. Whisper large-v3 veya Seamless gibi uçtan uca modeller açık bir fonem katmanı üretmese de, fonemik ayrımları gizli temsillerinde örtük olarak öğrendikleri sonda (probing) çalışmalarıyla gösterilmiştir. Türkçe gibi eklemeli dillerde tek bir kök yüzlerce farklı kelime formu üretebildiğinden, sözcük tabanlı modeller sözlük patlaması yaşar. Sabit ve küçük bir küme olan fonemler (~29 birim) üzerinden modelleme, Türkçe ASR ve TTS sistemlerinde bu yüzden özellikle verimlidir. Mozilla Common Voice'un Türkçe alt kümesi ve OpenSLR veri setleri, fonemik hizalamadan geçirilerek akustik model eğitiminde kullanılır.
Mel Spectrogram (Mel Spektrogramı)
Mel Spektrogramı, sesin zaman-frekans temsilini insan işitme algısını taklit eden mel ölçeğinde sunan bir ses özellik çıkarma yöntemidir. 'Mel' adı, 1937 yılında Stevens, Volkmann ve Newman tarafından geliştirilen ve insan kulağının farklı frekanslara nasıl tepki verdiğini modelleyen mel ölçeğinden (mel scale) gelir. İnsan kulağı düşük frekanslarda ince ayrımlar yaparken yüksek frekanslarda daha az hassastır; mel ölçeği bu perceptual özelliği matematiksel olarak yaklaşık olarak ifade eder. Mel spektrogramı üretmek için önce ses sinyali kısa pencereler (genellikle 25 ms) hâlinde Kısa Süreli Fourier Dönüşümü (STFT) ile spektrograma çevrilir. Ardından bu spektrogram, mel filtre bankasından geçirilerek doğrusal frekans ekseni mel ölçeğine dönüştürülür. Son adımda logaritmik ölçekleme (log-mel) uygulanarak insan işitme duyarlılığına benzer bir dinamik aralık elde edilir. Mel spektrogramları modern ses işleme ve konuşma tanıma sistemlerinde temel girdi formatı olarak kabul görür. OpenAI Whisper, 80 adet mel filtresi kullanan 25 ms pencerelere sahip log-mel spektrogramlarını ASR (Automatic Speech Recognition) için standart girdi biçimi olarak benimser. TTS (Text-to-Speech) sistemleri de mel spektrogramlarını ara temsil olarak kullanarak ses sentezi yapar; önce metnden mel spektrogramı tahmin edilir, ardından bir vocoder bu spektrogramu ham ses dalgasına çevirir. Ses sınıflandırma, duygu tanıma, müzik türü tespiti ve konuşmacı kimlik doğrulama gibi görevlerde CNN, LSTM ve Transformer modelleri mel spektrogramlarını görsel girdi gibi işler. Bu yaklaşım, raw waveform işlemeye kıyasla daha az hesaplama gerektirirken yüksek doğruluk sağlar. Günümüzde mel spektrogramı, ses yapay zekasının temel taşlarından biri kabul edilmektedir.
Speaker Diarization (Konuşmacı Ayrıştırma)
Konuşmacı Ayrıştırma (Speaker Diarization), bir ses kaydındaki farklı konuşmacıları otomatik olarak tanıyıp birbirinden ayıran ve her konuşmacının konuştuğu zaman dilimlerini etiketleyen yapay zeka teknolojisidir. Latince'de 'günlük' anlamına gelen 'diarize' kelimesinden türeyen bu terim, çok kişili ses kayıtlarını 'Kim ne zaman konuştu?' sorusunu yanıtlayacak biçimde bölümlere ayırmayı amaçlar. Bir ses kaydında birden fazla kişi konuştuğunda sistematik analiz yapmak güçleşir. Toplantı transkriptleri, çağrı merkezi kayıtları, röportajlar ve podcast'ler gibi içeriklerde hangi cümlenin hangi kişiye ait olduğunu bulmak emek yoğun bir süreçtir. Speaker diarization, bu süreci otomatikleştirir. Teknik olarak sistem; önce ses etkinlik tespiti (VAD) ile sessizlik ve konuşma bölgelerini ayırır, ardından konuşmacı gömme vektörü (speaker embedding) çıkarımı ile her bölümün konuşmacı parmak izini hesaplar ve son olarak kümeleme algoritmaları ile aynı kişiye ait bölümleri bir araya getirir. x-vector, d-vector ve ECAPA-TDNN gibi nöral gömme modelleri modern sistemlerin omurgasını oluşturmaktadır. Whisper gibi ASR modellerine ve NLP pipeline'larına entegre edilen speaker diarization, transkripsiyon çıktılarını yapılandırılmış, konuşmacı etiketli belgelere dönüştürür. pyannote.audio, NVIDIA NeMo ve AssemblyAI bu alanda öne çıkan açık kaynaklı ve ticari araçlardır. Hata metrikleri olarak DER (Diarization Error Rate) ve JER (Jaccard Error Rate) kullanılmakta; sektörde %5-15 DER aralığı iyi performans olarak kabul edilmektedir.
Speech Enhancement (Konuşma İyileştirme)
Konuşma İyileştirme (Speech Enhancement), gürültülü ortamlarda kaydedilen ya da iletilen ses sinyallerinin kalitesini yapay zeka ve derin öğrenme yöntemleriyle artırma sürecidir. Geleneksel istatistiksel yaklaşımlar (Wiener filtresi, MMSE gibi) sabit gürültü modellerini varsayarken, derin öğrenme tabanlı modeller değişken ve karmaşık gürültü koşullarında da etkili biçimde çalışabilmektedir. Modern sistemler; evrişimli sinir ağları (CNN), tekrarlayan sinir ağları (RNN, LSTM), üretken çekişmeli ağlar (GAN) ve Transformer mimarilerini tek başına ya da hibrit olarak kullanmaktadır. Bu ağlar, eğitim aşamasında binlerce gürültülü ve temiz ses çifti üzerinde optimize edilen bir dönüşüm fonksiyonunu öğrenerek gerçek zamanlı gürültü giderme yapabilmektedir. Tipik bir işlem hattında ses sinyali kısa zamanlı Fourier dönüşümüyle (STFT) frekans-zaman bölgesine aktarılır, sinir ağı tarafından işlenir ve ters dönüşümle (iSTFT) yeniden zaman bölgesine döndürülür. Kalite değerlendirmesi için standart metrikler kullanılmaktadır: PESQ (Perceptual Evaluation of Speech Quality) genel ses kalitesini, STOI (Short-Time Objective Intelligibility) anlaşılırlığı, CSIG ve CBAK ise arka plan gürültüsünün müdahalesini ve konuşma bozulmasını ölçer. DeepFilterNet gibi ileri düzey modeller PESQ skorunu 3.17 seviyesine çıkarırken işlem yükünü mobil cihazlarda kullanılabilir düzeyde tutmaktadır. Uygulama alanları son derece geniştir: video konferans yazılımları, akıllı hoparlörler ve sesli asistanlar, işitme cihazları, otomatik altyazı sistemleri, radyo yayıncılığı ve sağlık kayıt sistemleri bu teknolojiden yoğun olarak yararlanmaktadır. Konuşma tanıma (ASR) sistemlerinin ön işleme adımı olarak kullanılması, gürültülü ortamlarda tanıma doğruluğunu belirgin şekilde artırmaktadır.
Speech Recognition (Konuşma Tanıma (ASR))
Konuşma tanıma (Automatic Speech Recognition — ASR), insan sesini işleyerek metne dönüştüren yapay zeka teknolojisidir. Ses dalgaları dijital sinyale çevrilir, akustik özellikler (MFCCs — Mel Frekans Kepstrum Katsayıları gibi) çıkarılır ve derin öğrenme modelleri bu özellikleri fonem, kelime ve cümle dizilerine eşler. Tarihsel gelişim açısından ilk ASR sistemleri 1950'lerde Bell Labs'ta gizli Markov modelleri (HMM) ve n-gram dil modelleriyle kuruldu. 2012 sonrasında derin sinir ağları (özellikle LSTM ve CTC — Connectionist Temporal Classification kaybı) bu modellerin yerini aldı. 2023'te OpenAI'nin Whisper modeli ile transformer tabanlı uçtan uca ASR ana akıma girdi; Whisper large-v3 100'den fazla dilde yüksek doğruluk sunmaktadır. Modern ASR mimarileri iki yaklaşıma ayrılmaktadır: Hibrit HMM-DNN sistemleri (Kaldi, ESPnet gibi frameworkler) ve uçtan uca transformer modelleri (Whisper, Wav2Vec 2.0, Conformer). Uçtan uca modeller dil modelini ayrı tutma zorunluluğunu ortadan kaldırarak daha basit sistem mimarisine olanak tanır. Conformer mimarisi, ses için özelleştirilmiş conv katmanlarını transformer ile birleştirerek akustik özelliklerin yerel ve küresel bağlamını birlikte yakalamaktadır. Türkçe konuşma tanıma alanında Whisper large-v3, standart konuşma koşullarında çok yüksek doğruluk sunan erişilebilir en iyi modeldir. Google Cloud Speech-to-Text ve AWS Transcribe kurumsal düzeyde Türkçe desteği sağlar. Gerçek zamanlı uygulamalarda faster-whisper kütüphanesi CPU ve GPU üzerinde optimize edilmiş çıkarım sunarak gecikmeyi minimize eder. ASR'nin zorlu senaryoları arasında arka plan gürültüsü, çakışan konuşmacılar, teknik jargon ve aksan çeşitliliği sayılabilir. Bu sorunlar için gürültü giderme (noise suppression), hoparlör ayrıştırma (speaker diarization) ve alan bazlı ince ayar (domain-specific fine-tuning) teknikleri kullanılır. Erişilebilirlik, gerçek zamanlı altyazı, çağrı merkezi analizi ve tıbbi transkripsiyon başlıca uygulama alanlarıdır.
Whisper (OpenAI Konuşma Tanıma)
Whisper, OpenAI tarafından Eylül 2022'de açık kaynak olarak yayımlanan bir otomatik konuşma tanıma (Automatic Speech Recognition, ASR) sistemidir. İnternetin en kapsamlı çok dilli ses derlemlerinden biri üzerinde eğitilen model, 680.000 saatlik denetimli ses verisini kullanmaktadır. Bu geniş eğitim yelpazesi sayesinde Whisper, 99 farklı dili anlayıp yazıya dökebilmekte; aynı zamanda diğer dillerdeki konuşmayı doğrudan İngilizce'ye çevirebilmektedir. Mimari açıdan Whisper, bir Encoder-Decoder Transformer yapısını benimser. Giriş ses sinyali önce 30 saniyelik pencerelere bölünür ve ardından 80 kanallı log-Mel spektrogramına dönüştürülür. Encoder bu spektral temsili işlerken decoder, koşullu dil modelleme yoluyla metin token'larını otomatik olarak üretir. Model, özel bir prompt mekanizmasıyla dil seçimini, zaman damgası üretimini ve çeviri görevini kontrol edebilmektedir. Whisper, Tiny (39 milyon parametre), Base (74 milyon), Small (244 milyon), Medium (769 milyon) ve Large-v3 (1,55 milyar parametre) olmak üzere beş temel boyutta sunulmaktadır. Küçük versiyonlar düşük gecikmeli uygulamalar için idealken Large-v3, kelime hata oranını (Word Error Rate, WER) en aza indirgeyerek en yüksek doğruluğu sağlamaktadır. MIT lisansı ile dağıtılan Whisper, pip aracılığıyla kurulabilir ve Python API'si üzerinden kolayca entegre edilebilir. Topluluk tarafından geliştirilen Faster-Whisper ve WhisperX gibi türev projeler, CTranslate2 arka ucunu kullanarak çıkarım hızını 4-8 kat artırmakta ve konuşmacı ayrıştırma (diarization) gibi ek özellikler eklemektedir. OpenAI ayrıca Whisper'ı bulut tabanlı bir ses transkripsiyon API'si olarak sunmaktadır. Uygulama alanları arasında altyazı üretimi, yasal ve tıbbi transkripsiyon, çağrı merkezi analizi, podcast arşivleme ve erişilebilirlik araçları öne çıkmaktadır. Türkçe dahil pek çok dilde yüksek doğruluk oranıyla çalışan Whisper, açık kaynak ASR ekosisteminin temel taşlarından biri hâline gelmiştir.