tag TTS
Bark (Bark Ses Modeli)
Bu sayfada TTS (Bark (Bark Ses Modeli)) etiketi ile işaretlenmiş 11 yapay zeka kavramını bulabilirsiniz.
Bark, Suno AI tarafından Nisan 2023'te açık kaynak olarak yayımlanan bir metin-ses (text-to-audio) modelidir. Yalnızca konuşma sentezi yapan geleneksel TTS sistemlerinin aksine Bark, metinden konuşma, müzik, arka plan sesi ve çeşitli ses efektleri üretebilen çok yönlü bir modeldir. Model, Transformer mimarisi üzerine kurulu olup sesi doğrudan diskret kodlar aracılığıyla oluşturur. Bu yaklaşım, metni fonetik kodlara ve ardından semantik ses belirteçlerine dönüştürür; son aşamada EnCodec adlı ses kodeği ham ses dalgasını oluşturur. Bu hiyerarşik yapı sayesinde model hem kısa hem uzun ses pasajlarını tutarlı biçimde üretebilmektedir. Bark'ın en dikkat çekici özelliklerinden biri, metindeki köşeli parantez içi yönergeleri anlayabilmesidir. Örneğin "[güler]", "[ağlar]" veya "[fısıltı]" gibi ifadeler modele aktarıldığında Bark bu duygu ve ses niteliklerini çıktıya yansıtır. Müzik sembolleri, ses notaları ve atmosferik sesler de metin içine yerleştirilerek model yönlendirilebilir. Model, 100'den fazla dili ve pek çok farklı aksanı desteklemektedir; bu özellik onu çok dilli içerik üretimi için güçlü bir araç hâline getirmektedir. Bark, herhangi bir ek ses örneğine gerek kalmaksızın yalnızca metin girişiyle son derece doğal sesler üretebilir. Bir önceden kaydedilmiş ses klibi sağlanırsa model o kişinin sesine benzer çıktı oluşturmaya çalışır; bu özellik onu sesli asistan prototipleme ve ses kopyalama araştırmaları için değerli kılmaktadır. Bark, GitHub üzerinden MIT lisansıyla sunulmakta; Hugging Face arayüzü ve Python kütüphanesi aracılığıyla kolayca kullanılabilmektedir. GPU ile saniyeler içinde çıktı üretebilen model, CPU üzerinde de çalışmakla birlikte daha yavaş işlem yapar. Açık kaynak yapısı, araştırmacılara ve geliştiricilere ticari TTS hizmetlerine bağımlı kalmadan ses üretimi deneyleri yapma imkânı sunmaktadır. Türkçe dahil 100'den fazla dilde gerçekçi konuşma sentezi ve ses efekti üretimi, Bark'ı dünya genelinde geliştirici topluluklarında popüler bir araç hâline getirmiştir.
Bark (Bark Ses Modeli)
Bark, Suno AI tarafından Nisan 2023'te açık kaynak olarak yayımlanan bir metin-ses (text-to-audio) modelidir. Yalnızca konuşma sentezi yapan geleneksel TTS sistemlerinin aksine Bark, metinden konuşma, müzik, arka plan sesi ve çeşitli ses efektleri üretebilen çok yönlü bir modeldir. Model, Transformer mimarisi üzerine kurulu olup sesi doğrudan diskret kodlar aracılığıyla oluşturur. Bu yaklaşım, metni fonetik kodlara ve ardından semantik ses belirteçlerine dönüştürür; son aşamada EnCodec adlı ses kodeği ham ses dalgasını oluşturur. Bu hiyerarşik yapı sayesinde model hem kısa hem uzun ses pasajlarını tutarlı biçimde üretebilmektedir. Bark'ın en dikkat çekici özelliklerinden biri, metindeki köşeli parantez içi yönergeleri anlayabilmesidir. Örneğin "[güler]", "[ağlar]" veya "[fısıltı]" gibi ifadeler modele aktarıldığında Bark bu duygu ve ses niteliklerini çıktıya yansıtır. Müzik sembolleri, ses notaları ve atmosferik sesler de metin içine yerleştirilerek model yönlendirilebilir. Model, 100'den fazla dili ve pek çok farklı aksanı desteklemektedir; bu özellik onu çok dilli içerik üretimi için güçlü bir araç hâline getirmektedir. Bark, herhangi bir ek ses örneğine gerek kalmaksızın yalnızca metin girişiyle son derece doğal sesler üretebilir. Bir önceden kaydedilmiş ses klibi sağlanırsa model o kişinin sesine benzer çıktı oluşturmaya çalışır; bu özellik onu sesli asistan prototipleme ve ses kopyalama araştırmaları için değerli kılmaktadır. Bark, GitHub üzerinden MIT lisansıyla sunulmakta; Hugging Face arayüzü ve Python kütüphanesi aracılığıyla kolayca kullanılabilmektedir. GPU ile saniyeler içinde çıktı üretebilen model, CPU üzerinde de çalışmakla birlikte daha yavaş işlem yapar. Açık kaynak yapısı, araştırmacılara ve geliştiricilere ticari TTS hizmetlerine bağımlı kalmadan ses üretimi deneyleri yapma imkânı sunmaktadır. Türkçe dahil 100'den fazla dilde gerçekçi konuşma sentezi ve ses efekti üretimi, Bark'ı dünya genelinde geliştirici topluluklarında popüler bir araç hâline getirmiştir.
ElevenLabs (ElevenLabs Yapay Zeka Ses Platformu)
ElevenLabs, 2022 yılında New York'ta kurulan ve yapay zeka tabanlı ses sentezi, ses klonlama ve AI seslendirme alanlarında sektörün önde gelen platformlarından biri haline gelen bir teknoloji şirketidir. Platform; gerçekçi metin-konuşma (TTS) üretimi, birkaç saniyelik ses örneğiyle kişisel ses kopyalama ve farklı dillere otomatik dublaj gibi özellikler sunmaktadır. ElevenLabs'ın çekirdek teknolojisi, derin sinir ağlarına dayalı büyük ses modellerini (Large Speech Model) kullanır. Bu modeller tonlarca saatlik ses verisiyle eğitilerek son derece doğal tonlama, duygusal ifade ve konuşma ritmi üretebilir hale gelmiştir. Platform 29'dan fazla dili ve çok sayıda aksanı destekler; Türkçe de bu diller arasındadır. Mekanizma üç aşamadan oluşur: önce metin fonemik analiz ile dilin ses birimlerine ayrıştırılır, ardından model seçilen ses profili ve dil parametrelerine göre spektral özellikler üretir, son adımda bu özellikler gerçekçi ses dalgalarına dönüştürülür. Ses klonlama özelliğinde kullanıcılar yalnızca 1 dakikalık ses kaydıyla kendi seslerinin yüksek doğrulukta bir kopyasını oluşturabilir. Profesyonel Voice Cloning ise daha uzun ve temiz kayıtlarla çok daha yüksek kalitede klonlar üretir. Farklı ihtiyaçlara yönelik Instant Voice Cloning, Professional Voice Clone ve Voice Design seçenekleri kullanıcıların hizmetindedir. Voice Design özelliği yaş, cinsiyet ve aksan parametrelerini metin tanımıyla belirleyerek sıfırdan yeni yapay sesler tasarlamayı mümkün kılar. Platform içerik üreticilerinden oyun geliştiricilerine, e-öğrenme şirketlerinden podcast yapımcılarına kadar geniş bir kullanıcı kitlesine hitap eder. API erişimi ve resmi Python/JavaScript SDK'ları geliştiricilerin ElevenLabs'ı kendi uygulamalarına entegre etmesini kolaylaştırır. Ücretsiz kademeden kurumsal aboneliğe kadar uzanan esnek fiyatlandırma planları mevcuttur. ElevenLabs, yüksek kaliteli TTS alanında OpenAI TTS ve Google Cloud TTS ile doğrudan rekabet etmektedir. Ses klonlamanın kötüye kullanımını önlemek için platform, başkasının sesini izinsiz klonlamayı yasaklayan katı bir kullanım politikası uygulamaktadır.
Fonem (Phoneme)
Fonem (İng. phoneme), bir dilde anlam ayırt etme işlevi gören en küçük soyut ses birimidir. 'Bal' ve 'kal' sözcüklerini birbirinden ayıran /b/ ve /k/ birer fonemdir: bu seslerden birinin değişmesi doğrudan anlam değişikliği yaratır. Fonem soyut bir kavramdır; fiziksel olarak üretilen somut sesler ise **allofon** adını alır. Türkçedeki /l/ fonemi 'lale' sözcüğünde ön damakta, 'al' sözcüğünde arka damakta üretilir, ancak bu fark anlam ayırt etmediği için ikisi de aynı fonemin allofonu sayılır. Bir dilin fonem envanteri, o dildeki tüm anlam ayırt edici seslerin kümesidir. Türkçede bu küme yaklaşık 29 fonemden oluşur (8 ünlü + 21 ünsüz); İngilizcede aksana göre ~44, Hawaii dilinde 13, Güney Afrika'daki !Xũ dilinde ise 141 fonem vardır. Fonemleri evrensel biçimde yazıya dökmek için 1888'den beri kullanılan Uluslararası Fonetik Alfabe (IPA) standarttır: Türkçe 'şeker' sözcüğü IPA ile /ˈʃe.ceɾ/ olarak gösterilir. Yapay zeka açısından fonem, konuşma teknolojilerinin ortak paydasıdır. Otomatik konuşma tanıma (ASR) sistemleri ham ses dalgasını önce mel spektrogram gibi akustik özelliklere, ardından fonem dizilerine, son adımda sözcüklere dönüştürür. Metin-ses (TTS) sistemleri ters yönde çalışır: metin, grafem-fonem (G2P) dönüşümüyle fonem dizisine, oradan akustik özelliklere ve ses dalgasına çevrilir. VITS, FastSpeech 2 ve StyleTTS 2 gibi modern sinirsel TTS modelleri girdilerini fonem dizisi olarak alır; bu yaklaşım homograf belirsizliklerini büyük ölçüde ortadan kaldırır. Whisper large-v3 veya Seamless gibi uçtan uca modeller açık bir fonem katmanı üretmese de, fonemik ayrımları gizli temsillerinde örtük olarak öğrendikleri sonda (probing) çalışmalarıyla gösterilmiştir. Türkçe gibi eklemeli dillerde tek bir kök yüzlerce farklı kelime formu üretebildiğinden, sözcük tabanlı modeller sözlük patlaması yaşar. Sabit ve küçük bir küme olan fonemler (~29 birim) üzerinden modelleme, Türkçe ASR ve TTS sistemlerinde bu yüzden özellikle verimlidir. Mozilla Common Voice'un Türkçe alt kümesi ve OpenSLR veri setleri, fonemik hizalamadan geçirilerek akustik model eğitiminde kullanılır.
Prosodi (Prosodi)
Prosodi (İngilizce: prosody), konuşmadaki ton yüksekliği (pitch/F0), fonem süresi, ses enerjisi, vurgu ve duraklamalar gibi dil-üstü (suprasegmental) özelliklerin bütünüdür. Fonemler "ne söylendiğini" taşırken prosodi "nasıl söylendiğini" taşır: aynı cümle, pitch konturu değiştirildiğinde soru, ironi veya öfke anlamı kazanabilir. Yapay zeka tabanlı konuşma sentezinde (TTS) prosodi modellemesi, üretilen sesin insan konuşmasına yakınlığını belirleyen en kritik bileşendir; prosodi zayıfsa ses tek düze ve robotik duyulur. Teknik olarak prosodi dört ölçülebilir akustik parametreye dayanır: temel frekans (F0) konturu, fonem/hece süreleri, enerji (loudness) dağılımı ve sessizlik yerleşimi. Erken dönem birleştirmeli (concatenative) TTS sistemleri bu parametreleri elle yazılmış kurallarla üretirken, Tacotron 2 (2017) ve FastSpeech 2 (2020) gibi nöral modeller pitch, süre ve enerjiyi doğrudan veriden öğrenen açık öngörücüler (variance adaptors) kullandı. VITS ve StyleTTS 2 uçtan uca olasılıksal modellemeyle bu çizgiyi ileri taşıdı. 2024-2026 dalgasında ise ağırlık büyük dil modeli tabanlı ses üretimine kaydı: OpenAI'nin gpt-4o tabanlı Realtime sesi, ElevenLabs v3, Google'ın Gemini 2.5 native-audio çıkışı ve açık kaynak tarafında CosyVoice 2, F5-TTS ve Kokoro gibi modeller, metnin anlamsal ve duygusal bağlamından prosodi kararlarını örtük biçimde üretir; kullanıcı "fısıldayarak söyle" veya "[excited]" gibi doğal dil ve etiket yönergeleriyle tonlamayı yönlendirebilir. Prosodi yalnızca sentezin değil, konuşma tanımanın (ASR) ve konuşma-LLM etkileşiminin de konusudur: Whisper gibi modeller noktalama ve cümle sınırı kararlarında prosodik ipuçlarından örtük olarak yararlanır; sesli asistanlarda konuşma sırası (turn-taking) tespiti büyük ölçüde prosodiye dayanır. Türkçe gibi sondan eklemeli ve soru ekiyle (-mı/-mi) çalışan dillerde, dile özgü vurgu ve tonlama örüntülerinin modellenmesi sentez doğallığını belirgin biçimde artırır; akademik çalışmalar dile özgü prosodi kurallarının algılanan doğallıkta ölçülebilir iyileşme getirdiğini gösterir.
Sesli Asistan (Sesli Asistan)
Sesli asistan (voice assistant), otomatik konuşma tanıma (ASR), doğal dil işleme (NLP) ve metin-ses dönüştürme (TTS) teknolojilerini bir araya getirerek kullanıcıyla sesli diyalog kuran yapay zeka sistemidir. 2024 itibarıyla dünyada 8,4 milyarı aşkın sesli asistan kullanılmakta; Siri, Amazon Alexa, Google Assistant ve Cortana bu sınıfın en yaygın örnekleri arasında yer almaktadır. Sistemin çalışma zinciri dört temel adımdan oluşur: Kullanıcı sesi uyandırma sözcüğüyle (wake word) tetiklenip ASR motoruna iletilir; ASR, ses dalgalarını fonem düzeyinde işleyerek metne dönüştürür. NLU (doğal dil anlama) katmanı bu metni analiz ederek niyet (intent) ve varlık (entity) çıkarımı yapar. Yanıt oluşturulduktan sonra TTS motoru metni doğal seslendirmeye çevirerek kullanıcıya iletir. Gecikme hedefi 500ms altındadır; bunun üzeri gerçek zamanlı hissiyatı bozar. İlk nesil sesli asistanlar kural tabanlı niyet eşleştirme kullanıyordu; bu yaklaşım dar kapsamlı komutlarda tatmin edici olsa da karmaşık ve bağlam gerektiren sorularda yetersiz kalıyordu. Büyük dil modellerinin entegrasyonuyla sesli asistanlar köklü bir dönüşüm geçirmektedir: GPT-4o gerçek zamanlı sesli konuşma modu, Gemini Live ve Claude telefon asistan entegrasyonları bu yeni neslin örnekleridir. OpenAI Realtime API gibi uçtan uca modeller ASR→NLP→TTS zincirini tek modele sıkıştırarak hem gecikmeyi hem de hata birikimini azaltmaktadır. Türkçe sesli asistan ekosistemi açısından Whisper large-v3, Türkçe konuşma tanımada yüksek doğruluk sunan en erişilebilir modeldir. Google Cloud Speech-to-Text ve AWS Transcribe de Türkçe desteği sağlar. Akıllı ev kontrolü, takvim yönetimi, navigasyon ve kurumsal müşteri hizmetleri sesli asistanların başlıca uygulama alanlarıdır. Edge AI çipleri (Apple Neural Engine, Qualcomm AI Hub) bulut bağlantısı gerektirmeden cihaz üzerinde yüksek kaliteli sesli asistan deneyimini mümkün kılmaktadır. Akıllı hoparlörler, akıllı televizyonlar, otomobil infotainment sistemleri ve giyilebilir cihazlar sesli asistanların yaygınlaştığı başlıca donanım platformlarıdır.
Speech Synthesis (Konuşma Sentezi)
Konuşma sentezi (Speech Synthesis veya TTS — Text-to-Speech), yazılı metnin yapay zeka modelleri aracılığıyla sesli konuşmaya dönüştürülmesi sürecidir. Modern TTS sistemleri, insan sesine yakın doğallık ve ifadesellik sunar; vurgu, ritim, ton ve duygusal renk gibi konuşma özelliklerini derin öğrenme modelleriyle üretir. Günümüz nöral TTS sistemleri iki temel aşamadan oluşur: Akustik model, metni ses özelliklerini temsil eden mel-spektrograma dönüştürür; vokal sentezleyici (vocoder) ise bu ara temsili gerçek ses dalgasına çevirir. WaveNet (DeepMind, 2016), Tacotron 2 (Google, 2018) ve FastSpeech (Microsoft, 2019) bu alanın dönüm noktası modellerdir. Paralel çıkarım mimarisine sahip FastSpeech, Tacotron'dan 38 kat daha hızlı ses üretebilmektedir. VALL-E gibi büyük dil modeli tabanlı yaklaşımlar ise yalnızca birkaç saniyelik ses örneğinden birebir ses klonlama yapabilmektedir. Kullanım alanları son derece geniştir: ekran okuyucular ve görme engelliler için erişilebilirlik araçları, sesli asistanlar (Siri, Google Assistant, Alexa), e-öğrenme platformları, çağrı merkezi IVR sistemleri, sesli navigasyon, film lokalizasyonu ve podcast otomasyonu bunların başında gelir. ElevenLabs, OpenAI TTS ve Microsoft Azure Neural TTS gibi ticari platformlar düşük gecikme ve yüksek ifadesellik sunan üretim düzeyinde servisler geliştirmiştir. Ses kalitesini ölçmek için MOS (Mean Opinion Score — insan değerlendirmesine dayalı 1-5 puanlama), WER (Word Error Rate) ve DNSMOS gibi metrikler kullanılır. Türkçe TTS gelişimi ayrı bir zorluk barındırır: sondan eklemeli dil yapısı, sesleme kuralları ve tonlamayı modellemek İngilizce ile kıyaslandığında daha fazla veri ve araştırma gerektirmektedir. Teknolojinin gerçekçilik düzeyi deepfake ses ve kimlik taklitçiliği risklerini de beraberinde getirmektedir. VALL-E ve benzeri modeller sahte yetkilendirme (vishing) saldırılarına zemin hazırlayabilir. Bu nedenle biyometrik ses doğrulama, liveness detection ve ses sahteciliği tespiti (anti-spoofing) araştırmaları paralel yürütülmektedir. Bazı sistemler üretilen sese gizli filigran (watermark) ekleyerek kaynağını işaretler.
SSML (SSML)
SSML (Speech Synthesis Markup Language — Konuşma Sentezi İşaretleme Dili), metinden konuşmaya (TTS) sistemlerinin sesi nasıl üretmesi gerektiğini ayrıntılı biçimde tanımlayan W3C standardı bir XML biçimlendirme dilidir. Düz metin yalnızca içeriği aktarırken SSML, konuşmanın hızını, perdesini, ses düzeyini, duraklamalarını, vurgularını ve belirli kelime ya da ifadelerin telaffuzunu programatik olarak kontrol etmeyi mümkün kılar. Bu düzeyde kontrol, sesli kullanıcı arayüzleri, etkileşimli sesli yanıt (IVR) sistemleri ve ekran okuyucular için doğal, anlaşılır ve bağlam uygun bir ses deneyimi oluşturmanın temel aracıdır. Her SSML belgesi `<speak>` kök etiketiyle başlar ve geçerli bir XML yapısı izler. En temel etiketler şunlardır: `<break time='500ms'/>` belirli bir süre duraklama ekler; `<prosody rate='slow' pitch='low'>` metnin yavaş ve alçak perdeden okunmasını sağlar; `<emphasis level='strong'>` bir kelimeyi güçlü vurguyla öne çıkarır. `<say-as interpret-as='date' format='dmy'>` etiketi, TTS motorunun bir tarihi nasıl seslendireceğini açıkça belirtir; sayı, saat, para birimi ve telefon numaraları için de benzer direktifler mevcuttur. `<phoneme alphabet='ipa' ph='...'>` etiketi ise teknik terimler, yabancı özel isimler veya kısaltmalar için tam fonetik telaffuzu IPA notasyonuyla tanımlar. Platform ekosistemi açısından W3C'nin temel SSML standardının üzerine Amazon Polly, Google Cloud TTS ve Microsoft Azure Cognitive Services gibi büyük platformlar kendine özgü uzantılar ekler. Amazon Polly'nin `<amazon:auto-breaths>` etiketi doğal nefes efektleri üretirken, Google'ın `<google:auto>` etiketi konuşma stilini dinamik olarak seçer. Bu uzantılar üretim kalitesini artırsa da taşınabilirliği kısıtlar; bu nedenle çapraz platform projelerinde standart etiketlere bağlı kalmak mimari esnekliği korur. Dialogflow, Amazon Lex ve Azure Bot Framework gibi konuşma platformlarına entegre edilen SSML, önemli cümlelerin vurgulanması, doğal duraklamalar ve sayıların bağlama uygun okunması ile kullanıcı deneyimini ölçülebilir biçimde iyileştirir. Temel XML bilgisine sahip bir geliştirici, `break`, `prosody` ve `say-as` etiketlerini öğrenerek üretim kalitesinde SSML çıktısı üretebilir.
Vocoder (Vocodör)
Vocoder (Voice Coder — ses kodlayıcı), insan sesini analiz ederek parametrik bir temsile dönüştüren ve bu parametrelerden sesi yeniden sentezleyen sinyal işleme sistemidir. Bell Laboratuvarları'nda mühendis Homer Dudley tarafından 1939 yılında patent alınan kanal vokoderi, sesi birden fazla frekans bandına böler; her bant için enerji düzeyini kodlayarak dar bant iletişim kanallarında veri miktarını azaltır. 1943'te ABD ve İngiltere arasındaki en üst düzey şifreli ses iletişiminde kullanılan SIGSALY sistemi, vocoder teknolojisinin ilk operasyonel büyük ölçekli uygulamasıdır. Teorik temel olan kaynak-filtre modeli, konuşma üretimini iki bileşene ayırır: ses tellerinin belirli bir frekansta titreşimiyle oluşan glottal nabız (kaynak) ve vokal traktının bu kaynağı rezonanslarıyla biçimlendirdiği spektral zarf (filtre). Doğrusal Öngörücü Kodlama (LPC), bu ayrışımı matematiksel olarak gerçekleştirir; analiz aşamasında konuşma sinyalinden temel frekans ve spektral zarf parametreleri çıkarılır, sentez aşamasında bu parametrelerden ses yeniden oluşturulur. LPC tabanlı vocoderlar 1980-90'larda GSM gibi mobil ses sıkıştırma standartlarında yaygın biçimde kullanılmıştır. 1960-70'lerde Moog sentezleyicilerinin yaygınlaşmasıyla vocoder müzik endüstrisinde bir efekt aracına dönüşmüş; Kraftwerk ve Daft Punk gibi gruplar vocoderi ikonik bir ses rengi olarak kullanmıştır. 2016'da DeepMind'ın WaveNet modelini yayımlamasıyla nöral vocoderlar dönemi başlamıştır. WaveNet, dilated causal convolution mimarisiyle her ses örneğini önceki tüm örneklere bakarak üretir; bu otoregresif yapı yüksek doğallık sunarken gerçek zamanlı kullanımı güçleştirir. WaveGlow normalizing flow yöntemlerini kullanarak paralel örnekleme yapar ve gerçek zamanlı çıkarımı mümkün kılar. HiFi-GAN ise çoklu-periyot ayrıştırıcı ve çoklu-ölçek ayrıştırıcı mimarisiyle ses kalitesi ile hızı dengeleyen GAN tabanlı vocoder olarak üretim sistemlerinde standart haline gelmiştir. Modern metin-konuşma (TTS) sistemlerinde vocoder, akustik modelin (Tacotron 2, FastSpeech 2) ürettiği mel-spektrogramı gerçek ses dalga formuna çeviren kritik bileşendir. Ses klonlama, ses dönüştürme ve konuşma geliştirme gibi alanlarda da nöral vocoder mimarileri belirleyici rol üstlenmektedir.
Voice Cloning (Ses Klonlama)
Ses klonlama (İng. voice cloning), bir kişinin sesini kısa bir ses örneğinden yapay zeka modeli aracılığıyla yeniden üreten teknolojidir. Model; ses tonu, vurgu, ritim, nüans ve konuşma hızı gibi bireysel ses özelliklerini öğrenerek bu karakteristiği, istenen herhangi bir metni sentezlemek için kullanır. Teknik olarak ses klonlama iki temel aşamadan oluşur. Ses Kodlama aşamasında referans sesten benzersiz bir "ses gömücü" (voice encoder) vektörü çıkarılır; bu vektör konuşmacıya özgü akustik özellikleri temsil eder. TTS Sentezi aşamasında ise bu gömücü, seçilen bir metni sentezlemek için metin-to-speech modeline koşul olarak enjekte edilir. Vocoderlar (HiFi-GAN, WaveNet gibi) oluşturulan özellikleri gerçekçi ses dalga biçimlerine dönüştürür. Modern sistemler, sıfır-shot veya az-shot öğrenme sayesinde yalnızca birkaç saniyelik ses örneğinden yüksek kaliteli ses üretebilmektedir. ElevenLabs 30 saniyeden kısa bir kayıtla klonlama yaparken, XTTS v2 (Coqui) yalnızca 6 saniyelik referans sesle 17 dilde klonlamayı destekler; Türkçe de bu diller arasındadır. F5-TTS ve OpenVoice v2 açık kaynaklı seçenekler sunarken Microsoft VALL-E ve OpenAI Voice Engine tek cümlelik örnekten bile yüksek kaliteli klonlama gerçekleştirebilir. Meşru kullanım alanları arasında seslendirme (dubbing), sesli kitap üretimi, kişiselleştirilmiş yapay zeka asistanları, oyun karakterleri ve sesini kaybeden bireyler için erişilebilirlik çözümleri yer alır. Bununla birlikte deepfake ses üretimi, kimlik taklidi ve dolandırıcılık gibi ciddi etik riskler de söz konusudur. Bu nedenle ses kimlik doğrulaması (voice authentication) ve deepfake ses tespiti aktif araştırma alanları haline gelmiş; çoğu platform, onaysız kişi seslerinin klonlanmasını kullanım koşullarıyla yasaklamıştır. Ses dönüştürme (voice conversion) ile temel fark şudur: klonlama sıfırdan sentez yapar, ses dönüştürme ise mevcut bir ses akışını başka bir kişinin sesine aktarır.
WaveNet (WaveNet)
WaveNet, Google DeepMind tarafından 2016 yılında geliştirilen ve ham ses dalgalarını doğrudan üreten çığır açıcı bir derin sinir ağı modelidir. Geleneksel metin-okuma (TTS) sistemlerinin aksine, WaveNet sesi fonem veya melodik bileşenler düzeyinde değil, dalga formunun her tek örnek noktasında üretir; bu sayede çıktı, gerçek insan sesine çok daha yakın bir doğallık ve ifade zenginliği kazanır. Modelin temel mimarisi, seyreltilmiş nedensel konvolüsyonlar (dilated causal convolutions) üzerine kuruludur. 'Nedensel' yapı, modelin yalnızca geçmiş örnekleri kullanarak bir sonraki örneği tahmin etmesini sağlar; bu da kausalitenin korunmasını ve gerçek zamanlı konuşma üretimine uygun bir yapı elde edilmesini olanaklı kılar. 'Seyreltme' faktörü ise üstel şekilde büyüyen bir receptive field sağlar — model az parametre ile geniş bir bağlamı görebilir ve uzun vadeli bağımlılıkları yakalayabilir. Saniyede 16.000 ila 24.000 ses örneği üreten WaveNet, İngilizce ve Mandarin Çincesi testlerinde dönemin en iyi TTS sistemlerini açık ara geride bıraktı. Modelin en önemli dezavantajı, örnekleri tek tek (otoregresif) üretmesiydi; bu durum çıkarımı son derece yavaşlatıyordu, saniyeler süren üretim dakikalarca bekletebiliyordu. Bu sorunu aşmak için DeepMind, 2017'de Parallel WaveNet'i tanıttı. Olasılık yoğunluğu damıtma tekniğini kullanan bu model, orijinalin 1.000 kat üzerinde hızda ses üretebiliyor ve gerçek zamanlı kullanımı mümkün kılıyordu. Google Asistan'ın TTS altyapısı bu Parallel WaveNet modeliyle güçlendirildi ve milyonlarca kullanıcıya sunuldu. WaveNet yalnızca metin-okuma alanıyla sınırlı kalmadı; müzik üretimi, piyano müziği sentezi ve ses kodlaması gibi alanlara da başarıyla uyarlandı. Tacotron 2, WaveRNN ve SoundStream gibi günümüz ses üretim modellerinin büyük çoğunluğu WaveNet mimarisinden ilham almıştır. Bu yönüyle WaveNet, modern yapay zeka ses teknolojilerinin temel taşlarından biri olarak tarihe geçmiştir.
Audio Codec (Audio Codec)
Audio codec (ses kodeki), analog veya dijital ses sinyallerini verimli biçimde kodlayan (sıkıştıran) ve çözümleyen yazılım ya da donanım bileşenidir. "Codec" sözcüğü "coder-decoder" kelimelerinin kısaltmasıdır. Ham ses, CD kalitesinde saniyede yaklaşık 1.4 Mbit veri üretir; codec bu veriyi saklanabilir ve aktarılabilir boyuta küçülterek insan kulağının algılayamayacağı frekans bileşenlerini atar. Geleneksel kodekler psikoakustik maskeleme ilkesini kullanır: insan işitme sistemi, güçlü seslerin yanındaki zayıf sesleri ayırt edemez; bu boşluk, bit bütçesini sadece kritik frekanslara yoğunlaştırarak sıkıştırma oranını artırır. MP3 (MPEG-1 Audio Layer III) bu yaklaşımın öncüsüdür: 1.4 Mbit/s ham sesi 128 kbps'e, yani yaklaşık 11 kat sıkıştırır. AAC (Advanced Audio Coding) aynı bant genişliğinde MP3'e kıyasla belirgin ses kalitesi iyileştirmesi sunar; Opus ise hem düşük gecikmeli iletişim hem de yüksek kaliteli müzik aktarımı için optimize edilmiştir. 2021'den itibaren sinir ağı tabanlı neural audio codec'ler bu alanı yeniden tanımladı. Google'ın SoundStream modeli, evrişimli kodlayıcı (encoder) ve çözücü (decoder) ile birleştirilmiş artık vektör niceleme (Residual Vector Quantization, RVQ) mimarisini ilk kez büyük ölçekte başarılı biçimde uygulayan sistem oldu. RVQ'da ses dalgası, birbiriyle kademeli olarak giderek azalan artıkları öğrenen kod kitaplarına (codebook) eşlenir; her kademe bir öncekinin hatasını kodlar. Bu yaklaşım, 3 kbps gibi son derece düşük bit hızlarında konuşmayı anlaşılır biçimde korumayı mümkün kılar. Meta'nın EnCodec modeli (2022), 1.5 kbps ile 24 kbps arasında çalışır; en-iyi-sınıf müzik ve konuşma kalitesi üretirken gizli temsillerini VALL-E ve MusicGen gibi üretici modellerin doğrudan girdisi olarak sunar. Descript Audio Codec (DAC, 2023) ise 44.1 kHz örnekleme frekansını destekleyerek stüdyo kalitesinde kodlama olanağı tanır. Yapay zeka uygulamalarında audio codec'ler kritik bir ara katman işlevi görür. Büyük dil modellerinin ses üretebilmesi için ham dalga biçimlerinin ayrık token dizilerine dönüştürülmesi gerekir; bu dönüşümü RVQ tabanlı codec'ler gerçekleştirir. AudioLM ve SoundStorm modelleri codec tokenlerini bir sonraki token olasılığını tahmin eden transformatör mimarisiyle işler. Microsoft'un VALL-E modeli, konuşmacı sesini yalnızca 3 saniyelik ses örneğiyle kopyalayan sıfır-atış (zero-shot) TTS üretmek için aynı yaklaşımı benimser. Müzik üretiminde MusicLM ve Stable Audio'nun temelinde de benzer codec altyapıları yatar.