WaveNet

#ses sentezi #derin öğrenme #TTS #konvolüsyonel ağlar #Google DeepMind

Google DeepMind'ın geliştirdiği, ses dalgalarını örnek bazında üreten derin konvolüsyonel sinir ağı.

WaveNet, Google DeepMind tarafından 2016 yılında geliştirilen ve ham ses dalgalarını doğrudan üreten çığır açıcı bir derin sinir ağı modelidir. Geleneksel metin-okuma (TTS) sistemlerinin aksine, WaveNet sesi fonem veya melodik bileşenler düzeyinde değil, dalga formunun her tek örnek noktasında üretir; bu sayede çıktı, gerçek insan sesine çok daha yakın bir doğallık ve ifade zenginliği kazanır. Modelin temel mimarisi, seyreltilmiş nedensel konvolüsyonlar (dilated causal convolutions) üzerine kuruludur. 'Nedensel' yapı, modelin yalnızca geçmiş örnekleri kullanarak bir sonraki örneği tahmin etmesini sağlar; bu da kausalitenin korunmasını ve gerçek zamanlı konuşma üretimine uygun bir yapı elde edilmesini olanaklı kılar. 'Seyreltme' faktörü ise üstel şekilde büyüyen bir receptive field sağlar — model az parametre ile geniş bir bağlamı görebilir ve uzun vadeli bağımlılıkları yakalayabilir. Saniyede 16.000 ila 24.000 ses örneği üreten WaveNet, İngilizce ve Mandarin Çincesi testlerinde dönemin en iyi TTS sistemlerini açık ara geride bıraktı. Modelin en önemli dezavantajı, örnekleri tek tek (otoregresif) üretmesiydi; bu durum çıkarımı son derece yavaşlatıyordu, saniyeler süren üretim dakikalarca bekletebiliyordu. Bu sorunu aşmak için DeepMind, 2017'de Parallel WaveNet'i tanıttı. Olasılık yoğunluğu damıtma tekniğini kullanan bu model, orijinalin 1.000 kat üzerinde hızda ses üretebiliyor ve gerçek zamanlı kullanımı mümkün kılıyordu. Google Asistan'ın TTS altyapısı bu Parallel WaveNet modeliyle güçlendirildi ve milyonlarca kullanıcıya sunuldu. WaveNet yalnızca metin-okuma alanıyla sınırlı kalmadı; müzik üretimi, piyano müziği sentezi ve ses kodlaması gibi alanlara da başarıyla uyarlandı. Tacotron 2, WaveRNN ve SoundStream gibi günümüz ses üretim modellerinin büyük çoğunluğu WaveNet mimarisinden ilham almıştır. Bu yönüyle WaveNet, modern yapay zeka ses teknolojilerinin temel taşlarından biri olarak tarihe geçmiştir.

WaveNet Nedir?

WaveNet, Google DeepMind'ın 2016'da tanıttığı ve ses üretme biçimini kökten değiştiren bir derin sinir ağı modelidir. Geleneksel TTS sistemleri ses üretmek için spektrogram ya da parametrik modeller kullanırken, WaveNet ham dalga formunu doğrudan öğrenir ve örnek örnek yeniden oluşturur. Bu yaklaşım, üretilen sesin gerçek insan sesiyle neredeyse ayırt edilemez bir doğallığa ulaşmasını sağladı.

Dilated Causal Convolutions: Mimarinin Kalbi

WaveNet'in temel yapı taşı, seyreltilmiş nedensel konvolüsyonlardır. 'Nedensel' terimi, modelin yalnızca geçmişteki örneklere erişebildiğini ifade eder; bu sayede gelecek bilgisi sızdırılmaz. 'Seyreltme' ise katmanlar derinleştikçe dilation faktörünün (1, 2, 4, 8, 16…) üstel artmasını tanımlar; böylece model az sayıda parametre ile binlerce time-step'e uzanan bağlamı kavrayabilir. Bu mimari, ağın hem etkili öğrenmesini hem de hesaplama açısından verimli çalışmasını sağlar.

Otoregresif Üretim ve Hız Sorunu

WaveNet'in orijinal versiyonunda ses, her örnek noktası öncekine koşullu olacak şekilde tek tek (otoregresif) üretilir. Saniyede 24.000 örnek üretmesi gereken modelin bu noktaları birbirini bekleyerek oluşturması, ciddi bir gecikme sorununa yol açar; 1 saniye ses üretmek başlangıçta dakikalar alıyordu. Bu durum, modelin doğrudan üretim ortamına taşınmasını başlangıçta imkânsız kılıyordu.

Parallel WaveNet: Gerçek Zamanlı Çözüm

DeepMind, 2017'de otoregresif kısıtı aşmak için Parallel WaveNet'i yayımladı. Bu model, Inverse Autoregressive Flow (IAF) yöntemiyle tüm ses örneklerini aynı anda paralel olarak üretebilir. Eğitim sürecinde asıl WaveNet bir öğretmen, Parallel WaveNet ise bir öğrenci gibi çalışır (knowledge distillation); öğrenci modeli öğretmenin dağılımını taklit ederek yüksek kaliteyi korurken orijinalden 1.000 kat daha hızlı çalışır. Google Asistan bu teknolojiyle ses üretmeye başladı.

Uygulama Alanları

WaveNet başlangıçta TTS odaklı tasarlanmış olsa da kısa sürede pek çok alana yayıldı: piyano ve genel müzik sentezi, ses sıkıştırma ve kodlama, ses aktarımı (voice conversion), metin bağımsız ses üretimi ve konuşmacı adaptasyonu bunların başında gelir. WaveNet'in çok yönlü yapısı, ses üretimi gerektiren neredeyse her uygulamada bir başlangıç noktası haline gelmiştir.

WaveNet'in Mirası

WaveNet, modern ses üretim ekosisteminde derin bir miras bırakmıştır. Tacotron 2, WaveRNN, MelGAN, HiFi-GAN ve SoundStream gibi modeller WaveNet mimarisinden ya da felsefi çerçevesinden beslenir. Ses üretimini ham dalga formu düzeyinde ele alan WaveNet, derin öğrenmenin ses alanındaki sınırlarını genişletmiş ve bu alanda bir kıyaslama standardı oluşturmuştur.

Sık Sorulan Sorular

WaveNet ile Tacotron arasındaki fark nedir? Tacotron metni mel-spektrograma dönüştüren bir encoder-decoder modelidir; WaveNet ise bu spektrogramı ham ses dalgasına çeviren bir vocoderdir. İkisi birlikte (Tacotron 2 + WaveNet) döneminin en yüksek kaliteli TTS sistemini oluşturdu.

WaveNet hâlâ kullanılıyor mu? Google, Parallel WaveNet'i 2018'de Google Asistan'da aktive etti. Günümüzde daha hafif modeller (WaveRNN, HiFi-GAN) tercih edilse de WaveNet mimarisi araştırmalarda yaygın referans noktasıdır.

WaveNet'i eğitmek için ne kadar veri gerekir? Orijinal model saatler süren tek konuşmacı ses verisiyle eğitildi; çok konuşmacılı modeller için daha fazla veri gerekir, ancak transfer learning ile daha az veriyle de iyi sonuç alınabilir.

WaveNet metinden bağımsız ses üretebilir mi? Evet. Koşullu kontrol sinyali kullanılmadığında model koşulsuz ses üretir; bu durum müzik ve ortam sesi sentezinde kullanılmıştır.