Audio Codec Nedir? Ses Sıkıştırma ve Yapay Zeka (Audio Codec)

#ses-kodeki #neural-codec #encodec #rvq #tts #ses-uretimi

Ses sinyallerini kodlayan ve çözümleyen bileşen; RVQ tabanlı neural codec'ler (EnCodec, DAC) LLM tabanlı ses üretimi ve TTS sistemlerinin temel altyapısını oluşturur.

Audio codec (ses kodeki), analog veya dijital ses sinyallerini verimli biçimde kodlayan (sıkıştıran) ve çözümleyen yazılım ya da donanım bileşenidir. "Codec" sözcüğü "coder-decoder" kelimelerinin kısaltmasıdır. Ham ses, CD kalitesinde saniyede yaklaşık 1.4 Mbit veri üretir; codec bu veriyi saklanabilir ve aktarılabilir boyuta küçülterek insan kulağının algılayamayacağı frekans bileşenlerini atar. Geleneksel kodekler psikoakustik maskeleme ilkesini kullanır: insan işitme sistemi, güçlü seslerin yanındaki zayıf sesleri ayırt edemez; bu boşluk, bit bütçesini sadece kritik frekanslara yoğunlaştırarak sıkıştırma oranını artırır. MP3 (MPEG-1 Audio Layer III) bu yaklaşımın öncüsüdür: 1.4 Mbit/s ham sesi 128 kbps'e, yani yaklaşık 11 kat sıkıştırır. AAC (Advanced Audio Coding) aynı bant genişliğinde MP3'e kıyasla belirgin ses kalitesi iyileştirmesi sunar; Opus ise hem düşük gecikmeli iletişim hem de yüksek kaliteli müzik aktarımı için optimize edilmiştir. 2021'den itibaren sinir ağı tabanlı neural audio codec'ler bu alanı yeniden tanımladı. Google'ın SoundStream modeli, evrişimli kodlayıcı (encoder) ve çözücü (decoder) ile birleştirilmiş artık vektör niceleme (Residual Vector Quantization, RVQ) mimarisini ilk kez büyük ölçekte başarılı biçimde uygulayan sistem oldu. RVQ'da ses dalgası, birbiriyle kademeli olarak giderek azalan artıkları öğrenen kod kitaplarına (codebook) eşlenir; her kademe bir öncekinin hatasını kodlar. Bu yaklaşım, 3 kbps gibi son derece düşük bit hızlarında konuşmayı anlaşılır biçimde korumayı mümkün kılar. Meta'nın EnCodec modeli (2022), 1.5 kbps ile 24 kbps arasında çalışır; en-iyi-sınıf müzik ve konuşma kalitesi üretirken gizli temsillerini VALL-E ve MusicGen gibi üretici modellerin doğrudan girdisi olarak sunar. Descript Audio Codec (DAC, 2023) ise 44.1 kHz örnekleme frekansını destekleyerek stüdyo kalitesinde kodlama olanağı tanır. Yapay zeka uygulamalarında audio codec'ler kritik bir ara katman işlevi görür. Büyük dil modellerinin ses üretebilmesi için ham dalga biçimlerinin ayrık token dizilerine dönüştürülmesi gerekir; bu dönüşümü RVQ tabanlı codec'ler gerçekleştirir. AudioLM ve SoundStorm modelleri codec tokenlerini bir sonraki token olasılığını tahmin eden transformatör mimarisiyle işler. Microsoft'un VALL-E modeli, konuşmacı sesini yalnızca 3 saniyelik ses örneğiyle kopyalayan sıfır-atış (zero-shot) TTS üretmek için aynı yaklaşımı benimser. Müzik üretiminde MusicLM ve Stable Audio'nun temelinde de benzer codec altyapıları yatar.

Audio Codec Nedir? Temel Çalışma Prensibi

Audio codec (ses kodeki), ses sinyallerini verimli biçimde kodlayan ve çözümleyen yazılım ya da donanım bileşenidir. 'Codec' sözcüğü 'coder-decoder' kısaltmasıdır. Ham ses, CD kalitesinde saniyede ~1.4 Mbit veri üretir; codec bu veriyi saklanabilir ve aktarılabilir boyuta küçültür. Geleneksel kodekler psikoakustik maskeleme ilkesini kullanır: insan işitme sistemi güçlü seslerin yanındaki zayıf sesleri ayırt edemez; bu boşluk, bit bütçesini yalnızca kritik frekanslara yoğunlaştırarak sıkıştırma oranını artırır. MP3 yaklaşık 11 kat sıkıştırma sunarken AAC aynı bit hızında daha iyi ses kalitesi üretir; Opus ise gerçek zamanlı iletişim için optimize edilmiştir.

Üç Önemli Neural Audio Codec

🔊 SoundStream (Google, 2021)

RVQ tabanlı neural audio codec'lerin öncüsü. Evrişimli encoder/decoder + artık vektör niceleme (RVQ) mimarisini ilk büyük ölçekte başarıyla uygulayan sistem. 3 kbps gibi son derece düşük bit hızlarında anlaşılır konuşma kalitesi elde eder.

🎵 EnCodec (Meta, 2022)

1.5-24 kbps aralığında çalışır; müzik ve konuşmada üstün kalite sunar. VALL-E, AudioLM ve MusicGen gibi üretici modellerin doğrudan giriş token kaynağı olarak tasarlanmıştır. Açık kaynak olarak yayınlanmış, AI ses ekosisteminin standart altyapısına dönüşmüştür.

🎙️ DAC / Descript Audio Codec (2023)

44.1 kHz örnekleme frekansını destekler; stüdyo kalitesinde kodlama olanağı tanıyan ilk neural codec'tir. Müzik üretimi ve profesyonel ses işleme uygulamalarına yönelik geliştirilmiştir. Açık kaynak olarak sunulan DAC, yüksek bant genişliği gerektiren senaryolarda tercih edilir.

RVQ: Ses Tokenlerinin Dili

Residual Vector Quantization (RVQ), neural audio codec'lerin çoğunluğunun dayandığı temel niceleme tekniğidir. Ses dalgası önce evrişimli encoder ile gizli bir gösterime (latent) dönüştürülür. Ardından bu gösterim, birbiriyle kademeli çalışan birden fazla kod kitabına (codebook) eşlenir: birinci kademe ham sinyali yaklaşık kodlarken her sonraki kademe bir öncekinin kalıntı hatasını (residual) kodlar. Bu yaklaşım, sıkıştırma oranını artırmak için ek kod kitapları ekleyerek doğrusal biçimde genişletilebilir. Tek bir saniye sese karşılık gelen RVQ token dizisi, büyük dil modellerinin metin token dizisiyle aynı şekilde işlenebilir; bu benzerlik, ses ve metin arasında köprü kuran çok modelli modellerin önünü açar.

LLM Tabanlı Ses Üretiminde Codec Rolü

Büyük dil modellerinin ses üretebilmesi için ham dalga biçimlerinin ayrık token dizilerine dönüştürülmesi gerekir; bu dönüşümü RVQ tabanlı codec'ler üstlenir. AudioLM ve SoundStorm, codec tokenlerini bir sonraki token olasılığını tahmin eden transformer mimarisiyle işler. Microsoft'un VALL-E modeli, yalnızca 3 saniyelik ses örneğiyle konuşmacı sesini kopyalayan sıfır-atış (zero-shot) TTS üretir. MusicLM ve Stable Audio ise müzik üretiminde aynı token tabanlı yaklaşımı benimser. Türkçe TTS bağlamında EnCodec veya DAC kullanan açık kaynak modeller (örn. Parler-TTS, Bark) Türkçe metni doğal konuşmaya dönüştürmek için hem RVQ token üretimi hem de waveform sentezi aşamasını gerçekleştirebilmektedir.

Geleneksel ve Neural Codec Karşılaştırması

Geleneksel kodekler (MP3, AAC, Opus) deterministik algoritmalar ve psikoakustik modeller üzerine kuruludur; hesaplama maliyeti düşük, çıkışı tahmin edilebilirdir. Neural codec'ler ise sinir ağı çıkarımı gerektirdiğinden geleneksel kodeklere kıyasla daha yüksek işlemci gücü tüketir — ancak çok daha düşük bit hızlarında çok daha yüksek kalite sunarlar. Opus'un 32 kbps çıkışı ile EnCodec'in 6 kbps çıkışı benzer konuşma kalitesi sağlayabilir. Gömülü ve gerçek zamanlı sistemlerde geleneksel kodekler avantajını korurken AI araştırma ortamlarında ve büyük dil modeli tabanlı ses üretiminde neural codec'ler standart konuma gelmiştir.

Sık Sorulan Sorular

  • check_circle Neural audio codec ile geleneksel codec arasındaki temel fark nedir?: Geleneksel codec'ler (MP3, AAC) psikoakustik kurallarla belirlenmiş deterministik algoritmalar kullanır; sinir ağı çıkarımı gerektirmez. Neural codec'ler (EnCodec, DAC) eğitilmiş ağırlıklar üzerinden çalışır; aynı bit hızında çok daha iyi ses kalitesi üretir ancak daha fazla hesaplama gücü tüketir.
  • check_circle EnCodec neden VALL-E ve MusicGen gibi modellerde kullanılıyor?: EnCodec, ses dalgasını LLM'lerin kolayca işleyebileceği ayrık token dizilerine dönüştürür. Metin tokenları gibi her ses tokenı bir indeks sayısıdır; transformer mimarisi bu sırayı 'bir sonraki token tahmini' göreviyle öğrenebilir. Bu köprü sayesinde bir LLM metni okuyup sesi tahmin edebilir ya da sesi dinleyip metin üretebilir.
  • check_circle RVQ neden birden fazla kod kitabı (codebook) kullanır?: Tek bir kod kitabı sınırlı sayıda ses kümesi ayırt edebilir. RVQ her aşamada bir öncekinin artık hatasını (residual) kodlayarak giderek hassaslaşan bir yaklaşım üretir. Daha fazla kademe eklemek bit hızını artırır ama kaliteyi de yükseltir; pratikte EnCodec 8 kod kitabı kullanırken DAC bu sayıyı 12'ye çıkarır.
  • check_circle Opus codec AI uygulamalarında hâlâ gerekli mi?: Opus, gerçek zamanlı ses iletişimi (WebRTC, VoIP) için neural codec'lere kıyasla çok daha düşük gecikme ve CPU tüketimi sunar. AI inference gerekmeyen bu kullanım senaryolarında Opus tercih edilmaya devam eder. LLM tabanlı ses üretimi gerektiren uygulamalarda ise neural codec'ler zorunlu altyapı haline gelmiştir.
  • check_circle DAC'ın 44.1 kHz desteği neden önemli?: İnsan işitmesinin üst sınırı ~20 kHz olduğu için CD standardı 44.1 kHz örnekleme hızını kullanır. SoundStream ve EnCodec'in hedeflediği 24 kHz bu sınırın altında kalırken DAC tam CD kalitesini neural codec ile sunmayı başarır. Müzik üretimi ve stüdyo ses işleme uygulamalarında bu fark estetik açıdan kritik öneme sahiptir.