tag Ses İşleme
Acoustic Model (Akustik Model)
Bu sayfada Ses İşleme (Acoustic Model (Akustik Model)) etiketi ile işaretlenmiş 10 yapay zeka kavramını bulabilirsiniz.
Akustik Model, otomatik konuşma tanıma (ASR) sistemlerinin temel bileşenidir ve ses sinyalleri ile dilbilimsel birimler (fonemler, seslemler veya sözcükler) arasındaki istatistiksel ilişkiyi temsil eden bir modeldir. Konuşma işlemenin çekirdeğinde yer alan bu yapı, ham ses dalgalarını sayısal özelliklere (genellikle MFCC — Mel Frekansı Kepstral Katsayıları) dönüştürerek hangi sesbirime veya sözcüğe karşılık geldiğini olasılıksal olarak tahmin eder. Tarihsel olarak akustik modeller, Gizli Markov Modelleri (Hidden Markov Models — HMM) ve Gauss Karışım Modelleri (GMM) üzerine inşa edilmiştir. Bu klasik yaklaşımda her fonem, ayrı bir durum makinesiyle temsil edilir ve gözlem olasılıkları Gauss dağılımlarıyla hesaplanır. 1970'lerden 2000'lerin başına kadar konuşma tanımanın baskın paradigması olan bu yöntem, sınırlı veri ve hesaplama gücüyle bile kabul edilebilir sonuçlar vermiştir. Derin öğrenmenin yükselişiyle birlikte akustik modeller köklü bir dönüşüm geçirmiştir. Günümüz sistemlerinde Derin Sinir Ağları (DNN), Tekrarlayan Sinir Ağları (RNN), LSTM ve Transformer mimarileri, HMM ile hibrit ya da tamamen uçtan uca (end-to-end) biçimde kullanılmaktadır. OpenAI'nin Whisper modeli gibi son nesil sistemler, dil modelini ve akustik modeli tek bir Transformer mimarisi altında birleştirerek son derece yüksek doğruluk oranları elde etmektedir. Akustik modelin eğitimi için yüzlerce hatta binlerce saat etiketlenmiş ses kaydı gerekmektedir. Çevre gürültüsü, farklı aksanlar, mikrofon kalitesi ve konuşma hızı gibi faktörler tanıma doğruluğunu doğrudan etkiler. Transfer learning ve self-supervised learning yaklaşımları (wav2vec, HuBERT gibi modeller), etiketli veri ihtiyacını önemli ölçüde azaltmıştır. Akustik model çıkışı genellikle fonem olasılıkları dizisidir; bu olasılıklar dil modeli ile birleştirilerek nihai kelime transkripti üretilir.
Acoustic Model (Akustik Model)
Akustik Model, otomatik konuşma tanıma (ASR) sistemlerinin temel bileşenidir ve ses sinyalleri ile dilbilimsel birimler (fonemler, seslemler veya sözcükler) arasındaki istatistiksel ilişkiyi temsil eden bir modeldir. Konuşma işlemenin çekirdeğinde yer alan bu yapı, ham ses dalgalarını sayısal özelliklere (genellikle MFCC — Mel Frekansı Kepstral Katsayıları) dönüştürerek hangi sesbirime veya sözcüğe karşılık geldiğini olasılıksal olarak tahmin eder. Tarihsel olarak akustik modeller, Gizli Markov Modelleri (Hidden Markov Models — HMM) ve Gauss Karışım Modelleri (GMM) üzerine inşa edilmiştir. Bu klasik yaklaşımda her fonem, ayrı bir durum makinesiyle temsil edilir ve gözlem olasılıkları Gauss dağılımlarıyla hesaplanır. 1970'lerden 2000'lerin başına kadar konuşma tanımanın baskın paradigması olan bu yöntem, sınırlı veri ve hesaplama gücüyle bile kabul edilebilir sonuçlar vermiştir. Derin öğrenmenin yükselişiyle birlikte akustik modeller köklü bir dönüşüm geçirmiştir. Günümüz sistemlerinde Derin Sinir Ağları (DNN), Tekrarlayan Sinir Ağları (RNN), LSTM ve Transformer mimarileri, HMM ile hibrit ya da tamamen uçtan uca (end-to-end) biçimde kullanılmaktadır. OpenAI'nin Whisper modeli gibi son nesil sistemler, dil modelini ve akustik modeli tek bir Transformer mimarisi altında birleştirerek son derece yüksek doğruluk oranları elde etmektedir. Akustik modelin eğitimi için yüzlerce hatta binlerce saat etiketlenmiş ses kaydı gerekmektedir. Çevre gürültüsü, farklı aksanlar, mikrofon kalitesi ve konuşma hızı gibi faktörler tanıma doğruluğunu doğrudan etkiler. Transfer learning ve self-supervised learning yaklaşımları (wav2vec, HuBERT gibi modeller), etiketli veri ihtiyacını önemli ölçüde azaltmıştır. Akustik model çıkışı genellikle fonem olasılıkları dizisidir; bu olasılıklar dil modeli ile birleştirilerek nihai kelime transkripti üretilir.
Audio Classification (Ses Sınıflandırma)
Ses Sınıflandırma (Audio Classification), bir ses sinyalinin içeriğini otomatik olarak belirlenmiş kategorilere atayan makine öğrenimi ve derin öğrenme sürecidir. Geleneksel ses işleme yöntemleri elle tasarlanmış özelliklere (MFCC, mel-spektrogram gibi) dayanırken, modern derin öğrenme modelleri bu temsilleri doğrudan girdi alarak sınıflandırma görevini otomatik özellik çıkarımıyla gerçekleştirir. En yaygın yaklaşım, ses sinyalini görsel bir frekans-zaman temsili olan mel-spektrograma dönüştürmek ve ardından bu görüntü üzerinde evrişimli sinir ağları (CNN) uygulamaktır. Bu yaklaşım, bilgisayarlı görme alanındaki ilerlemelerin ses sınıflandırmaya başarıyla aktarılmasını sağlamıştır. YAMNet ve PANN (Pre-trained Audio Neural Networks) gibi büyük ölçekli ön eğitimli modeller, transfer learning aracılığıyla küçük veri kümeleri için de yüksek başarım sunmaktadır. Ses sınıflandırma problemleri çeşitli biçimler alabilir: müzik türü tanıma (pop, rock, caz), kentsel ses tanıma (araba kornası, müzik aleti, insan sesi), çevresel ses sınıflandırma (yağmur, rüzgar, hayvan sesleri), tıbbi ses analizi (öksürük, nefes sesleri, kalp atışı) ve konuşma/müzik/gürültü ayrımı bunların başında gelmektedir. Değerlendirme metrikleri problemin türüne göre değişir: ikili sınıflandırmada F1 skoru ve AUC, çok sınıflı görevlerde doğruluk ve karışıklık matrisi, çok etiketli görevlerde ise mAP (mean Average Precision) tercih edilir. Google'ın AudioSet veri kümesi 632 ses kategorisi ve yaklaşık 2 milyon etiketli video klipiyle genel amaçlı ses sınıflandırma modellerinin eğitimini mümkün kılmaktadır. Ses sınıflandırma, yapay zeka uygulamalarında artmakta olan önemiyle akıllı ses işleme ekosisteminin temel bir bileşeni hâline gelmiştir.
Noise Cancellation (Yapay Zeka ile Gürültü Engelleme)
Noise Cancellation (Gürültü Engelleme), yapay zeka ve derin öğrenme modellerini kullanarak ses sinyallerindeki istenmeyen arka plan gürültüsünü gerçek zamanlı olarak tespit edip bastıran ses işleme teknolojisidir. Geleneksel aktif gürültü engelleme (ANC) yöntemleri donanım tabanlı olup ters fazlı ses dalgaları üretirken; yapay zeka tabanlı gürültü engelleme, eğitilmiş nöral ağlar aracılığıyla yalnızca yazılım katmanında çalışır ve çok daha geniş bir gürültü spektrumunu bertaraf edebilir. Bu teknoloji, özellikle video konferans, uzaktan çalışma, oyun ve işitme cihazları alanlarında yaygın kullanım bulmaktadır. NVIDIA RTX Voice, Krisp, Microsoft Teams Gürültü Giderme ve Zoom'un arka plan ses filtresi bu teknolojiyi kullanan öncü ürünler arasında sayılabilir. Yapay zeka tabanlı gürültü engelleme sistemleri genellikle yinelemeli sinir ağları (RNN), uzun kısa süreli bellek (LSTM) modelleri veya dönüştürücü (transformer) mimarileri üzerine inşa edilir. Modeller, eşleştirilmiş temiz ses ve gürültülü ses veri kümeleri kullanılarak eğitilir; bu sayede sisteme yeni bir ses geldiğinde konuşma sinyali ile gürültü sinyalini birbirinden ayırt edebilir hale gelirler. Teknolojinin en büyük avantajı, frekans bandına bağımlı olmayan geniş spektrum gürültü bastırması sunmasıdır: klavye sesi, iklim cihazı uğultusu, sokak gürültüsü ve cafe kalabalığı gibi birbirinden farklı gürültü türlerini aynı model işleyebilir. Bunun yanı sıra sistem, kullanıcının sesini koruyarak yalnızca arka plan seslerini filtrelemekte; bu da konuşma anlaşılırlığını önemli ölçüde artırmaktadır. Modern çözümlerde gecikme süresi genellikle 20 milisaniyenin altındadır; bu değer, gerçek zamanlı iletişim uygulamalarında kabul edilebilir eşiğin çok altındadır. Daha gelişmiş modeller, yalnızca gürültüyü bastırmakla kalmayıp konuşmacının sesini de iyileştirme özelliğini bünyesinde barındırır.
Acoustic Scene Classification (Akustik Sahne Sınıflandırma)
Acoustic Scene Classification (ASC), bir yapay zeka sisteminin ham ses kaydından "café ortamı", "park", "şehir sokağı" veya "ev içi" gibi ortam türlerini otomatik olarak tanımasını sağlayan derin öğrenme tabanlı ses analizi tekniğidir. Türkçe karşılığı Akustik Sahne Sınıflandırma olan bu yaklaşım, mikrofon ile yakalanan çevresel sesleri işleyerek ortama özgü akustik parmak izlerini çıkarır ve ortam farkındalığı gerektiren sistemlere anında bağlam bilgisi sağlar. Temel işlem hattı şu adımlardan oluşur: Ham ses sinyali önce mel-spektrogramlara veya mel-frekans kepstral katsayılarına (MFCC) dönüştürülür; ardından bir Evrişimli Sinir Ağı (CNN) ya da Transformer mimarisi bu iki boyutlu görüntü temsilini sınıflandırır. 2013 yılında başlayan DCASE (Detection and Classification of Acoustic Scenes and Events) yarışması, bu alandaki küresel standart kıyaslamayı belirlemektedir. Her yıl güncellenen TAU Urban Acoustic Scenes veri seti, 10+ şehirde 10 farklı ortam sınıfı için etiketli ses kayıtları sunar; bu sınıflar alışveriş merkezi, metro, tramvay, park, sokak, hava limanı ve ofis gibi çeşitli mekânları kapsar. 2024 itibarıyla en yüksek skorlar, ses olayı tespiti ile ortak öğrenme kullanan hibrit CNN-Transformer modellerine aittir. ASC'nin temel uygulama alanları arasında akıllı şehir gürültü haritalaması, otonom araçların ortam farkındalığı, işitsel engelliler için çevre tanımlayıcı sistemler, giyilebilir cihazlarda bağlam duyarlı bildirim yönetimi ve akıllı ev ekipmanlarının ortam uyarlaması sayılabilir. Örneğin bir akıllı saat, kullanıcının toplantı odasında mı yoksa açık havada mı olduğunu akustik sahneye göre algılayarak bildirimleri otomatik olarak susturabilir ya da hoparlör sesini ortama uyarlayabilir. OpenSMILE, librosa ve PANNs (Pretrained Audio Neural Networks) yaygın kullanılan açık kaynak kütüphanelerdir. Teknik zorluklar arasında mikrofon kalitesine bağlı domain shift, gürültülü ortamlarda sınıf örtüşmesi ve yüksek etiketleme maliyeti öne çıkar. AudioSet üzerinde ön eğitilmiş modellerin ince ayarlanması ve transfer öğrenme yaklaşımları, az veriyle yüksek doğruluk elde etmeyi mümkün kılmaktadır. MixUp, SpecAugment ve pitch shift gibi veri artırma teknikleri küçük veri setleri için zorunlu hale gelmiştir. Edge cihazlarda gerçek zamanlı sınıflandırma amacıyla EfficientNet-b0 ve MobileNet tabanlı hafif ASC modelleri, TensorFlow Lite veya ONNX Runtime ile dağıtılmakta ve bu alan aktif bir araştırma konusu olmaya devam etmektedir.
Keyword Detection Nedir? Sesli Asistanlarda Anahtar Kelime Tespiti (Anahtar Kelime Tespiti)
Keyword detection (anahtar kelime tespiti), bir ses sinyalinde veya metin akışında önceden tanımlanmış sözcükleri ya da ifadeleri gerçek zamanlı olarak tanıyan yapay zeka tabanlı bir tekniktir. Sesli asistanlar, akıllı hoparlörler ve çağrı merkezi sistemlerinde temel bir bileşen olan bu teknoloji, sürekli dinleme (continuous listening) ile tetikleme kelimelerini milisaniyeler içinde ayırt edebilir. Teknik altyapı açısından keyword detection, genellikle iki aşamalı bir pipeline üzerinde çalışır. İlk aşamada küçük ve hesaplama açısından hafif bir model (örneğin MobileNet tabanlı ses sınıflandırıcısı) cihaz üzerinde sürekli çalışarak olası tetikleme kelimelerini tarar. Pozitif bir sinyal alındığında daha kapasiteli bir konuşma tanıma motoru devreye girer. Bu yaklaşım hem pil ömrünü korur hem de gizlilik açısından daha güvenli bir çözüm sunar; veriler tetikleyici kelime tespit edilene kadar buluta gönderilmez. Anahtar kelime tespiti için yaygın olarak kullanılan mimariler arasında Convolutional Neural Network (CNN) tabanlı ses sınıflandırıcıları, Recurrent Neural Network (RNN) ve dikkat mekanizmalı hibrit modeller yer alır. "Hey Siri", "OK Google" ve "Alexa" gibi wake-word sistemleri bu teknolojinin en bilinen uygulamalarıdır. Gömülü sistemlerde çalışan keyword detection modelleri, düşük gecikme süresi (≤200ms) ve yüksek yanlış pozitif dayanıklılığı gibi katı kısıtlamalara tabi tutulur. Arka plan gürültüsü, farklı aksanlar ve konuşma hızları modelin sağlamlığını test eden başlıca zorluklardır. Bu nedenle modeller genellikle ONNX veya TFLite ile optimize edilerek edge cihazlara deploy edilir. NLP alanında ise keyword detection, metin tabanlı belgelerde belirli kavramları otomatik olarak işaretlemek, içerik moderasyonu yapmak veya arama motorlarını optimize etmek amacıyla kullanılır. Ses ve metin pipeline'larının kesiştiği bu nokta, keyword detection'ı modern yapay zeka sistemlerinin vazgeçilmez bir bileşeni haline getirir.
Mel Spectrogram (Mel Spektrogramı)
Mel Spektrogramı, sesin zaman-frekans temsilini insan işitme algısını taklit eden mel ölçeğinde sunan bir ses özellik çıkarma yöntemidir. 'Mel' adı, 1937 yılında Stevens, Volkmann ve Newman tarafından geliştirilen ve insan kulağının farklı frekanslara nasıl tepki verdiğini modelleyen mel ölçeğinden (mel scale) gelir. İnsan kulağı düşük frekanslarda ince ayrımlar yaparken yüksek frekanslarda daha az hassastır; mel ölçeği bu perceptual özelliği matematiksel olarak yaklaşık olarak ifade eder. Mel spektrogramı üretmek için önce ses sinyali kısa pencereler (genellikle 25 ms) hâlinde Kısa Süreli Fourier Dönüşümü (STFT) ile spektrograma çevrilir. Ardından bu spektrogram, mel filtre bankasından geçirilerek doğrusal frekans ekseni mel ölçeğine dönüştürülür. Son adımda logaritmik ölçekleme (log-mel) uygulanarak insan işitme duyarlılığına benzer bir dinamik aralık elde edilir. Mel spektrogramları modern ses işleme ve konuşma tanıma sistemlerinde temel girdi formatı olarak kabul görür. OpenAI Whisper, 80 adet mel filtresi kullanan 25 ms pencerelere sahip log-mel spektrogramlarını ASR (Automatic Speech Recognition) için standart girdi biçimi olarak benimser. TTS (Text-to-Speech) sistemleri de mel spektrogramlarını ara temsil olarak kullanarak ses sentezi yapar; önce metnden mel spektrogramı tahmin edilir, ardından bir vocoder bu spektrogramu ham ses dalgasına çevirir. Ses sınıflandırma, duygu tanıma, müzik türü tespiti ve konuşmacı kimlik doğrulama gibi görevlerde CNN, LSTM ve Transformer modelleri mel spektrogramlarını görsel girdi gibi işler. Bu yaklaşım, raw waveform işlemeye kıyasla daha az hesaplama gerektirirken yüksek doğruluk sağlar. Günümüzde mel spektrogramı, ses yapay zekasının temel taşlarından biri kabul edilmektedir.
Speech Enhancement (Konuşma İyileştirme)
Konuşma İyileştirme (Speech Enhancement), gürültülü ortamlarda kaydedilen ya da iletilen ses sinyallerinin kalitesini yapay zeka ve derin öğrenme yöntemleriyle artırma sürecidir. Geleneksel istatistiksel yaklaşımlar (Wiener filtresi, MMSE gibi) sabit gürültü modellerini varsayarken, derin öğrenme tabanlı modeller değişken ve karmaşık gürültü koşullarında da etkili biçimde çalışabilmektedir. Modern sistemler; evrişimli sinir ağları (CNN), tekrarlayan sinir ağları (RNN, LSTM), üretken çekişmeli ağlar (GAN) ve Transformer mimarilerini tek başına ya da hibrit olarak kullanmaktadır. Bu ağlar, eğitim aşamasında binlerce gürültülü ve temiz ses çifti üzerinde optimize edilen bir dönüşüm fonksiyonunu öğrenerek gerçek zamanlı gürültü giderme yapabilmektedir. Tipik bir işlem hattında ses sinyali kısa zamanlı Fourier dönüşümüyle (STFT) frekans-zaman bölgesine aktarılır, sinir ağı tarafından işlenir ve ters dönüşümle (iSTFT) yeniden zaman bölgesine döndürülür. Kalite değerlendirmesi için standart metrikler kullanılmaktadır: PESQ (Perceptual Evaluation of Speech Quality) genel ses kalitesini, STOI (Short-Time Objective Intelligibility) anlaşılırlığı, CSIG ve CBAK ise arka plan gürültüsünün müdahalesini ve konuşma bozulmasını ölçer. DeepFilterNet gibi ileri düzey modeller PESQ skorunu 3.17 seviyesine çıkarırken işlem yükünü mobil cihazlarda kullanılabilir düzeyde tutmaktadır. Uygulama alanları son derece geniştir: video konferans yazılımları, akıllı hoparlörler ve sesli asistanlar, işitme cihazları, otomatik altyazı sistemleri, radyo yayıncılığı ve sağlık kayıt sistemleri bu teknolojiden yoğun olarak yararlanmaktadır. Konuşma tanıma (ASR) sistemlerinin ön işleme adımı olarak kullanılması, gürültülü ortamlarda tanıma doğruluğunu belirgin şekilde artırmaktadır.
ASR (Automatic Speech Recognition) (ASR — Otomatik Konuşma Tanıma)
ASR (Automatic Speech Recognition — Otomatik Konuşma Tanıma), insan sesini gerçek zamanlı olarak metne dönüştüren yapay zeka alt dalıdır. Mikrofon gibi bir ses girişinden alınan ham ses dalgaları; akustik model, dil modeli ve çözümleme (decoding) katmanı üçlüsü aracılığıyla işlenerek yazılı çıktıya dönüştürülür. Teknolojinin kökeni 1950'lerin ilkel rakam tanıma sistemlerine dayanır; ancak derin öğrenme devriminden sonra sıçrama yaşandı. 2014'te CTC (Connectionist Temporal Classification) kaybı ve end-to-end sinir ağları, HMM (Hidden Markov Model) tabanlı geleneksel akışın yerini almaya başladı. 2022'de OpenAI'ın açık kaynaklı Whisper modeli 680.000 saatlik çok dilli veriyle eğitildi; Türkçe dahil 99 dilde yüksek doğruluk sergiledi. Bir ASR sistemi üç temel bileşenden oluşur: Akustik Model ses özelliklerini (MFCCs, mel spektrogramları) fonem olasılıklarına eşler; Dil Modeli kelime dizileri arasında en olası olanı seçer; Decoder ise ışın araması (beam search) gibi algoritmalarla en yüksek skorlu transkripti bulur. Modern transformatör tabanlı sistemlerde bu üç katman tek bir uçtan uca mimaride birleşmiştir. ASR'ın başarımı Kelime Hata Oranı (Word Error Rate — WER) ile ölçülür: %5 WER'in altı insan düzeyine yakın kabul edilir. İngilizce için önde gelen modeller %3–6 WER aralığında yer alırken, Türkçe gibi zengin çekimli dillerde veri azlığı ve morfolojik karmaşıklık nedeniyle WER daha yüksek seyredebilir. Uygulama alanları geniştir: sesli asistanlar (Siri, Google Assistant), gerçek zamanlı altyazı, çağrı merkezi analizi, tıbbi dikte sistemleri, toplantı transkripti ve erişilebilirlik araçları. Gürültülü ortam, aksan çeşitliliği ve konuşmacıya özgü kalıplar hâlâ temel zorluklar olmaya devam etmekte; bu alanda konuşmacı ayrıştırma (speaker diarization) ve gürültü bastırma ön işleme adımları kritik rol üstlenir.
Speech-to-Text (ASR) (Sesten Metne (Otomatik Konuşma Tanıma))
Speech-to-Text (STT) veya Otomatik Konuşma Tanıma (ASR — Automatic Speech Recognition), mikrofondan ya da ses dosyasından gelen konuşulmuş dili analiz ederek yazıya dönüştüren yapay zeka teknolojisidir. Siri, Google Asistan ve otomatik YouTube altyazılarının temelinde bu teknoloji yatar. Modern STT sistemlerinin mimarisi birkaç katmandan oluşur. Akustik model, ham ses sinyallerindeki konuşma birimlerini (fonemleri) tanır; dil modeli ise tanınan ses örüntülerini anlamlı kelime ve cümlelere dönüştürür. 2015 yılından itibaren bu iki ayrı bileşen, uçtan uca (end-to-end) derin öğrenme mimarileriyle tek bir modelde birleştirilmeye başlandı. Günümüzde en yaygın yaklaşım Transformer tabanlı modeller olan Wav2Vec 2.0 (Meta) ve Whisper (OpenAI) gibi sistemlerdir. Whisper, 2022'de OpenAI tarafından piyasaya sürülen ve 680.000 saat ses verisiyle eğitilen çok dilli bir STT modelidir. Açık kaynaklı yapısı geliştiricilerin özgürce kullanımına imkân tanır; Türkçe dahil 99 dili destekler. Google'ın USM (Universal Speech Model) modeli ise 300'den fazla dili kapsayan kurumsal ölçekli bir ASR altyapısı sunar. Kalite ölçütü olarak WER (Word Error Rate — Kelime Hata Oranı) kullanılır: üretilen metin ile referans metin arasındaki kelime düzeyindeki hatalar normalleştirilerek hesaplanır. İnsan seviyesi İngilizce konuşma tanımada WER %5 civarındayken modern sistemler bu eşiğe ulaşmış ya da geçmiştir. Türkiye'de STT teknolojisi müşteri hizmetleri çağrı merkezi analitiği, tıbbi dikte sistemleri ve dil öğrenme uygulamalarında giderek yaygınlaşmaktadır. Türkçenin aglütinatif yapısı (çok ekli sözcük biçimleri) sözcük dağarcığı büyüklüğü açısından STT modellerine ek zorluk çıkarmaktadır; bu nedenle Türkçeye özgü ince ayarlı modeller standart modellere kıyasla daha yüksek doğruluk sunar. Gerçek zamanlı STT uygulamalarında gecikme (latency) kritik bir tasarım parametresidir: çevrimiçi konferans altyazıları için 200 ms altı gecikme hedeflenir. Streaming ASR mimarileri, konuşmacı konuşmaya devam ederken kısmi transkriptler üretir ve sonucu iteratif olarak günceller. Bu yaklaşım, Conformer mimarisi gibi yerel dikkat (local attention) mekanizmalarını kullanan modellerle verimli biçimde uygulanır.
Stem Separation (Stem Ayrıştırma)
Stem ayrıştırma (İng. stem separation veya source separation), karışık bir ses kaydından vokal, davul, bas, gitar ve diğer enstrümanları birbirinden bağımsız parçalara (stem) ayırma işlemidir. Müzik üretimi, post-prodüksiyon ve yapay zeka destekli ses uygulamalarında her enstrümanın bağımsız olarak işlenmesini, düzenlenmesini ve yeniden karıştırılmasını mümkün kılan bu teknik, derin öğrenme tabanlı modellerle son yıllarda dramatik biçimde iyileşmiştir. Derin öğrenme öncesinde stem ayrıştırma, körsel kaynak ayrıştırma (blind source separation) ve ICA (Independent Component Analysis) gibi geleneksel sinyal işleme yöntemleriyle gerçekleştiriliyordu; bu yaklaşımlar kanal sayısı kısıtlamaları ve güçlü istatistiksel bağımsızlık varsayımları nedeniyle sınırlı kalıyordu. Derin öğrenme ile birlikte maskeli zaman-frekans temsilleri (spectral masking) ve uçtan uca öğrenme paradigmaları bu sınırları aştı. Meta'nın geliştirdiği Demucs, hibrit bir transformer-dalga formu mimarisine sahiptir; htdemucs versiyonu frekans ve zaman domenlerini paralel olarak işler ve doğal stereo genişlik koruması sağlar. Deezer'ın açık kaynak modeli Spleeter, U-Net mimarisiyle 2, 4 veya 5 stem ayrıştırması sunar. MDX-Net ve Open-Unmix ise SiSEC/MUSDB18 yarışma setinde referans sonuçlar üretmiştir. Model başarısı Sinyal-Bozulma Oranı (SDR — Signal-to-Distortion Ratio) ile ölçülür; güncel modeller vokal için +10 dB SDR değerlerine ulaşmaktadır. Stem ayrıştırmanın başlıca kullanım alanları şunlardır: karaoke altyapısı üretimi, remiks ve yeniden düzenleme, müzik eğitimi (belirli enstrümanı izole ederek pratik yapma), telif hakkı ve örnekleme (sampling) denetimi, oyun içi uyarlanabilir ses müziği ve Suno/Udio gibi üretken yapay zeka platformlarında ses yeniden kullanımı. Ses kalitesi üzerindeki etkiyi en aza indirmek için modeller genellikle kayan pencere (sliding window) ve örtüşen parça birleştirme (overlap-add) teknikleriyle çalışır. LALAL.AI, Moises, Stemify ve BaruwaAI bu teknolojiyi bulut API'leri aracılığıyla sunarken, Demucs ve Spleeter yerel GPU'larda da çalıştırılabilir.