Audio Classification (Ses Sınıflandırma)

#SesSınıflandırma #Ses İşleme #Derin Öğrenme #YAMNet #AudioSet #CNN

Ses Sınıflandırma, bir ses sinyalinin içeriğini derin öğrenme ile müzik, konuşma veya çevresel ses gibi önceden belirlenmiş kategorilere otomatik olarak atan makine öğrenmesi görevidir.

Ses sınıflandırma (Audio Classification), bir ses kaydını önceden tanımlanmış kategorilerden birine veya birkaçına atayan makine öğrenmesi görevidir. Konuşma tanıma, müzik türü tespiti, çevre sesi analizi, hayvan türü teşhisi ve sanayi makinelerinde arıza tespiti bu alanın tipik uygulama örnekleridir. Ses sınıflandırma sürecinde ham ses sinyali önce ön işlemden geçirilir. Kısa zamanlı Fourier dönüşümü (STFT) aracılığıyla zaman-frekans temsili elde edilir ve ardından insan kulağının frekans algısını taklit eden mel ölçeğine dönüştürülerek mel-spektrogram oluşturulur. Bu iki boyutlu görsel temsil, evrişimsel sinir ağlarının (CNN) doğrudan işleyebildiği bir formattır. Ek olarak MFCC (Mel Frekans Kepstrum Katsayıları) ve Chroma özellikleri, farklı görevlerde tamamlayıcı giriş temsilleri olarak kullanılır. Model eğitimi sırasında etiketlenmiş ses veri kümeleri kullanılarak ağ ağırlıkları optimize edilir. Tek etiketli problemlerde kategorik çapraz entropi kaybı yaygın seçimken, bir ses kaydında eş zamanlı birden fazla ses türü bulunabileceği çok etiketli problemlerde ikili çapraz entropi tercih edilir. Büyük ölçekli ön eğitimli modeller —YAMNet, PANN (Pre-trained Audio Neural Networks), BEATs ve Wav2Vec 2.0— transfer learning için güçlü başlangıç noktaları sunar; küçük veri kümelerinde bu modellerin son katmanları yeni kategorilere ince ayarla (fine-tuning) uyarlanır. Ses sınıflandırmanın pratik zorluklarını aşmak kritik öneme sahiptir: gürültülü ortam kayıtları, ses üstüste binmesi (polyphony), veri dengesizliği ve gerçek zamanlı çıkarım kısıtları öne çıkan sorunlardır. Veri artırma teknikleri —zaman kaydırma, perde değiştirme, arka plan gürültüsü ekleme ve SpecAugment— modelin genelleme kapasitesini artırmada etkili yöntemlerdir. Referans kıyaslamalar için AudioSet (632 kategori, yaklaşık iki milyon klip), ESC-50 (çevre sesleri), UrbanSound8K (kentsel sesler) ve FSD50K veri kümeleri yaygın olarak kullanılmaktadır. Bu görev, otomasyon, güvenlik sistemleri ve akıllı cihazlar gibi alanlarda ticari uygulamaların temelini oluşturmaktadır.

Ses Sınıflandırma Nasıl Çalışır?

Ses sınıflandırma sürecinde ham ses sinyali önce ön işlemden geçirilir: Fourier dönüşümü veya kısa zamanlı Fourier dönüşümü (STFT) aracılığıyla frekans bileşenlerine ayrılır, ardından insan kulağının frekans algısını taklit eden mel ölçeğine dönüştürülerek mel-spektrogram elde edilir. Bu iki boyutlu görsel temsil üzerinde CNN modelleri uygulanır.

Model eğitimi sırasında etiketlenmiş ses veri kümesi kullanılarak ağın ağırlıkları optimize edilir. Tek etiketli problemlerde kategorik çapraz entropi kaybı kullanılırken, çok etiketli problemlerde ikili çapraz entropi tercih edilir.

Büyük ölçekli ön eğitimli modeller (YAMNet gibi), genel ses özelliklerini öğrenmiş ağırlıklarıyla transfer learning için güçlü bir başlangıç noktası sunar. Küçük veri kümelerinde bu modellerin son katmanları yeni kategorilere uyarlanarak (fine-tuning) etkili sonuçlar elde edilir.

Yaygın Ön Eğitimli Modeller

  • check_circle YAMNet: Google tarafından geliştirilen, AudioSet üzerinde eğitilmiş MobileNet tabanlı ses sınıflandırma modeli. 521 ses kategorisini tanır, transfer learning için yaygın kullanılır.
  • check_circle PANN (Pre-trained Audio Neural Networks): AudioSet üzerinde ön eğitimli büyük kapasiteli ağlar ailesi. CNN14, ResNet38 gibi mimarilere dayalı güçlü ses temsil öğrenicileridir.
  • check_circle BEATs: Microsoft'un Transformer tabanlı ses ön eğitim modeli; self-supervised öğrenme ile güçlü genel ses temsilleri üretir ve birden fazla sınıflandırma kıyaslamasında üst sıralardadır.
  • check_circle Wav2Vec 2.0: Facebook AI'ın ses öz denetimli ön eğitim modeli; ham dalga biçiminden öğrenilen temsiller konuşma ve genel ses görevlerinde etkili transfer learning kaynağı sunar.

Veri Artırma ve Zorluklar

Ses sınıflandırmanın pratik zorluklarını aşmak kritik önem taşır: gürültülü ortam kayıtları, üst üste binen sesler (polyphony), veri dengesizliği ve gerçek zamanlı işlem kısıtları başlıca sorunlardır. Veri artırma teknikleri —zaman kaydırma, perde değiştirme, arka plan gürültüsü ekleme ve SpecAugment— modelin genelleme kapasitesini artırmada etkili yöntemler arasındadır.

Uygulama Alanları

  • check_circle Müzik ve Ses Analizi: Müzik türü sınıflandırması (rock, jazz, klasik), enstrüman tanıma ve otomatik etiketleme (mood, tempo) için kullanılır. Spotify ve Apple Music, öneri sistemlerinin bir bileşeni olarak ses analizi modellerine başvurur.
  • check_circle Çevresel Ses ve IoT: Akıllı şehir uygulamalarında trafik gürültüsü, cam kırılma, yangın alarmı ve makine arızası gibi olayların otomatik tespitinde kullanılır. Ucuz mikrofon + edge ML kombinasyonuyla düşük maliyetli izleme sistemleri kurulabilir.
  • check_circle Sağlık ve Tıbbi Teşhis: Öksürük, nefes sesi ve kalp ritmi sınıflandırması için kullanılır. COVID-19 öksürük tespiti araştırmaları bu alanın sağlıktaki potansiyelini gösterdi. Bebek ağlama sınıflandırması da bir uygulama senaryosudur.
  • check_circle Konuşma ve Dil Teknolojileri: Dil tanıma, aksanlı konuşma sınıflandırması ve yaş/cinsiyet tahmini gibi paralinguistik özellik çıkarımında temel bileşendir. Konuşmacı doğrulama sistemlerinin önceki adımı olarak akustik model hazırlar.

Veri Setleri ve Kıyaslamalar

  • check_circle ESC-50 ve UrbanSound8K: ESC-50 50 sınıf ve 2.000 klip içeren standart çevresel ses veri setidir. UrbanSound8K şehir ortamı ses kategorileri için 8.732 örnek barındırır; her ikisi de hızlı prototipleme ve model karşılaştırmaları için yaygın referanstır.
  • check_circle AudioSet (Google): YouTube videolarından derlenen yaklaşık 2 milyon klip ve 632 ses kategorisini kapsayan geniş ölçekli veri setidir. Büyük çaplı ön eğitim için endüstri standardı olmuştur.
  • check_circle DCASE Challenge: Detection and Classification of Acoustic Scenes and Events yarışması, her yıl güncel görevler (anomali tespiti, az-örnekli ses, uzaktan izleme) üzerinde yeni kıyaslama sonuçları ortaya koyar.
  • check_circle FSD50K ve FreeSound: Freesound platformundan derlenen 51 sınıf ve 51.197 ses klibi içerir. İnsan anotasyonlu ve gürültülü etiket ayarında model sağlamlığını test etmek için değerlidir.

Sıkça Sorulan Sorular

  • check_circle Ses sınıflandırma ile konuşma tanıma arasındaki fark nedir? Konuşma tanıma, ses kaydını metne dönüştürür (transkripsiyon). Ses sınıflandırma ise bir kaydın hangi kategoriye ait olduğunu belirler; konuşma olup olmadığı, hangi ortamda kaydedildiği veya hangi ses olayını içerdiği gibi.
  • check_circle Mel-spektrogram neden CNN için uygundur? Mel-spektrogram, zamanı yatay, frekansı dikey eksende gösteren iki boyutlu bir görüntüdür. CNN'lerin görüntü üzerindeki yerel örüntü algılama yeteneği, bu temsilde de frekans-zaman kalıplarını bulmak için doğrudan uygulanabilir.
  • check_circle Hangi veri kümesi başlangıç için önerilir? ESC-50 (50 çevre sesi kategorisi, 2000 klip) başlangıç seviyesi deneyler için yönetilebilir bir boyuttadır. Daha kapsamlı araştırmalar için AudioSet ve FSD50K tercih edilir.
  • check_circle Gerçek zamanlı ses sınıflandırma nasıl yapılır? Sürekli ses akışı küçük pencereler (örneğin 1 saniye) halinde işlenir; her pencereden mel-spektrogram çıkarılır ve modele beslenir. Düşük gecikmeli çıkarım için hafif mimariler (MobileNet, EfficientNet) veya donanım hızlandırıcılar kullanılır.
  • check_circle Ses sınıflandırması ile konuşma tanıma arasındaki fark nedir? Konuşma tanıma (ASR), söylenen kelimeleri metne dönüştürür ve içerik odaklıdır. Ses sınıflandırması ise sesin hangi kategoriye ait olduğunu belirler (müzik, gürültü, öksürük, makine sesi gibi) — kelime içeriğinden bağımsız olarak akustik örüntüleri inceler. İkisi zaman zaman birlikte kullanılır: önce ses sınıflandırması konuşma olup olmadığını belirler, ardından ASR aktif edilir.