tag SesSınıflandırma
Audio Classification (Ses Sınıflandırma)
Bu sayfada SesSınıflandırma (Audio Classification (Ses Sınıflandırma)) etiketi ile işaretlenmiş 2 yapay zeka kavramını bulabilirsiniz.
Ses sınıflandırma (Audio Classification), bir ses kaydını önceden tanımlanmış kategorilerden birine veya birkaçına atayan makine öğrenmesi görevidir. Konuşma tanıma, müzik türü tespiti, çevre sesi analizi, hayvan türü teşhisi ve sanayi makinelerinde arıza tespiti bu alanın tipik uygulama örnekleridir. Ses sınıflandırma sürecinde ham ses sinyali önce ön işlemden geçirilir. Kısa zamanlı Fourier dönüşümü (STFT) aracılığıyla zaman-frekans temsili elde edilir ve ardından insan kulağının frekans algısını taklit eden mel ölçeğine dönüştürülerek mel-spektrogram oluşturulur. Bu iki boyutlu görsel temsil, evrişimsel sinir ağlarının (CNN) doğrudan işleyebildiği bir formattır. Ek olarak MFCC (Mel Frekans Kepstrum Katsayıları) ve Chroma özellikleri, farklı görevlerde tamamlayıcı giriş temsilleri olarak kullanılır. Model eğitimi sırasında etiketlenmiş ses veri kümeleri kullanılarak ağ ağırlıkları optimize edilir. Tek etiketli problemlerde kategorik çapraz entropi kaybı yaygın seçimken, bir ses kaydında eş zamanlı birden fazla ses türü bulunabileceği çok etiketli problemlerde ikili çapraz entropi tercih edilir. Büyük ölçekli ön eğitimli modeller —YAMNet, PANN (Pre-trained Audio Neural Networks), BEATs ve Wav2Vec 2.0— transfer learning için güçlü başlangıç noktaları sunar; küçük veri kümelerinde bu modellerin son katmanları yeni kategorilere ince ayarla (fine-tuning) uyarlanır. Ses sınıflandırmanın pratik zorluklarını aşmak kritik öneme sahiptir: gürültülü ortam kayıtları, ses üstüste binmesi (polyphony), veri dengesizliği ve gerçek zamanlı çıkarım kısıtları öne çıkan sorunlardır. Veri artırma teknikleri —zaman kaydırma, perde değiştirme, arka plan gürültüsü ekleme ve SpecAugment— modelin genelleme kapasitesini artırmada etkili yöntemlerdir. Referans kıyaslamalar için AudioSet (632 kategori, yaklaşık iki milyon klip), ESC-50 (çevre sesleri), UrbanSound8K (kentsel sesler) ve FSD50K veri kümeleri yaygın olarak kullanılmaktadır. Bu görev, otomasyon, güvenlik sistemleri ve akıllı cihazlar gibi alanlarda ticari uygulamaların temelini oluşturmaktadır.
Acoustic Scene Classification (Akustik Sahne Sınıflandırma)
Acoustic Scene Classification (ASC), bir yapay zeka sisteminin ham ses kaydından "café ortamı", "park", "şehir sokağı" veya "ev içi" gibi ortam türlerini otomatik olarak tanımasını sağlayan derin öğrenme tabanlı ses analizi tekniğidir. Türkçe karşılığı Akustik Sahne Sınıflandırma olan bu yaklaşım, mikrofon ile yakalanan çevresel sesleri işleyerek ortama özgü akustik parmak izlerini çıkarır ve ortam farkındalığı gerektiren sistemlere anında bağlam bilgisi sağlar. Temel işlem hattı şu adımlardan oluşur: Ham ses sinyali önce mel-spektrogramlara veya mel-frekans kepstral katsayılarına (MFCC) dönüştürülür; ardından bir Evrişimli Sinir Ağı (CNN) ya da Transformer mimarisi bu iki boyutlu görüntü temsilini sınıflandırır. 2013 yılında başlayan DCASE (Detection and Classification of Acoustic Scenes and Events) yarışması, bu alandaki küresel standart kıyaslamayı belirlemektedir. Her yıl güncellenen TAU Urban Acoustic Scenes veri seti, 10+ şehirde 10 farklı ortam sınıfı için etiketli ses kayıtları sunar; bu sınıflar alışveriş merkezi, metro, tramvay, park, sokak, hava limanı ve ofis gibi çeşitli mekânları kapsar. 2024 itibarıyla en yüksek skorlar, ses olayı tespiti ile ortak öğrenme kullanan hibrit CNN-Transformer modellerine aittir. ASC'nin temel uygulama alanları arasında akıllı şehir gürültü haritalaması, otonom araçların ortam farkındalığı, işitsel engelliler için çevre tanımlayıcı sistemler, giyilebilir cihazlarda bağlam duyarlı bildirim yönetimi ve akıllı ev ekipmanlarının ortam uyarlaması sayılabilir. Örneğin bir akıllı saat, kullanıcının toplantı odasında mı yoksa açık havada mı olduğunu akustik sahneye göre algılayarak bildirimleri otomatik olarak susturabilir ya da hoparlör sesini ortama uyarlayabilir. OpenSMILE, librosa ve PANNs (Pretrained Audio Neural Networks) yaygın kullanılan açık kaynak kütüphanelerdir. Teknik zorluklar arasında mikrofon kalitesine bağlı domain shift, gürültülü ortamlarda sınıf örtüşmesi ve yüksek etiketleme maliyeti öne çıkar. AudioSet üzerinde ön eğitilmiş modellerin ince ayarlanması ve transfer öğrenme yaklaşımları, az veriyle yüksek doğruluk elde etmeyi mümkün kılmaktadır. MixUp, SpecAugment ve pitch shift gibi veri artırma teknikleri küçük veri setleri için zorunlu hale gelmiştir. Edge cihazlarda gerçek zamanlı sınıflandırma amacıyla EfficientNet-b0 ve MobileNet tabanlı hafif ASC modelleri, TensorFlow Lite veya ONNX Runtime ile dağıtılmakta ve bu alan aktif bir araştırma konusu olmaya devam etmektedir.
Audio Classification (Ses Sınıflandırma)
Ses sınıflandırma (Audio Classification), bir ses kaydını önceden tanımlanmış kategorilerden birine veya birkaçına atayan makine öğrenmesi görevidir. Konuşma tanıma, müzik türü tespiti, çevre sesi analizi, hayvan türü teşhisi ve sanayi makinelerinde arıza tespiti bu alanın tipik uygulama örnekleridir. Ses sınıflandırma sürecinde ham ses sinyali önce ön işlemden geçirilir. Kısa zamanlı Fourier dönüşümü (STFT) aracılığıyla zaman-frekans temsili elde edilir ve ardından insan kulağının frekans algısını taklit eden mel ölçeğine dönüştürülerek mel-spektrogram oluşturulur. Bu iki boyutlu görsel temsil, evrişimsel sinir ağlarının (CNN) doğrudan işleyebildiği bir formattır. Ek olarak MFCC (Mel Frekans Kepstrum Katsayıları) ve Chroma özellikleri, farklı görevlerde tamamlayıcı giriş temsilleri olarak kullanılır. Model eğitimi sırasında etiketlenmiş ses veri kümeleri kullanılarak ağ ağırlıkları optimize edilir. Tek etiketli problemlerde kategorik çapraz entropi kaybı yaygın seçimken, bir ses kaydında eş zamanlı birden fazla ses türü bulunabileceği çok etiketli problemlerde ikili çapraz entropi tercih edilir. Büyük ölçekli ön eğitimli modeller —YAMNet, PANN (Pre-trained Audio Neural Networks), BEATs ve Wav2Vec 2.0— transfer learning için güçlü başlangıç noktaları sunar; küçük veri kümelerinde bu modellerin son katmanları yeni kategorilere ince ayarla (fine-tuning) uyarlanır. Ses sınıflandırmanın pratik zorluklarını aşmak kritik öneme sahiptir: gürültülü ortam kayıtları, ses üstüste binmesi (polyphony), veri dengesizliği ve gerçek zamanlı çıkarım kısıtları öne çıkan sorunlardır. Veri artırma teknikleri —zaman kaydırma, perde değiştirme, arka plan gürültüsü ekleme ve SpecAugment— modelin genelleme kapasitesini artırmada etkili yöntemlerdir. Referans kıyaslamalar için AudioSet (632 kategori, yaklaşık iki milyon klip), ESC-50 (çevre sesleri), UrbanSound8K (kentsel sesler) ve FSD50K veri kümeleri yaygın olarak kullanılmaktadır. Bu görev, otomasyon, güvenlik sistemleri ve akıllı cihazlar gibi alanlarda ticari uygulamaların temelini oluşturmaktadır.