tag VideoMAE

Action Recognition (Eylem Tanıma)

Bu sayfada VideoMAE (Action Recognition (Eylem Tanıma)) etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

Eylem tanıma (action recognition), video klipler ve ardışık görüntü karelerinden insan hareketlerini ve aktivitelerini otomatik olarak sınıflandıran bir bilgisayarlı görü görevidir. Bir sistemin belirli bir zaman penceresindeki görsel veriyi analiz ederek "koşma", "el sıkışma" veya "bıçakla kesme" gibi anlamlı eylemleri doğru biçimde etiketlemesi hedeflenir. Sistemin başarısı için uzamsal (spatial) ve zamansal (temporal) özelliklerin birlikte ele alınması zorunludur. İlk önemli yaklaşım olan çift akışlı ağlar (two-stream networks), biri RGB karelerini diğeri optik akışı (optical flow) işleyen iki paralel evrişimli sinir ağından oluşur. 3D evrişimli ağlar (3D CNN) ise evrişim işlemini zaman boyutuna taşıyarak uzamsal-zamansal örüntüleri doğrudan öğrenir. C3D ilk pratik modeli sunarken I3D, önceden eğitilmiş 2D ağırlıkları üç boyuta şişirerek güçlü bir transfer öğrenme temeli oluşturur. Facebook AI'ın geliştirdiği SlowFast mimarisi, düşük kare hızıyla uzamsal semantiği, yüksek kare hızıyla ince hareketi eş zamanlı yakalamak için iki paralel yol kullanır. Görsel dönüştürücüler (Vision Transformers) bu alanda da belirleyici hale gelmiştir: TimeSformer bölünmüş uzay-zaman dikkat mekanizmasıyla video karelerini işlerken VideoMAE V2, maskeli video otokodlama ön eğitimiyle büyük ölçekli veri kümelerini verimli biçimde kullanır. İskelet tabanlı yöntemler ise vücut eklem noktalarını Graf Evrişimli Ağlarla (GCN) modelleyerek arka plan gürültüsüne karşı dayanıklılık kazandırır. Temel veri kümeleri arasında YouTube kliplerine dayanan Kinetics-400/700, UCF-101, HMDB-51 ve zamansal akıl yürütmeye odaklanan Something-Something v2 yer alır. Uygulama alanları güvenlik kameralarında anomali tespiti, spor analizinde otomatik özet çıkarma, hastane ve bakım evlerinde düşme tespiti, robotik hareket taklidi ve otonom araçlarda yaya niyet tahminini kapsar. Ana zorluklar kısmi örtüşme, bakış açısı değişkenliği, arka plan gürültüsüne aşırı uyum, farklı eylem süreleri ve uç cihazlardaki yüksek hesaplama maliyetidir.

code_blocks

Action Recognition (Eylem Tanıma)

Eylem tanıma (action recognition), video klipler ve ardışık görüntü karelerinden insan hareketlerini ve aktivitelerini otomatik olarak sınıflandıran bir bilgisayarlı görü görevidir. Bir sistemin belirli bir zaman penceresindeki görsel veriyi analiz ederek "koşma", "el sıkışma" veya "bıçakla kesme" gibi anlamlı eylemleri doğru biçimde etiketlemesi hedeflenir. Sistemin başarısı için uzamsal (spatial) ve zamansal (temporal) özelliklerin birlikte ele alınması zorunludur. İlk önemli yaklaşım olan çift akışlı ağlar (two-stream networks), biri RGB karelerini diğeri optik akışı (optical flow) işleyen iki paralel evrişimli sinir ağından oluşur. 3D evrişimli ağlar (3D CNN) ise evrişim işlemini zaman boyutuna taşıyarak uzamsal-zamansal örüntüleri doğrudan öğrenir. C3D ilk pratik modeli sunarken I3D, önceden eğitilmiş 2D ağırlıkları üç boyuta şişirerek güçlü bir transfer öğrenme temeli oluşturur. Facebook AI'ın geliştirdiği SlowFast mimarisi, düşük kare hızıyla uzamsal semantiği, yüksek kare hızıyla ince hareketi eş zamanlı yakalamak için iki paralel yol kullanır. Görsel dönüştürücüler (Vision Transformers) bu alanda da belirleyici hale gelmiştir: TimeSformer bölünmüş uzay-zaman dikkat mekanizmasıyla video karelerini işlerken VideoMAE V2, maskeli video otokodlama ön eğitimiyle büyük ölçekli veri kümelerini verimli biçimde kullanır. İskelet tabanlı yöntemler ise vücut eklem noktalarını Graf Evrişimli Ağlarla (GCN) modelleyerek arka plan gürültüsüne karşı dayanıklılık kazandırır. Temel veri kümeleri arasında YouTube kliplerine dayanan Kinetics-400/700, UCF-101, HMDB-51 ve zamansal akıl yürütmeye odaklanan Something-Something v2 yer alır. Uygulama alanları güvenlik kameralarında anomali tespiti, spor analizinde otomatik özet çıkarma, hastane ve bakım evlerinde düşme tespiti, robotik hareket taklidi ve otonom araçlarda yaya niyet tahminini kapsar. Ana zorluklar kısmi örtüşme, bakış açısı değişkenliği, arka plan gürültüsüne aşırı uyum, farklı eylem süreleri ve uç cihazlardaki yüksek hesaplama maliyetidir.

arrow_forward