Object Tracking (Nesne Takibi)

#NesneTakibi #BilgisayarliGoru #VideoAnalizi #DerinOgrenme

Video görüntülerinde hareketli nesnelerin konumunu çerçeveden çereveye sürekli izleyen bilgisayarlı görü tekniği.

Object Tracking (Nesne Takibi), video akışlarında belirli nesnelerin hareketini kareden kareye sürekli izleyen bir bilgisayarlı görü disiplinidir. Kişiler, araçlar, hayvanlar veya endüstriyel bileşenler gibi her türlü cisim bu teknikle takip edilebilir. Nesne tespitinden (object detection) temel farkı şudur: tespit her kareye bağımsız bakarken, takip nesnelerin zaman içindeki sürekli kimliğini (ID) koruyarak hareketlerini izler. Algoritma tasarımında iki temel mimari yaklaşım öne çıkar. Algıla-ve-Takip Et (Detection-Based Tracking) yaklaşımında her karede YOLO veya Faster R-CNN gibi bağımsız bir dedektör çalışır; ardından Kalman filtresi ve Macar algoritması mevcut iz listesiyle eşleştirme yapar. 2016 yılından bu yana endüstri standardı hâline gelen SORT ve DeepSORT bu yaklaşımın öncüleridir. İkinci yaklaşım olan uçtan uca transformer tabanlı modeller ise TrackFormer ve MOTR gibi ağlarla temsil edilir; tespit ve takibi tek mimari içinde birleştirir ve el yapımı birleştirme kuralı gerektirmez. Temel performans metrikleri arasında MOTA (Multi-Object Tracking Accuracy), IDF1 (kimlik süreklilik skoru) ve HOTA yer alır. Uluslararası MOT Challenge yarışması bu metrikleri standartlaştırmış olup ByteTrack ve BoT-SORT en güncel karşılaştırma listelerinde lider konumdadır. Başlıca zorluklar şunlardır: Örtüşme (occlusion), nesne başka bir cismin arkasında geçici olarak kaybolduğunda kimlik kaybına yol açar. Hız değişimleri ve ani yön dönüşleri Kalman filtresi tahminlerini güçleştirir. Benzer görünümlü nesneler ID anahtarı (ID switch) hatasını artırır. Küçük veya uzak nesneler ise dedektörün güven eşiğinin altında kalabilir. Gerçek zamanlı sistemlerde YOLO ile ByteTrack kombinasyonu yaygın tercih olurken, piksel düzeyinde hassasiyet gerektiren uygulamalarda Meta'nın 2024 tarihli SAM 2 modeli öne çıkmaktadır. Nesne takibi; otonom araçlar, spor analizi, akıllı güvenlik kameraları ve tıbbi görüntüleme alanlarında endüstri standardı hâline gelmiştir.

Object Tracking Nasıl Çalışır?

Object Tracking iki aşamadan oluşur: (1) Her karede nesne dedektörü (YOLO, Faster R-CNN) bounding box ve güven skoru üretir. (2) Birleştirme (association) modülü—IoU skoru, Macar algoritması ve Kalman filtresi tahminlerini kullanarak—yeni tespitleri mevcut iz listesiyle eşleştirir. Bir izin birkaç karede eşleşme bulamazsa 'kayıp' olarak işaretlenir ve belirli süre sonra silinir. Yeni bir tespit mevcut hiçbir izle örtüşmüyorsa yeni bir iz açılır ve ona benzersiz bir ID atanır.

SOT ve MOT: İki Temel Yaklaşım

Nesne takibi iki ana kategoride incelenir: **Tek Nesne Takibi (SOT):** İlk karede belirlenen tek bir hedefi tüm sekans boyunca takip eder. Tıbbi görüntüleme veya belirli bir aracın kamera çerçevesinde izlenmesi gibi senaryolarda kullanılır. SiamFC, DiMP ve OSTrack öncü SOT yöntemleridir. **Çok Nesne Takibi (MOT):** Aynı sahnede birden fazla nesneyi eş zamanlı takip eder; her birine benzersiz bir ID atanır ve bu ID kare boyunca korunur. Otonom araçlar, kalabalık analizi ve spor yayınları MOT'un tipik uygulama alanlarıdır.

Temel Algoritmalar

  • check_circle SORT — Simple Online Realtime Tracking (2016): Kalman filtresi ile nesne konumunu tahmin eder, IoU bazlı Macar algoritmasıyla iz-tespit eşleştirmesi yapar. Hızlıdır ancak uzun oklüzyonlarda ID anahtarı yaşar.
  • check_circle DeepSORT (2017): SORT mimarisine cosine distance tabanlı görünüm özelliği (appearance embedding) ekler. Kısa oklüzyonlar boyunca kimlik sürekliliği daha yüksektir; güvenlik ve insan takibinde yaygın kullanılır.
  • check_circle ByteTrack (2022): Düşük güven skorlu tespitleri de birleştirmeye dahil ederek kayıp oranını azaltır. MOT17 ve MOT20 karşılaştırmalarında lider konuma gelmiş; YOLO tabanlı dedektörlerle kolay entegre olur.
  • check_circle SAM 2 — Segment Anything Model 2 (2024): Meta'nın video bölütleme modeli; bounding box yerine piksel düzeyinde hassas maske üretir. Tek işaretle video boyunca nesneyi takip edebilir.
  • check_circle TrackFormer / MOTR (Transformer Tabanlı): Dikkat mekanizmasıyla hem tespit hem takibi uçtan uca öğrenen modeller. El yapımı birleştirme kuralı gerektirmez; ancak gerçek zamanlı kullanım için hesaplama maliyeti yüksektir.

Kullanım Alanları

  • check_circle Otonom Araçlar: Yayaların, bisikletçilerin ve diğer araçların gerçek zamanlı takibi güvenli navigasyon kararları için kritiktir; takip hatası doğrudan kaza riskine dönüşebilir.
  • check_circle Güvenlik ve Gözetim: Çok kameralı sistemlerde şüpheli kişilerin sahneler arası takibi; perakende kayıp önleme ve kalabalık yoğunluğu analizi.
  • check_circle Spor Analizi: Oyuncu performansını sayısal ölçmek için sahada oyuncu ve top takibi; yayıncılar için otomatik kamera yönlendirmesi ve taktik analiz.
  • check_circle Tıbbi Görüntüleme: Endoskopik videolarda polip veya cerrahi alet takibi; hücre hareketi analizi ve ultrason görüntülemede organ konumunun sürekli izlenmesi.
  • check_circle Endüstriyel Otomasyon: Montaj hatlarında bileşen takibi, depo robotlarında paket konum güncelleme ve kalite kontrol süreçlerinde hata tespiti.

Temel Zorluklar ve Değerlendirme Metrikleri

Nesne takibinin başlıca güçlükleri şunlardır: **Örtüşme (Occlusion):** Nesne başka bir nesnenin arkasında geçici olarak kaybolduğunda kimlik kaybı yaşanır. **ID Anahtarı (ID Switch):** Birden fazla nesnenin birbirine yakın geçtiği anlarda yanlış eşleştirme yapılır. **Yeniden Tanıma (Re-ID):** Nesne görüş alanından çıkıp geri döndüğünde aynı ID'nin geri verilmesi gerekir. Değerlendirme metrikleri: **MOTA** tespit doğruluğu, FP, FN ve ID switch'i birleştirir; **IDF1** kimlik süreklilik skorunu ölçer; **HOTA** (MOT Challenge 2020 itibarıyla) daha dengeli bir alternatif olarak önerilmektedir.