Keypoint Detection (Anahtar Nokta Tespiti)

#bilgisayarlı görü #poz tahmini #derin öğrenme #görüntü işleme

Görüntülerdeki insan eklemleri veya yüz anatomi noktaları gibi anlamlı konumları otomatik olarak tespit eden bilgisayarlı görü tekniği.

Anahtar nokta tespiti (keypoint detection), bir görüntü veya videodaki anlam taşıyan belirli nokta konumlarını tespit eden bilgisayarlı görü görevidir. Bu noktalar; insan vücudundaki eklem yerleri (dirsek, diz, omuz), yüz anatomisi (göz köşeleri, burun, ağız), ya da nesneler üzerindeki köşe ve kenar noktaları olabilir. Her anahtar nokta, bir koordinat çifti (x, y) ve isteğe bağlı görünürlük skoru ile temsil edilir. Klasik yöntemler arasında Harris köşe detektörü (1988), SIFT (Scale-Invariant Feature Transform, 2004) ve ORB (Oriented FAST and Rotated BRIEF) sayılabilir. Bu yöntemler, el ile tasarlanmış matematiksel özniteliklere dayanır ve ölçek ile döndürme değişmezliği sunar. Ancak derin öğrenme çağında, CNN tabanlı mimariler bu klasik yöntemlerin çok ötesine geçti. Modern derin öğrenme yaklaşımları ısı haritası (heatmap) stratejisi benimser: ağ, her olası anahtar nokta konumu için bir olasılık haritası üretir; haritanın doruk noktası ilgili eklem ya da anatomi konumuna karşılık gelir. HRNet (High-Resolution Network), StackedHourglass ve YOLO'nun poz başlığı bu anlayışla çalışan başlıca modellerdir. Uygulamalar arasında insan poz tahmini, yüz tanıma, el takibi, artırılmış gerçeklik, spor video analitiği, tıbbi görüntüleme, otonom araç algısı ve robotik kavrama planlaması sayılabilir. Standart kıyaslama için COCO Keypoints veri kümesi ve OKS (Object Keypoint Similarity) metriği yaygın olarak kullanılır. Birden fazla kişinin bulunduğu sahnelerde top-down yaklaşım (önce kişi tespiti, ardından her kişi için nokta tahmini) ve bottom-up yaklaşım (tüm iskelet noktalarını bul, sonra kişilere ata) olmak üzere iki temel strateji uygulanır. MediaPipe, OpenPose ve Ultralytics YOLO-pose bu iki yaklaşımın popüler uygulamalarıdır.

Anahtar Nokta Nedir?

Anahtar noktalar, bir görüntüde tekrar tekrar ve tutarlı biçimde tanımlanabilen konumlardır. İnsan vücudunda bunlar eklemler (omuz, dirsek, diz, bilek, kalça, ayak bileği) veya yüz anatomisi noktalarıdır (17 ila 468 arasında değişebilir). Nesnelerde ise köşeler, kenar uçları ya da yüksek kontrast bölgeler anahtar nokta olarak ele alınır. Her nokta (x, y) koordinatı ve görünürlük skoru (görünür/gizli/çerçeve dışı) ile tanımlanır.

Klasik Yöntemler: Harris, SIFT ve ORB

Harris köşe detektörü (1988), görüntü gradyanlarının kovaryans matrisi aracılığıyla köşeleri bulur. SIFT (2004), ölçek uzayı aşırı değerlerini bulmak için Gaussian piramidi kullanır ve döndürme-ölçek değişmezliği sağlar. ORB ise SIFT'in patentli olmasından doğan ihtiyaca yanıt olarak geliştirilmiş ve gerçek zamanlı uygulamalarda geniş kullanım alanı bulmuştur. Bu klasik yöntemler belirli görüntü kalitesi koşullarında hâlâ rekabetçidir; ancak okklüzyon (örtme) ve görünüş değişimlerine karşı kırılgandır.

Derin Öğrenme Tabanlı Yaklaşımlar

Modern yaklaşımlarda ağ, her anahtar nokta için bir ısı haritası (heatmap) üretir; yüksek değerli piksel, tahmini konumu gösterir. HRNet (High-Resolution Network, 2019), düşük çözünürlüklü ara temsillere sıkıştırmak yerine yüksek çözünürlüğü tüm ağ boyunca korur ve COCO kıyaslamalarında uzun süre lider kalmıştır. Stacked Hourglass mimarisi ise aşağı-yukarı örnekleme kum saati yapılarını art arda dizerek küresel bağlamı korur. YOLO-pose modelleri hız-doğruluk dengesini optimize eder ve uç cihaz (edge) dağıtımına uygundur.

Başlıca Uygulama Alanları

  • check_circle Spor ve Fitness Analitiği: Koşu tekniği, yüzme vuruşu veya squat analizi için vücut eklem açıları gerçek zamanlı hesaplanır.
  • check_circle Artırılmış ve Sanal Gerçeklik: El ve yüz anahtar noktaları, avatar hareketlerinin doğrudan insan hareketleriyle haritalanmasını sağlar.
  • check_circle Tıbbi Görüntüleme: Omurga vertebraları veya eklem açıları gibi anatomi referans noktaları, tanı ve tedavi planlamasına katkı sağlar.
  • check_circle Robotik ve Otonom Sistemler: Bir robotun nesne yakalamak için doğru tutma noktasını (grasp keypoint) seçmesi anahtar nokta tespitine dayanır.

Top-Down ve Bottom-Up Stratejiler

Top-down yaklaşımda ilk adım, bir nesne dedektörü (YOLO, Faster R-CNN) ile sahnedeki tüm kişileri bulmaktır; ardından her kişi bölgesi ayrı ayrı bir pose modeline verilir. Yüksek doğruluk sağlar ancak kişi sayısıyla orantılı hesaplama maliyeti gerektirir. Bottom-up yaklaşımda ise görüntüdeki tüm eklem noktaları tek geçişte bulunur, ardından Part Affinity Fields (PAF) gibi tekniklerle hangi noktanın hangi kişiye ait olduğu belirlenir. OpenPose bu stratejinin ilk büyük ölçekli uygulamasıdır ve birden fazla kişi için sabit çözüm süresiyle çalışır.

Değerlendirme: OKS Metriği

Object Keypoint Similarity (OKS), tahmin edilen nokta konumu ile gerçek konum arasındaki mesafeyi kişi boyutuna ve nokta tipine özgü standart sapmaya göre normalize eder. Değer 0-1 arasındadır; 1 mükemmel eşleşme demektir. COCO Keypoints kıyaslaması, OKS eşik değerlerinin ortalamasını (mAP@OKS) raporlar. Bu metrik, büyük eklemler (omuz, kalça) ile küçük eklemler (parmak ucu) arasındaki ölçek farkını sezgisel biçimde ele alır.

Sık Sorulan Sorular

  • check_circle Keypoint detection ile pose estimation arasındaki fark nedir?: Pose estimation, keypoint detection'ın bir alt uygulamasıdır. Keypoint detection genel bir teknikken pose estimation özellikle insan vücudu eklemlerini tespit etmeye odaklanır.
  • check_circle Hangi veri kümeleri keypoint detection için yaygın kullanılır?: COCO Keypoints (17 eklem noktası), MPII Human Pose ve Human3.6M insan poz tahmini için; 300W ve iBUG yüz landmarkları için standart kıyaslama veri kümeleridir.
  • check_circle Gerçek zamanlı keypoint detection mümkün mü?: Evet. MediaPipe ve YOLO-pose gibi modeller, CPU dahil düşük güçlü cihazlarda 30 FPS üzerinde çalışacak biçimde optimize edilmiştir.
  • check_circle 3D keypoint detection 2D'den nasıl farklıdır?: 2D yöntemler piksel koordinatları (x, y) tahmin ederken 3D yöntemler derinlik boyutunu da (z) içerir. 3D tahmin için derinlik sensörü veya çok kameralı düzenekler ya da tek görüntüden lifting teknikleri kullanılır.