Görüntü Segmentasyonu

#BilgisayarlıGörü #DeepLearning #Segmentasyon #CV

Bir görüntüdeki her pikseli anlamlı bölgelere atayarak sahneyi semantik veya nesne bazlı olarak parçalayan bilgisayarlı görü tekniği.

Görüntü segmentasyonu, bir dijital görseli anlamlı bölgelere veya nesnelere ayıran, yapay zeka ve bilgisayarlı görü alanının temel işlemlerinden biridir. Ham piksel verisi üzerinde çalışan bu işlem, her pikseli belirli bir sınıfa ya da nesne örneğine atar; böylece bir görüntü içindeki farklı nesne ve yüzeylerin sınırları hassas biçimde belirlenir. Segmentasyon, yalnızca nesne tespitinin (object detection) ötesine geçer: sınırlayıcı kutu (bounding box) yerine nesnenin tam piksel maskesini üretir. Üç ana segmentasyon türü mevcuttur. Semantik segmentasyon, her pikseli bir sınıf etiketiyle işaretler; aynı sınıftaki tüm nesneler tek bir bölge olarak ele alınır. Örneğin bir sokak sahnesinde tüm arabalar tek renk, tüm yayalar başka bir renk ile gösterilir. Instance segmentasyon ise bu yaklaşımı bir adım ileri taşır: aynı sınıftan her nesneyi ayrı bir örnek olarak ayırt eder. İki araba yan yana dursa bile her biri kendi maskesine sahip olur. Panoptik segmentasyon ise semantik ve instance segmentasyonu birleştirerek hem sayılabilen nesnelere (araba, insan) hem de arka plan bölgelerine (yol, gökyüzü) piksel düzeyinde etiket atar. Modern segmentasyon mimarileri derin öğrenmeye dayanır. FCN (Fully Convolutional Network) ile başlayan süreç, U-Net ve SegNet gibi encoder-decoder mimarileriyle olgunlaşmıştır. Transformer tabanlı SegFormer ve Mask2Former, dikkat mekanizmalarını kullanarak küresel bağlamı daha iyi modelleyerek önceki CNN yaklaşımlarını geride bırakmıştır. Meta tarafından geliştirilen SAM (Segment Anything Model) ise herhangi bir nesneyi sıfır görüntüyle (zero-shot) segmente edebilen evrensel bir model olarak alanda çığır açmıştır. Görüntü segmentasyonu; tıbbi görüntülemede tümör ve organ sınırlarının tespiti, otonom araçlarda yol ve engel ayrımı, uydu görüntülerinde arazi örtüsü sınıflandırması, artırılmış gerçeklikte arka plan kaldırma ve endüstriyel kalite kontrolünde kusur tespiti gibi kritik uygulamalarda kullanılmaktadır. Performans ölçütü olarak mIoU (mean Intersection over Union) ve Dice katsayısı yaygın şekilde benimsenmektedir.

Segmentasyon Türleri: Semantik, Instance ve Panoptik

Semantik segmentasyon her pikseli bir sınıf etiketiyle işaretler; aynı sınıftaki tüm örnekler tek grup olarak değerlendirilir. Instance segmentasyon aynı sınıftaki her nesneyi birbirinden ayırt eder; böylece yan yana duran iki araba iki ayrı maskeyle temsil edilir. Panoptik segmentasyon bu iki yaklaşımı birleştirerek hem sayılabilen nesneleri hem de arka plan bölgelerini (yol, gökyüzü) piksel düzeyinde etiketler.

Önemli Mimari Yaklaşımlar

  • check_circle FCN (Fully Convolutional Network): Segmentasyon için tam evrişimli ağ mimarisini öne süren öncü çalışmadır. Tam bağlantılı katmanları kaldırarak herhangi bir boyuttaki görüntüyü işler.
  • check_circle U-Net: Tıbbi görüntü segmentasyonu için geliştirilmiş encoder-decoder mimarisidir. Atlamalı bağlantılar (skip connections) sayesinde ince detayları korur.
  • check_circle Mask R-CNN: Faster R-CNN üzerine piksel maskesi çıktısı ekleyen iki aşamalı instance segmentasyon modelidir. Nesne tespiti ve segmentasyonu eş zamanlı gerçekleştirir.
  • check_circle SegFormer / Mask2Former: Transformer tabanlı mimarilerdir; küresel bağlamı dikkat mekanizmasıyla modelleyerek CNN tabanlı öncüllerini birçok kıyaslamada geride bırakmıştır.
  • check_circle SAM (Segment Anything Model): Meta tarafından geliştirilen evrensel segmentasyon modelidir. Nokta, kutu veya metin ipuçlarıyla herhangi bir nesneyi sıfır örnekle (zero-shot) segmente edebilir.

Uygulama Alanları ve Başarı Ölçütleri

Tıbbi görüntülemede tümör sınırları ve organ bölgelerinin tespiti, otonom araçlarda yol ve engel ayrımı, uydu görüntülerinde arazi örtüsü sınıflandırması, endüstriyel kalite kontrolünde kusur belirleme ve artırılmış gerçeklikte arka plan kaldırma başlıca uygulama alanlarıdır. Segmentasyon modellerinin başarısı mIoU (mean Intersection over Union) ve Dice katsayısı ile ölçülür. COCO, ADE20K ve Cityscapes kıyaslama veri kümeleri alanın standart referans noktalarıdır.

Eğitim Veri Gereksinimleri ve Etiketleme

  • check_circle Piksel Düzeyinde Etiketleme: Sınırlayıcı kutu etiketlemeye kıyasla 10-50× daha pahalıdır; uzman etiketleyici gerektirir. LabelMe, Supervisely ve CVAT gibi araçlar süreci hızlandırır.
  • check_circle SAM ile Yarı Otomatik Etiketleme: SAM, insan etiketleyicinin kutu veya nokta ipucuyla başlattığı segmentasyonu tamamlar; etiketleme süresini 5-10× kısaltabilir.
  • check_circle Sentetik Veri: CARLA, NVIDIA Omniverse ve Unity Perception gibi araçlar otomatik piksel düzeyinde maske üretir; otonom araç ve endüstriyel veri kümelerinde yaygın kullanılır.
  • check_circle Az Örnekli Segmentasyon: Referans maskesiyle yeni sınıfları birkaç örnekle öğrenme; tıbbi görüntüleme gibi nadir sınıf verilerinin kısıtlı olduğu alanlarda kritik araştırma konusu.

Video ve 3D Segmentasyon

  • check_circle Video Object Segmentation (VOS): Videoda belirli bir nesnenin maskesini çerçeveden çerçeveye takip eder; SAM 2 bu alanda güçlü zero-shot performansıyla öne çıkmaktadır.
  • check_circle LiDAR Nokta Bulutu Segmentasyonu: 3D nokta bulutundaki her noktayı sınıflandırır; otonom araç ve robotik uygulamalarında 2D görüntü segmentasyonunun tamamlayıcısıdır.
  • check_circle 3D Tıbbi Görüntü Segmentasyonu: CT ve MRI hacimlerinde voksel düzeyinde segmentasyon; 3D U-Net ve nnU-Net bu alandaki referans modeller.

Sıkça Sorulan Sorular

  • check_circle Nesne tespiti ile görüntü segmentasyonu arasındaki fark nedir? Nesne tespiti, nesneleri sınırlayıcı kutularla (bounding box) lokalize eder. Görüntü segmentasyonu ise nesnenin tam piksel maskesini üretir; bu sayede nesnenin kesin şekli ve sınırı bilinir.
  • check_circle SAM hangi durumlarda tercih edilir? SAM, etiketli eğitim verisi olmaksızın yeni nesne kategorilerini segmente etmek gerektiğinde tercih edilir. İnteraktif segmentasyon ve veri etiketleme hızlandırma senaryolarında özellikle güçlüdür.
  • check_circle mIoU skoru nasıl yorumlanır? mIoU, tahmin edilen maskenin gerçek maskeyle örtüşme oranının sınıflar üzerinden ortalamasıdır. 1.0 mükemmel örtüşmeyi ifade eder. Genel amaçlı modellerde 0.5 üzeri kabul edilebilir, üst düzey modeller 0.6-0.7 bandına ulaşır.
  • check_circle Gerçek zamanlı segmentasyon mümkün müdür? Evet. YOLOv8-seg, EfficientPS ve MobileNetV3 tabanlı modeller mobil ve gömülü cihazlarda saniyede 30 kare ve üzerinde çalışabilecek biçimde optimize edilmiştir.
  • check_circle Semantik ve instance segmentasyon ne zaman tercih edilir? Bireysel nesne sayısının önemli olduğu durumlarda (trafik sahnesi: kaç araba var?) instance segmentasyon; arka plan ve bölge sınıflandırmasının yeterli olduğu durumlarda (arazi kullanım haritası) semantik segmentasyon tercih edilir. Panoptik her ikisine de ihtiyaç olduğunda kullanılır.