Boyut İndirgeme (Dimensionality Reduction) (Boyut İndirgeme)

#BoyutIndirgeme #PCA #MakineOgrenimi #VeriAnalizi

Yüksek boyutlu veriyi daha az özellikle temsil ederek makine öğrenimi modellerini hızlandıran ve görselleştirmeyi kolaylaştıran teknikler bütünü.

Boyut indirgeme (dimensionality reduction), yüksek boyutlu veri kümelerindeki değişken sayısını azaltırken verinin özünü ve yapısını koruyan teknikler bütünüdür. Modern veri kümelerinde binlerce hatta milyonlarca özellik bulunabilir; bu durum "boyutun laneti" olarak adlandırılan ve modellerin genelleştirilmesini zorlaştıran bir soruna yol açar. Boyut indirgeme bu karmaşıklığı yönetilebilir hale getirir ve makine öğrenimi boru hatlarında standart bir ön işlem adımı olarak yer alır. Temel yaklaşımlar iki gruba ayrılır. Doğrusal yöntemler arasında en yaygın kullanılan Temel Bileşenler Analizi (PCA), veri setindeki en yüksek varyansı açıklayan ortogonal eksenleri hesaplar. Yüzlerce özelliği 10-20 bileşene indirgemek ve verinin yüzde 95'inden fazla bilgisini korumak mümkündür. Lineer Diskriminant Analizi (LDA) ise sınıflar arası ayrımı maksimize ederek indirgeme yapar; bu özelliği onu sınıflandırma öncesi ön işlemde değerli kılar. Doğrusal olmayan manifold yöntemleri, verinin karmaşık eğrisel yapılarını koruyabilir. t-SNE (t-dağılımlı Stokastik Komşu Gömme), yüksek boyutlu noktalar arasındaki yerel benzerlikleri 2 veya 3 boyutlu uzayda görselleştirmek için en sık tercih edilen yöntemdir; birbirine yakın kümeler arasındaki ayrımı belirginleştirir. UMAP (Uniform Manifold Approximation and Projection) ise hem yerel hem küresel yapıyı korurken t-SNE'den çok daha hızlı çalışır ve büyük veri kümelerinde üretim ortamlarında tercih edilir. Derin öğrenme dünyasında otoenkoderler sinir ağları aracılığıyla boyut indirger: kodlayıcı kısım veriyi düşük boyutlu bir latent uzaya sıkıştırır, kod çözücü kısım ise orijinal veriyi yeniden oluşturmaya çalışır. Bu yaklaşım anomali tespiti, görüntü sıkıştırma ve öneri sistemleri gibi alanlarda yaygın biçimde kullanılır. Dil modellerindeki embedding vektörler de özünde boyut indirgemenin bir biçimidir: geniş sözcük dağarcıklarını yoğun vektörlerle temsil eder. Uygulama alanları geniştir: biyoinformatik analizinde gürültü azaltma, öneri sistemlerinde matris çarpanlara ayırma, doğal dil işlemede konu modelleme ve görüntü işlemede özellik çıkarma bu alanların başında gelir.

Boyutun Laneti ve Neden Önemli?

Veri setindeki özellik sayısı arttıkça uzay üstel biçimde genişler ve noktalar birbirinden giderek uzaklaşır. Bu "boyutun laneti" (curse of dimensionality) olarak bilinir: binlerce özellik içeren bir veri kümesinde örnekler birbirine çok benzer görünür, mesafe metrikleri anlamsızlaşır ve modeller aşırı öğrenir. Boyut indirgeme bu sorunu iki yoldan çözer: ya en az bilgi kaybıyla özellik sayısını azaltır (özellik dönüşümü) ya da gereksiz özellikleri tamamen atar (özellik seçimi). Her iki yaklaşım da eğitim süresini kısaltır, bellek kullanımını düşürür ve çoğu zaman nihai model doğruluğunu artırır.

Doğrusal Yöntemler

  • check_circle PCA (Temel Bileşenler Analizi): Veri setindeki en yüksek varyansı açıklayan ortogonal eksenleri (temel bileşenleri) hesaplar. Yüzlerce özelliği 10-20 bileşene indirgerek bilginin %95'inden fazlasını korumak mümkündür. Görüntü sıkıştırma, gürültü azaltma ve görselleştirmede standart araçtır.
  • check_circle LDA (Lineer Diskriminant Analizi): Sınıflar arası ayrımı maksimize eden eksenleri bulur; sınıflandırma görevlerinde PCA'ya kıyasla daha ayrıştırıcı temsilkler üretir. Sınıf etiketini kullanan denetimli bir tekniktir.
  • check_circle SVD / Matris Çarpanlara Ayırma: Tekil değer ayrışımı öneri sistemlerinde (Netflix, Spotify) kullanıcı-öğe matrisini düşük boyutlu faktörlere ayrıştırır; gizli faktörleri örtük olarak öğrenir.

Doğrusal Olmayan Yöntemler

  • check_circle t-SNE: Yüksek boyutlu noktalar arasındaki yerel benzerlikleri 2-3 boyutlu uzayda görselleştirir; küme yapılarını belirginleştirir. Büyük veri kümelerinde yavaştır, üretim boru hattında değil keşifsel analizde kullanılır.
  • check_circle UMAP: Hem yerel hem küresel topolojiyi korurken t-SNE'den çok daha hızlı çalışır. Büyük veri kümelerinde ve üretim ortamlarında tercih edilen modern standart manifold yöntemidir.
  • check_circle Otoenkoderler: Sinir ağı tabanlı yaklaşımda kodlayıcı veriyi dar bir latent uzaya sıkıştırır, kod çözücü ise orijinal veriyi yeniden oluşturur. Anomali tespiti, görüntü sıkıştırma ve üretken modellerde (VAE) yaygındır.
  • check_circle Isomap / Lokal Doğrusal Gömme (LLE): Manifold hipotezine dayanan klasik yöntemler; verinin jeodezik mesafelerini ya da yerel komşuluk yapısını koruyarak düşük boyutlu temsil üretir.

Uygulama Alanları

  • check_circle Doğal Dil İşleme: Word2Vec, GloVe ve Transformer embedding katmanları sözcükleri yoğun vektörlere dönüştürür; özünde boyutun indirgenmiş anlamsal temsilidir.
  • check_circle Biyoinformatik: Genomik veri setleri on binlerce gen ifadesini barındırır; PCA ve UMAP alt popülasyonları ayırt etmek, gürültüyü azaltmak için standart araçtır.
  • check_circle Bilgisayarlı Görü: CNN'lerin ara katmanları yüksek çözünürlüklü görüntüleri kompakt özellik vektörlerine dönüştürür; bu vektörler daha küçük sınıflandırıcılara beslenir.
  • check_circle Anomali Tespiti: Otoenkoder latent uzayında yeniden oluşturma hatası yüksek olan örnekler anomali olarak işaretlenir; sahtekarlık tespiti ve endüstriyel kalite kontrolünde kullanılır.

Hangi Yöntemi Seçmeli?

  • check_circle Görselleştirme amaçlıysa: UMAP (hız + küresel yapı) veya t-SNE (küme ayrımı) — ikisi de 2-3 boyuta indirgeme için en iyi seçenektir.
  • check_circle Ön işlem / boru hattı bileşeni olarak: PCA; yorumlanabilir, hızlı ve scikit-learn ile tek satır koddur. Sınıflandırma öncesinde LDA genellikle daha iyi ayrım sağlar.
  • check_circle Karmaşık derin özellikler gerekiyorsa: Otoenkoder veya variational autoencoder (VAE); doğrusal olmayan gizli yapıları öğrenebilir ve üretken bileşen olarak kullanılabilir.
  • check_circle Büyük üretim veri kümeleri: UMAP (incremental modu) veya PCA (randomized SVD varyantı) — her ikisi de milyonlarca örneğe ölçeklenir.

Sık Sorulan Sorular

  • check_circle PCA ile kaç bileşen seçmeliyim? Açıklanan varyans oranı grafiğini (scree plot) inceleyin; kümülatif varyansın %90-95'ine ulaşan bileşen sayısı genellikle iyi bir başlangıç noktasıdır. Çapraz doğrulama ile nihai model performansına göre de ayar yapabilirsiniz.
  • check_circle t-SNE ve UMAP arasındaki temel fark nedir? t-SNE yerel komşuluk yapısını mükemmel biçimde korur ancak küresel mesafeleri çarpıtabilir ve büyük veri kümelerinde yavaştır. UMAP hem yerel hem küresel yapıyı dengeler, çok daha hızlı çalışır ve yeni noktaları transforme edebilir (t-SNE edemez).
  • check_circle Boyut indirgeme her zaman gerekli midir? Hayır. Az özellikli temiz veri kümelerinde ek karmaşıklık yaratabilir. Binlerce özellik, belirgin çok düzeylilik (multicollinearity) veya hesaplama kısıtı varsa uygulamak değerlidir.
  • check_circle Veri sızıntısı (data leakage) riski var mıdır? Evet. PCA veya t-SNE gibi dönüşümler yalnızca eğitim seti üzerinde fit edilmeli, test setine sadece transform uygulanmalıdır. Tam veri üzerinde fit edip sonra bölümleme yaparsanız test bilgisi eğitime sızar.
  • check_circle Boyut indirgeme yorumlanabilirliği etkiler mi? PCA bileşenleri orijinal özelliklerin doğrusal kombinasyonu olduğundan kısmen yorumlanabilirdir. t-SNE ve UMAP çıktı koordinatları ise doğrudan yorumlanamaz; yalnızca görsel küme ayrımı için anlamlıdır.