Parçacık Sürü Optimizasyonu (PSO)

#GelismisAlgoritmalar #SuruZekasi #Optimizasyon #MakineOgrenimi

Kuş sürüsü davranışından esinlenen; parçacıkların kişisel ve küresel en iyiyi paylaşarak arama uzayını birlikte taradığı meta-sezgisel optimizasyon algoritması.

Parçacık sürü optimizasyonu (İng. Particle Swarm Optimization, PSO), James Kennedy ve Russell Eberhart tarafından 1995 yılında IEEE Uluslararası Sinir Ağları Konferansı'nda önerilen, sürü zekasına dayalı bir meta-sezgisel optimizasyon algoritmasıdır. Algoritmanın temel esin kaynağı, merkezi bir yönlendirme olmaksızın koordineli davranan kuş sürüleri ve balık okullarının kolektif davranışıdır. PSO, bir "sürü" oluşturan aday çözümler kümesiyle çalışır; her aday çözüme "parçacık" adı verilir. Her parçacık, arama uzayında bir konum (X) ve bir hız vektörüyle (V) temsil edilir. Optimizasyon sürecinde her parçacık iki bilgiden yararlanır: kendi geçmişte ulaştığı en iyi konum (kişisel en iyi, pBest) ve sürünün tümünün şimdiye kadar bulduğu en iyi konum (küresel en iyi, gBest). Hız güncelleme formülü şu şekildedir: V(t) = w·V(t-1) + c₁·r₁·(pBest - X) + c₂·r₂·(gBest - X). Burada w atalet ağırlığı, c₁ bilişsel katsayı, c₂ sosyal katsayı; r₁ ve r₂ ise [0,1] aralığındaki rastgele sayılardır. Shi ve Eberhart (1998), w değerini yinelemeler boyunca 0,9'dan 0,4'e doğrusal olarak azaltmanın küresel keşif ile yerel sömürü arasındaki dengeyi iyileştirdiğini göstermiştir. Makine öğrenmesinde PSO; yapay sinir ağlarında hiper-parametre optimizasyonu (katman sayısı, öğrenme hızı, batch boyutu), sinir mimarisi araması (NAS) ve özellik seçimi için yaygın biçimde kullanılır. Araştırmalar, 20-50 parçacıktan oluşan küçük bir sürünün bile etkili sonuçlar ürettiğini göstermektedir. Başlıca varyantları arasında Uyarlanabilir PSO (APSO, Zhan vd. 2009), zaman değişkenli ivme katsayılı PSO (PSO-TVAC) ve kombinatoryal problemler için Ayrık PSO sayılabilir. Genetik algoritmalarla karşılaştırıldığında PSO, çaprazlama ve mutasyon operatörlerine gerek duymadan daha az parametreyle çalışır; bu durum özellikle sürekli değerli optimizasyon problemlerinde daha hızlı yakınsama sağlar. Başlıca sınırlılığı erken yakınsamadır: parçacıklar küresel en iyiye hızla yöneldiğinde sürü çeşitliliği azalır ve algoritma yerel bir optimumda takılı kalabilir.

Biyolojik İlham: Sürü Davranışından Algoritmaya

PSO'nun çıkış noktası, bilim insanlarının kuş sürülerinin senkronize hareketini (murmuration) modellemesi çabasıdır. Kennedy ve Eberhart (1995), bireysel kuşların yalnızca komşularının konumunu ve hızını taklit etmesiyle kolektif düzeyde etkin bir arama davranışı ortaya çıktığını fark etti. Sürüdeki her kuş, merkezi bir koordinatör olmaksızın iki sinyali dengeler: kendi bulduğu en iyi yemi hatırlamak (pBest) ve sürünün genel olarak keşfettiği en iyi konuma yaklaşmak (gBest). Bu basit kural, yüksek boyutlu optimizasyon problemlerinde şaşırtıcı biçimde etkili çalışır.

Temel Parametreler ve Hız Formülü

  • check_circle Atalet Ağırlığı (w): Parçacığın önceki hızını ne kadar sürdüreceğini belirler. Yüksek w (0,9): geniş keşif; düşük w (0,4): ince sömürü. Shi & Eberhart (1998), w'yi 0,9'dan 0,4'e doğrusal azaltmanın dengeli sonuç verdiğini gösterdi.
  • check_circle Bilişsel Katsayı (c₁): Parçacığı kendi kişisel en iyisine (pBest) çeken kuvvetin ağırlığıdır. Tipik değer ≈ 2,0. Bireysel hafızayı ve özgün keşfi temsil eder.
  • check_circle Sosyal Katsayı (c₂): Parçacığı sürünün küresel en iyisine (gBest) çeken kuvvetin ağırlığıdır. Tipik değer ≈ 2,0. Sürü bilgisinin paylaşımını ve kolektif yakınsamayı sağlar.
  • check_circle Sürü Boyutu: Çoğu problem için 20-50 parçacık yeterlidir. CNN hiper-parametre araştırmalarında 10 parçacıkla bile etkili sonuçlar elde edildiği gösterilmiştir. Boyut arttıkça hesap maliyeti yükselir.

Makine Öğrenmesi Uygulamaları

  • check_circle Hiper-Parametre Optimizasyonu: CNN'lerde çekirdek boyutu, adım sayısı, filtre sayısı ve öğrenme hızı gibi parametrelerin otomatik aranması. Grid search ve rastgele aramaya kıyasla daha az denemeyle iyi konfigürasyona ulaşır.
  • check_circle Sinir Mimarisi Araması (NAS): Gizli katman sayısı ve her katmandaki nöron miktarının belirlenmesi. PSO tabanlı NAS, arama uzayını ayrıklaştırma ile Ayrık PSO varyantını birleştirerek etkili mimari keşfi yapar.
  • check_circle Özellik Seçimi: Yüksek boyutlu veri kümelerinde en bilgi yoğun özelliklerin tespit edilmesi. Ayrık/Binary PSO ile özellik alt kümesi seçimi yapılabilir; filtre yöntemlerine göre daha bütünleşik bir arama sağlar.
  • check_circle Mühendislik Tasarım Problemleri: Anten tasarımı, güç sistemi optimizasyonu ve aerodinamik şekil iyileştirme. Enerji sistemleri ve lojistik alanında PSO, sürekli ve çok amaçlı problemlere yaygın uygulanır.

Önemli Varyantlar

  • check_circle APSO — Uyarlanabilir PSO (Zhan vd. 2009): Sürümün evrimsel durumunu (keşif, sömürü, yakınsama, atlama-dışı) değerlendirerek hız güncelleme parametrelerini dinamik olarak ayarlar. Sabit parametreli standart PSO'ya göre daha gürbüz sonuçlar verir.
  • check_circle PSO-TVAC — Zaman Değişkenli İvme Katsayıları: c₁ iterasyonlar boyunca azalır, c₂ artar. Başlangıçta bireysel keşfi, sona doğru sürü bilgisi paylaşımını ön plana çıkarır.
  • check_circle Ayrık/Binary PSO: Özellik seçimi ve kombinatoryal problemler için her boyutun yalnızca 0/1 değer aldığı adaptasyon. Sigmoid veya V-şekilli transfer fonksiyonu sürekli hızı ikili konuma dönüştürür.
  • check_circle MPSO — Çok Sürülü PSO: Birden fazla alt sürü farklı arama bölgelerini paralel keşfeder; periyodik iletişimle küresel en iyi güncellenir. Erken yakınsama riskini azaltır.

PSO ve Genetik Algoritma: Temel Farklar

PSO ve Genetik Algoritmalar (GA) aynı meta-sezgisel sınıfa aittir; ancak çalışma prensipleri belirgin biçimde ayrışır. GA, çaprazlama ve mutasyon operatörleri aracılığıyla çözüm popülasyonunu evrimsel süreçle güncellerken PSO çözümleri hız vektörü mekanizmasıyla hareket ettirir. Bu fark, PSO'nun sürekli değerli optimizasyon problemlerinde genellikle daha hızlı yakınsamasını açıklar. Öte yandan GA, ikili kodlama ile ayrık ve kombinatoryal problemleri daha doğal biçimde ele alır; aynı zamanda çaprazlama operatörü sayesinde popülasyon çeşitliliğini daha iyi korur. PSO'nun en bilinen zayıflığı olan erken yakınsama, tüm parçacıkların gBest etrafında hızla kümelenerek yerel bir optimumda takılmasından kaynaklanır. Bu sorunu hafifletmek için APSO, çok sürülü yapılar ve azalan atalet ağırlığı gibi yöntemler geliştirilmiştir.

Sık Sorulan Sorular

  • check_circle PSO ne zaman ve kim tarafından önerildi?: James Kennedy ve Russell Eberhart tarafından 1995 yılında IEEE ICNN'de önerildi. Atalet ağırlığı kavramı 1998'de Shi & Eberhart tarafından eklenerek standart PSO oluşturuldu.
  • check_circle pBest ve gBest arasındaki fark nedir?: pBest, bir parçacığın kendi geçmişte ulaştığı en iyi çözümdür (bireysel hafıza). gBest, sürünün tamamının şimdiye kadar bulduğu en iyi çözümdür (kolektif bilgi). Her iterasyonda hız güncellemesi her ikisini de dengeli biçimde dikkate alır.
  • check_circle PSO, genetik algoritmadan ne zaman üstündür?: Sürekli değerli ve yüksek boyutlu optimizasyon problemlerinde PSO genellikle daha hızlı yakınsar ve daha az parametre ayarı gerektirir. Kombinatoryal ve ayrık problemlerde ise Ayrık PSO varyantı gerekmektedir.
  • check_circle PSO makine öğrenmesinde nasıl kullanılır?: Hiper-parametre optimizasyonu (öğrenme hızı, batch boyutu, ağ derinliği), NAS (sinir mimarisi araması) ve özellik seçimi gibi alanlarda kullanılır. 20-50 parçacıklık küçük sürülerle bile etkili sonuçlar elde edilebilir.
  • check_circle Erken yakınsama nasıl önlenir?: Atalet ağırlığını iterasyonlar boyunca 0,9'dan 0,4'e azaltmak, APSO gibi adaptif varyantlar kullanmak veya birden fazla alt sürüden oluşan MPSO mimarisine geçmek erken yakınsama riskini önemli ölçüde azaltır.