Neural Architecture Search (NAS) Nedir? Otomatik Model Tasarımı (Nöral Ağ Mimarisi Arama)

#NAS #NeuralArchitectureSearch #AutoML #DeepLearning #EfficientNet #GelismisAlgoritmalar

Makine öğrenmesi modellerinin en uygun sinir ağı mimarisini insan müdahalesi olmadan otomatik olarak bulan yapay zeka tekniği.

Neural Architecture Search (NAS), en yüksek performansı sağlayan sinir ağı mimarisini insan müdahalesi olmadan otomatik olarak keşfeden bir yapay zeka tekniğidir. NAS, araştırmacıların manuel deneme yanılma yoluyla haftalarca uğraştığı mimari tasarım sürecini otomatikleştirerek hem süreyi hem de maliyeti dramatik biçimde düşürür. EfficientNet ve NASNet gibi çığır açan modeller bu yöntemle keşfedilmiştir.

NAS Neden Önemlidir?

Derin öğrenmede model performansı büyük ölçüde ağ mimarisine bağlıdır; kaç katman olacağı, hangi bağlantı desenlerinin kullanılacağı, aktivasyon fonksiyonları ve boyut seçimleri kritik önem taşır. İnsan uzmanlar bu seçimleri sezgisel ve deneyimsel yollarla yaparken yüzlerce saat harcayabilir. NAS bu süreci otomatikleştirerek geniş bir mimari uzayı sistematik biçimde tarar. Sadece büyük teknoloji şirketleri için değil, hesaplama kaynakları kısıtlı araştırmacılar için de erişilebilir verimli modeller üretebilir. Mobil cihazlar, gömülü sistemler ve enerji kısıtlı ortamlar için özelleştirilmiş mimarilerin geliştirilmesinde NAS özellikle değerlidir.

NAS'ın Üç Temel Bileşeni

Arama Uzayı

Değerlendirilebilecek mimari seçenekleri tanımlar: katman türleri, atlama bağlantıları (skip connections), aktivasyon fonksiyonları ve boyutlar bu uzayı oluşturur.

Arama Stratejisi

Takviyeli öğrenme, evrimsel algoritmalar veya gradyan tabanlı yöntemler (DARTS) kullanarak arama uzayını sistematik biçimde tarar ve en iyiyi seçer.

Performans Tahmini

Her aday mimariyi tam eğitim gerektirmeden hızla değerlendiren yöntemler; weight sharing ve early stopping ile maliyeti düşürür.

Başlıca NAS Yöntemleri

  • check_circle RL Tabanlı NAS (2017): Google Brain'in öncü çalışması; bir controller RNN mimariler önerir ve doğrulama doğruluğu ödül sinyali olarak kullanılır. Yüksek GPU maliyeti nedeniyle pratikte sınırlıdır.
  • check_circle Evrimsel NAS: Genetik algoritmalar kullanarak mimari 'popülasyonları' evrimleştirir; mutasyon ve çaprazlama operatörleriyle yeni mimariler üretir. AmoebaNet bu yöntemle elde edilmiştir.
  • check_circle DARTS — Differentiable Architecture Search: Arama uzayını sürekli ve diferansiyellenebilir hale getirerek gradyan inişiyle mimari seçer. One-shot NAS ile birleşince maliyeti saatlere düşürür.
  • check_circle One-Shot / Weight Sharing NAS: Tüm aday mimarilerin parametrelerini paylaştığı bir süper ağ eğitir. Her alt ağ bu paylaşılan ağırlıklardan örneklenerek değerlendirilir; bu yaklaşım 100× verimlilik artışı sağlar.

NAS ile Üretilen Önemli Modeller

NASNet (2018), ImageNet'te o dönem state-of-the-art doğruluk elde eden ilk NAS modeliydi. EfficientNet (2019), bileşik ölçeklendirme (compound scaling) ile NAS'ı birleştirerek verimlilik-doğruluk dengesinde yeni bir standart belirledi. MobileNetV3 ise mobil cihazlar için NAS ile optimize edilmiş hafif bir modeldir. Bu başarılar NAS'ı akademik bir meraktan endüstriyel bir araca dönüştürdü.

NAS'ın Temel Arama Stratejileri

  • check_circle Evrimsel Algoritmalar: Mimari popülasyonunu mutasyon ve seçilimle iteratif geliştirme. Google'ın NASNet orijinal olarak bu yaklaşımı kullandı.
  • check_circle Pekiştirmeli Öğrenme Tabanlı NAS: Mimari arama uzayını keşfeden bir kontrolör RNN'in ödül olarak doğrulama doğruluğunu maksimize etmesi.
  • check_circle Gradient Tabanlı NAS (DARTS): Mimari kararlarını sürekli hale getirerek gradyan optimizasyonu ile arama; çok daha hızlı ama büyük bellek gerektirir.
  • check_circle One-Shot NAS: Tüm mimarileri içeren tek bir 'ağırlık paylaşımlı' büyük ağ (supernet) eğitimi; alt mimariler supernetten miras alır.
  • check_circle Donanım Farkındalıklı NAS: Yalnızca doğruluk değil, hedef donanımda gecikme (latency) ve bellek kısıtlarını da optimize eden arama.
  • check_circle Proxy Görevler: Küçük veri seti ve az eğitim adımıyla hızlı mimari değerlendirme. Tam eğitim maliyetini dramatik biçimde azaltır.

NAS'ın Pratikte Önemi ve Sınırları

Sinir ağı mimari arama (NAS), insan tasarımına dayanmadan otomatik olarak yüksek performanslı ağ yapıları bulmayı amaçlar. Google'ın 2017'de yayımladığı NASNet çalışması, ev yapımı mimarileri geride bırakan ImageNet modellerini otomatik keşfetti ve NAS'a olan ilgiyi patladı. Günümüzde EfficientNet, MobileNetV3 ve ProxylessNAS gibi popüler modeller NAS yöntemleriyle oluşturulmuştur. Pratik sınırlamalar: klasik NAS yöntemleri (evrimsel veya RL tabanlı) binlerce GPU saati gerektirebilir; küçük kuruluşlar için erişilemez. DARTS ve One-Shot NAS bu maliyeti onlarca GPU saatine indirdi. NAS'ın arama uzayı (search space) tanımı kritik: hangi operasyonlar (conv 3×3, depthwise conv, attention), kaç katman ve kanal sayısı arayacağınız sonucu belirler. Edge AI bağlamında donanım farkındalıklı NAS, belirli bir mobil çip veya FPGA için optimize mimariler bulmayı mümkün kılar. Hugging Face'de hazır NAS araçları (timm kütüphanesi) ve AutoML platformları (Google Vertex AI, Azure ML) NAS'ı pratik kullanıcılar için erişilebilir hale getirmektedir.