Neural Architecture Search (NAS) Nedir? Otomatik Model Tasarımı (Nöral Ağ Mimarisi Arama)

#NAS #AutoML #DerinOgrenme #GelismisAlgoritmalar

Makine öğrenmesi modellerinin en uygun sinir ağı mimarisini insan müdahalesi olmadan otomatik olarak bulan yapay zeka tekniği.

Neural Architecture Search (NAS), bir makine öğrenimi görevi için en uygun sinir ağı mimarisini insan müdahalesi olmadan otomatik olarak keşfeden ve AutoML alanının temel dallarından birini oluşturan yapay zeka tekniğidir. Geleneksel derin öğrenme iş akışında araştırmacılar katman sayısı, bağlantı desenleri, aktivasyon fonksiyonları ve boyut seçimleri gibi onlarca tasarım kararını elle yapılandırır; bu süreç uzman bilgisi gerektirir ve haftalarca sürebilir. NAS bu manuel döngüyü sistematik bir optimizasyon problemine dönüştürerek hem süreyi hem gerekli uzmanlığı azaltır. NAS üç temel bileşenden oluşur: arama uzayı (olası mimarilerin yapısal şablonu), arama stratejisi (hangi adayların değerlendirileceğini belirleyen algoritma) ve performans tahmini (mimarileri derecelendiren ölçüm yöntemi). Pekiştirmeli öğrenme tabanlı RL-NAS, evrimsel algoritmalar, gradyan tabanlı DARTS (Differentiable Architecture Search) ve ağırlık paylaşımlı One-Shot NAS bu bileşenlerin farklı kombinasyonlarını kullanır. Google Brain'in 2017'deki ilk RL-NAS çalışması 800 GPU'da 28 gün gerektirirken, 2018'de tanıtılan DARTS bu maliyeti tek bir GPU-gününe indirdi. Weight Sharing yöntemleri ek 100× hızlanma sağladı. EfficientNet ve NASNet, ImageNet sıralamasında manuel tasarlanan modelleri geride bırakarak endüstri standardı haline geldi; EfficientNet B7 sürümü %84,4 Top-1 doğruluğu ile kıyaslama testlerini yeniden tanımladı. Günümüzde donanım farkındalıklı NAS, mobil cihaz gecikmesini ve bellek kısıtlarını arama hedefine katarak kenar cihazlara özel mimariler üretir. Apple Neural Engine ve Qualcomm Snapdragon için optimize edilmiş modeller bu teknikle tasarlanmaktadır. NAS-LLM çalışmaları ise transformatör başlık sayısı, FFN genişliği ve dikkat mekanizması yapısı gibi hiper-mimari kararları otomatikleştirmeye yönelmektedir. NAS'ın pratik sınırları arasında klasik yöntemlerin yüksek hesaplama maliyeti, bulunan mimarinin eğitim verisi ve donanıma özgü olması ile küçük veri kümelerinde genelleme güçlüğü yer alır. Uygulamada Google Vertex AI AutoML ve Azure Automated ML NAS işlevselliği sunarken, açık kaynak timm kütüphanesi daha esnek bir başlangıç noktası oluşturur.

NAS Neden Önemlidir?

Derin öğrenmede model performansı büyük ölçüde ağ mimarisine bağlıdır; kaç katman olacağı, hangi bağlantı desenlerinin kullanılacağı, aktivasyon fonksiyonları ve boyut seçimleri kritik önem taşır. İnsan uzmanlar bu seçimleri sezgisel ve deneyimsel yollarla yaparken yüzlerce saat harcayabilir. NAS bu süreci otomatikleştirerek geniş bir mimari uzayı sistematik biçimde tarar. Sadece büyük teknoloji şirketleri için değil, hesaplama kaynakları kısıtlı araştırmacılar için de erişilebilir verimli modeller üretebilir. Mobil cihazlar, gömülü sistemler ve enerji kısıtlı ortamlar için özelleştirilmiş mimarilerin geliştirilmesinde NAS özellikle değerlidir.

NAS'ın Üç Temel Bileşeni

Arama Uzayı

Değerlendirilebilecek mimari seçenekleri tanımlar: katman türleri, atlama bağlantıları (skip connections), aktivasyon fonksiyonları ve boyutlar bu uzayı oluşturur.

Arama Stratejisi

Takviyeli öğrenme, evrimsel algoritmalar veya gradyan tabanlı yöntemler (DARTS) kullanarak arama uzayını sistematik biçimde tarar ve en iyiyi seçer.

Performans Tahmini

Her aday mimariyi tam eğitim gerektirmeden hızla değerlendiren yöntemler; weight sharing ve early stopping ile maliyeti düşürür.

Başlıca NAS Yöntemleri

  • check_circle RL Tabanlı NAS (2017): Google Brain'in öncü çalışması; bir controller RNN mimariler önerir ve doğrulama doğruluğu ödül sinyali olarak kullanılır. Yüksek GPU maliyeti nedeniyle pratikte sınırlıdır.
  • check_circle Evrimsel NAS: Genetik algoritmalar kullanarak mimari 'popülasyonları' evrimleştirir; mutasyon ve çaprazlama operatörleriyle yeni mimariler üretir. AmoebaNet bu yöntemle elde edilmiştir.
  • check_circle DARTS — Differentiable Architecture Search: Arama uzayını sürekli ve diferansiyellenebilir hale getirerek gradyan inişiyle mimari seçer. One-shot NAS ile birleşince maliyeti saatlere düşürür.
  • check_circle One-Shot / Weight Sharing NAS: Tüm aday mimarilerin parametrelerini paylaştığı bir süper ağ eğitir. Her alt ağ bu paylaşılan ağırlıklardan örneklenerek değerlendirilir; bu yaklaşım 100× verimlilik artışı sağlar.

NAS ile Üretilen Önemli Modeller

NASNet (2018), ImageNet'te o dönem state-of-the-art doğruluk elde eden ilk NAS modeliydi. EfficientNet (2019), bileşik ölçeklendirme (compound scaling) ile NAS'ı birleştirerek verimlilik-doğruluk dengesinde yeni bir standart belirledi. MobileNetV3 ise mobil cihazlar için NAS ile optimize edilmiş hafif bir modeldir. Bu başarılar NAS'ı akademik bir meraktan endüstriyel bir araca dönüştürdü.

NAS'ın Temel Arama Stratejileri

  • check_circle Evrimsel Algoritmalar: Mimari popülasyonunu mutasyon ve seçilimle iteratif geliştirme. Google'ın NASNet orijinal olarak bu yaklaşımı kullandı.
  • check_circle Pekiştirmeli Öğrenme Tabanlı NAS: Mimari arama uzayını keşfeden bir kontrolör RNN'in ödül olarak doğrulama doğruluğunu maksimize etmesi.
  • check_circle Gradient Tabanlı NAS (DARTS): Mimari kararlarını sürekli hale getirerek gradyan optimizasyonu ile arama; çok daha hızlı ama büyük bellek gerektirir.
  • check_circle One-Shot NAS: Tüm mimarileri içeren tek bir 'ağırlık paylaşımlı' büyük ağ (supernet) eğitimi; alt mimariler supernetten miras alır.
  • check_circle Donanım Farkındalıklı NAS: Yalnızca doğruluk değil, hedef donanımda gecikme (latency) ve bellek kısıtlarını da optimize eden arama.
  • check_circle Proxy Görevler: Küçük veri seti ve az eğitim adımıyla hızlı mimari değerlendirme. Tam eğitim maliyetini dramatik biçimde azaltır.

NAS'ın Pratikte Önemi ve Sınırları

Sinir ağı mimari arama (NAS), insan tasarımına dayanmadan otomatik olarak yüksek performanslı ağ yapıları bulmayı amaçlar. Google'ın 2017'de yayımladığı NASNet çalışması, ev yapımı mimarileri geride bırakan ImageNet modellerini otomatik keşfetti ve NAS'a olan ilgiyi patladı. Günümüzde EfficientNet, MobileNetV3 ve ProxylessNAS gibi popüler modeller NAS yöntemleriyle oluşturulmuştur. Pratik sınırlamalar: klasik NAS yöntemleri (evrimsel veya RL tabanlı) binlerce GPU saati gerektirebilir; küçük kuruluşlar için erişilemez. DARTS ve One-Shot NAS bu maliyeti onlarca GPU saatine indirdi. NAS'ın arama uzayı (search space) tanımı kritik: hangi operasyonlar (conv 3×3, depthwise conv, attention), kaç katman ve kanal sayısı arayacağınız sonucu belirler. Edge AI bağlamında donanım farkındalıklı NAS, belirli bir mobil çip veya FPGA için optimize mimariler bulmayı mümkün kılar. Hugging Face'de hazır NAS araçları (timm kütüphanesi) ve AutoML platformları (Google Vertex AI, Azure ML) NAS'ı pratik kullanıcılar için erişilebilir hale getirmektedir.