Pruning (Sinir Ağı Budaması)

#model-sikistirma #derin-ogrenme #sinir-agi #model-optimizasyonu

Eğitilmiş bir sinir ağındaki önemsiz ağırlıkları veya yapısal birimleri kaldırarak modelin boyutunu ve hesaplama maliyetini azaltan model sıkıştırma tekniği.

Sinir ağı budaması (neural network pruning), büyük ve karmaşık derin öğrenme modellerini daha küçük, hızlı ve verimli hale getirmek amacıyla modeldeki gereksiz ya da önemsiz parametreleri kaldıran bir model sıkıştırma yöntemidir. Bir insan beyninin yeni bağlantılar kurarken kullanılmayan sinaptik bağlantıları budadığı bilinmektedir; benzer bir ilkeden esinlenen bu teknik, yapay sinir ağlarına da uygulanır. Budama, çoğunlukla model eğitiminin ardından gerçekleştirilir; ancak eğitim sırasında veya eğitim öncesinde de uygulanabilen yöntemler araştırılmaktadır. Temel amacı, modelin doğruluk oranını kabul edilebilir düzeyde koruyarak parametre sayısını, bellek kullanımını ve hesaplama maliyetini önemli ölçüde düşürmektir. Budama teknikleri iki ana kategoriye ayrılır. Yapılandırılmamış budama (unstructured pruning), ağırlık matrisindeki bireysel bağlantıları kaldırır; seyrek matris yapısı oluşturur ancak standart donanımda gerçek hız kazanımı için özel kütüphane veya donanım desteği gerektirir. Yapılandırılmış budama (structured pruning) ise tüm filtreler, kanallar veya katmanlar gibi bütüncül yapıları bir bütün olarak siler; standart GPU ve CPU'larda doğrudan çıkarım hızı artışı ve model küçülmesi elde edilir. En yaygın yöntem büyüklük tabanlı budamadır (magnitude-based pruning): mutlak değeri en küçük ağırlıklar, modelin öğrendiği bilgiye katkısı az kabul edilerek kaldırılır. Ardından model, performansını yeniden kazanması için ince ayar (fine-tuning) sürecinden geçirilir. Bu "eğit → buda → ince ayar" döngüsü, hedef boyut ve doğruluk değerlerine ulaşılana kadar birkaç kez tekrarlanabilir. 2018'de Frankle ve Carlin tarafından öne sürülen Piyango Bileti Hipotezi (Lottery Ticket Hypothesis), büyük sinir ağlarının başlangıçtan beri eğitilebilir nitelikte küçük alt ağlar — "kazanan biletler" — barındırdığını ileri sürer. Bu alt ağlar, tam ağın yüzde 10 ile 20'si büyüklüğünde olmasına rağmen benzer doğruluk oranlarına ulaşabilmektedir. Budama; mobil uygulamalar, IoT cihazları ve kenar bilişim (edge computing) gibi hesaplama kapasitesinin sınırlı olduğu ortamlarda dağıtımı kolaylaştırır. Günümüzde budama çoğunlukla niceleme (quantization) ve bilgi damıtma (knowledge distillation) ile bir arada uygulanarak çok daha yüksek sıkıştırma oranlarına ulaşılır.

Sinir Ağı Budaması Nedir?

Sinir ağı budaması (neural network pruning), büyük ve karmaşık derin öğrenme modellerini daha küçük, hızlı ve verimli hale getirmek amacıyla modeldeki gereksiz ya da önemsiz parametreleri kaldıran bir model sıkıştırma yöntemidir. Bir insan beyninin yeni bağlantılar kurarken kullanılmayan sinaptik bağlantıları budadığı bilinmektedir; benzer bir ilkeden esinlenen bu teknik, yapay sinir ağlarına da uygulanır. Temel amacı, modelin doğruluk oranını kabul edilebilir düzeyde koruyarak parametre sayısını, bellek kullanımını ve hesaplama maliyetini önemli ölçüde düşürmektir.

Yapılandırılmamış Budama

Yapılandırılmamış budama (unstructured pruning), sinir ağı ağırlık matrisindeki bireysel ağırlıkları seçici biçimde sıfırlar ya da kaldırır. Bu yaklaşım en geniş esnekliği sunar: ağdaki herhangi bir katmandaki herhangi bir bağlantı budanabilir. Ortaya çıkan seyrek ağırlık matrisi teorik olarak yüksek bir sıkıştırma oranı sunar; ancak bu seyrekligi gerçek donanım hızına dönüştürmek için özel seyrek hesaplama kütüphaneleri veya donanım desteği gerekir. Özel donanım olmadan standart GPU'larda belirgin bir hız artışı elde etmek güçtür.

Yapılandırılmış Budama

Yapılandırılmış budama (structured pruning), bireysel ağırlıklar yerine tüm filtreler, kanallar, dikkat başlıkları veya katmanlar gibi yapısal birimleri bir bütün olarak kaldırır. Bu sayede standart yoğun matris çarpımları korunur ve elde edilen model, özel donanım gerektirmeksizin standart GPU veya CPU üzerinde doğrudan çalışır. Yapılandırılmış budama, gerçek dünya dağıtım ortamlarında ölçülebilir çıkarım hızı artışı ve bellek tasarrufu hedefleyen mühendisler için tercih edilen yaklaşımdır. Öte yandan yapısal birim kaldırma, modelin doğruluğunu bireysel ağırlık silmeye kıyasla daha fazla etkileyebilir.

Büyüklük Tabanlı Budama ve Eğit-Buda-İnce Ayar Döngüsü

En yaygın budama stratejisi büyüklük tabanlı budamadır (magnitude-based pruning): mutlak değeri en küçük olan ağırlıklar, öğrenilen bilgiye katkısı az kabul edilerek kaldırılır. Bu yöntem uygulaması basit olmakla birlikte, büyüklüğün her zaman önem anlamına gelmediği durumlar için gradyan tabanlı veya aktivasyona dayalı gelişmiş yöntemler de araştırılmaktadır. Budama süreci tipik olarak üç adımdan oluşan bir döngüdür: (1) Modeli tam kapasitede eğit; (2) Belirlenen oranda parametreyi buda; (3) Modeli kısa bir ince ayar (fine-tuning) süreciyle doğruluk kaybını telafi et. Aşamalı budama, her iterasyonda az sayıda parametre silerek tek seferlik büyük kesimden daha başarılı sonuçlar verir.

Piyango Bileti Hipotezi

Frankle ve Carlin'in 2018'de öne sürdüğü Piyango Bileti Hipotezi (Lottery Ticket Hypothesis), büyük sinir ağlarının rastgele başlatıldıklarında içlerinde küçük alt ağlar — "kazanan biletler" — barındırdığını ileri sürer. Bu alt ağlar, yalnızca başlangıç ağırlıklarıyla yeniden eğitildiğinde, tam ağın doğruluk düzeyine çok daha az parametre ile ulaşabilmektedir. Kazanan biletler genellikle tam ağın yüzde 10-20'si büyüklüğündedir. Hipotezin pratik anlamı şudur: modelin performansını taşıyan yapısal kapasite büyük ağın tamamında değil küçük bir bölümünde yoğunlaşmış olabilir; bu da budamanın neden etkili olduğunu açıklamaya yardımcı olur.

Sık Sorulan Sorular

  • check_circle :
  • check_circle :
  • check_circle :
  • check_circle :
  • check_circle :