Deep Belief Network (Derin İnanç Ağı)

#dbn #derin-ogrenme #boltzmann #on-egitim #yapay-sinir-agi

Yığılmış Kısıtlı Boltzmann Makinelerinden oluşan, derin öğrenme tarihinin kırılma noktasını temsil eden olasılıksal sinir ağı mimarisidir.

Derin İnanç Ağı (Deep Belief Network — DBN), birden fazla Kısıtlı Boltzmann Makinesi'nin (Restricted Boltzmann Machine — RBM) hiyerarşik olarak yığıldığı olasılıksal bir derin öğrenme modelidir. Her katman, bir alt katmanın gizli birimlerini temsil ederken bir üst katmanın görünür birimleri olarak işlev görür; böylece veri içindeki soyutlama düzeyi ağın derinliğiyle birlikte artar. Modelin tarihsel önemi, Geoffrey Hinton ve meslektaşlarının 2006 yılında Science dergisinde yayımladığı dönüm noktası niteliğindeki makaleden kaynaklanmaktadır. Bu çalışma, derin ağların eğitimindeki temel güçlüğü olan kaybolan gradyan (vanishing gradient) sorununa pratik bir çözüm sundu: Açgözlü katman-bazlı ön eğitim (greedy layer-wise pretraining). Bu yaklaşımda her RBM katmanı, alttaki katmanın çıktısını girdi olarak alarak bağımsız ve denetimsiz biçimde (unsupervised) eğitilir. Ardından tüm ağ, denetimli ince ayar (supervised fine-tuning) ile geri yayılım algoritması kullanılarak optimize edilir. Pratik kullanım açısından DBN'ler 2006-2012 yılları arasında özellikle boyut indirgeme, özellik öğrenme, öneri sistemleri ve konuşma tanıma gibi alanlarda öne çıktı. Carnegie Mellon ve Toronto Üniversitesi'nden ekipler, MNIST rakam tanıma kıyaslamasında dönemin en yüksek doğruluk oranlarını DBN ile elde etti. 2012'den itibaren Evrişimli Sinir Ağları (CNN) ve Uzun-Kısa Süreli Bellek (LSTM) ağlarının ImageNet ve konuşma tanımadaki dramatik başarıları, DBN'lerin kullanımını önemli ölçüde daralttı. Bununla birlikte DBN kavramı, modern üretken modellerin (özellikle Değişken Özkodlayıcılar ve Difüzyon Modelleri) teorik temelini anlama açısından hâlâ eğitim ve araştırma bağlamında incelenmektedir. Geoffrey Hinton'ın bu çalışmadaki katkısı, 2018 Turing Ödülü'nü kazandığı derin öğrenme başarılarının merkezinde yer almaktadır.

Derin İnanç Ağı Nedir?

Derin İnanç Ağı (Deep Belief Network — DBN), birden fazla Kısıtlı Boltzmann Makinesi'nin (RBM) hiyerarşik olarak yığıldığı olasılıksal bir derin öğrenme modelidir. Her katman bir alt katmanın gizli birimlerini temsil ederken bir üst katmanın görünür birimleri olarak işlev görür. Bu yapı sayesinde ağ, ham veriden başlayarak giderek artan soyutlama düzeylerinde temsiller öğrenir; pikseller → kenarlar → şekiller → nesneler şeklinde özetlenebilecek bir hiyerarşi oluşturur. DBN'ler hem üretken (generative) hem de ayrımsal (discriminative) modeller olarak kullanılabilir.

Kısıtlı Boltzmann Makinesi (RBM): DBN'nin Yapı Taşı

Bir RBM, görünür (visible) ve gizli (hidden) olmak üzere iki katmanlı enerji tabanlı bir olasılıksal modeldir. Kısıtlı sıfatı, aynı katmandaki birimler arasında bağlantı olmadığı anlamına gelir; bu özellik, Contrastive Divergence (CD) algoritmasıyla verimli eğitim yapılmasına olanak tanır. Bir RBM, verinin olasılık dağılımını öğrenir ve hem özellik öğrenme hem de boyut indirgeme görevi üstlenebilir. DBN'de her RBM katmanı, bir öncekinin gizli birimlerini görünür birim olarak alarak ağın derinliğini artırır.

Hinton'ın 2006 Atılımı: Derin Öğrenme Rönesansı

Geoffrey Hinton, Simon Osindero ve Yee-Whye Teh'in Science dergisinde 2006'da yayımladığı "A fast learning algorithm for deep belief nets" makalesi, derin öğrenme tarihinin kırılma noktasıdır. Bu makale, kaybolan gradyan (vanishing gradient) nedeniyle on yıldır eğitilemeyen derin ağlar için açgözlü katman-bazlı ön eğitim (greedy layer-wise pretraining) çözümünü sundu. Yaklaşım şuydu: Her RBM katmanı ayrı ayrı ve denetimsiz biçimde eğitilir; tüm katmanlar yığıldıktan sonra ağ, denetimli ince ayar (supervised fine-tuning) ile uçtan uca optimize edilir. MNIST kıyaslamasında döneminin en yüksek doğruluğunu elde eden bu model, yapay zeka araştırmacılarını derin ağlara geri döndürdü.

Uygulama Alanları (2006-2012 Dönemi)

DBN'ler zirve dönemlerinde şu alanlarda öne çıktı: Boyut indirgeme ve görselleştirme (PCA'ya güçlü alternatif olarak), öneri sistemleri (Netflix Prize yarışmasında kullanılan yaklaşımlardan biri), konuşma tanıma (Microsoft ve IBM'in erken derin öğrenme denemeleri), el yazısı rakam tanıma (MNIST'te %1.25 hata oranıyla rekor) ve doğal dil işleme özellik öğrenimi. 2012'de Krizhevsky ve ekibinin AlexNet ile ImageNet kıyaslamasında CNN'in ezici üstünlüğünü kanıtlamasının ardından araştırmacıların büyük çoğunluğu CNN ve LSTM gibi mimarilere yöneldi.

Günümüzdeki Önemi ve Mirası

DBN, aktif kullanım olarak çoğu görevde CNN, LSTM ve Transformer tarafından geride bırakılmıştır. Ancak mirası iki boyutludur: (1) Tarihsel — Derin öğrenmenin 2006 sonrasındaki rönesansını başlatan mimarinin öncüsüdür; Hinton, Bengio ve LeCun'ın 2018 Turing Ödülü bu dönemin tescilidir. (2) Teorik — Değişken Özkodlayıcı (VAE) ve enerji tabanlı modellerin matematiksel temeli RBM/DBN kavramlarına dayanır; modern üretken yapay zekayı anlamak için DBN perspektifi değerini korumaktadır.

Sık Sorulan Sorular

  • check_circle DBN ile sıradan derin sinir ağı arasındaki fark nedir?: DBN olasılıksal bir modeldir ve yığılmış RBM'lerden oluşur; hem üretken hem ayrımsal kullanılabilir. Sıradan derin sinir ağı ise deterministik bir fonksiyon yaklaşıcısıdır ve genellikle sadece ayrımsal (sınıflandırma, regresyon) görevler için eğitilir.
  • check_circle DBN neden 2012 sonrasında gözden düştü?: CNN, grid yapılı veriler (görüntü, ses) için çok daha verimli özellik öğrenme sundu; LSTM ve ardından Transformer ise dizi verilerinde DBN'yi geride bıraktı. Büyük veri ve GPU erişiminin artmasıyla ön eğitim gerekliliği de azaldı.
  • check_circle DBN'yi bugün öğrenmek hâlâ değerli mi?: Araştırma ve tarihsel anlayış açısından evet. Enerji tabanlı modeller, VAE ve difüzyon modellerini anlamak için RBM/DBN kavramları sağlam bir zemin sağlar. Üretim sistemleri için pratik önemi ise sınırlıdır.
  • check_circle DBN ile VAE arasında nasıl bir ilişki var?: Her ikisi de verinin gizli (latent) olasılıksal temsillerini öğrenir. DBN enerji tabanlı ve katman-bazlı eğitim kullanırken VAE Bayes çıkarımına dayalı ve uçtan uca eğitilir. VAE, DBN'nin kavramsal mirasçısı olarak görülebilir.
  • check_circle Hangi Python kütüphaneleriyle DBN uygulanabilir?: Scikit-learn'de BernoulliRBM sınıfı mevcuttur. PyTorch ve TensorFlow ile sıfırdan RBM ve DBN katmanları kodlanabilir. Tarihsel denemeleri yeniden üretmek için Theano tabanlı eski kodlar GitHub'da bulunmaktadır.