Deep Belief Network (Derin İnanç Ağı)

#dbn #derin-ogrenme #boltzmann #on-egitim #yapay-sinir-agi

Yığılmış Kısıtlı Boltzmann Makinelerinden oluşan, derin öğrenme tarihinin kırılma noktasını temsil eden olasılıksal sinir ağı mimarisidir.

Derin İnanç Ağı (Deep Belief Network — DBN), birden fazla Kısıtlı Boltzmann Makinesi'nin (Restricted Boltzmann Machine — RBM) hiyerarşik olarak yığıldığı olasılıksal bir derin öğrenme modelidir. Her katman, bir alt katmanın gizli birimlerini temsil ederken bir üst katmanın görünür birimleri olarak işlev görür; böylece veri içindeki soyutlama düzeyi ağın derinliğiyle birlikte artar. Ham veriden başlayarak pikseller, kenarlar, şekiller ve nesneler gibi giderek daha soyut temsiller öğrenir. Modelin tarihsel önemi, Geoffrey Hinton, Simon Osindero ve Yee-Whye Teh'in 2006 yılında Science dergisinde yayımladığı dönüm noktası niteliğindeki makaleden kaynaklanmaktadır. Bu çalışma, derin ağların eğitimindeki temel güçlük olan kaybolan gradyan (vanishing gradient) sorununa pratik bir çözüm sundu: Açgözlü katman-bazlı ön eğitim (greedy layer-wise pretraining). Bu yaklaşımda her RBM katmanı, alttaki katmanın çıktısını girdi olarak alarak bağımsız ve denetimsiz biçimde eğitilir. Ardından tüm ağ, denetimli ince ayar (supervised fine-tuning) ile geri yayılım algoritması kullanılarak optimize edilir. Bir RBM, görünür ve gizli olmak üzere iki katmanlı enerji tabanlı bir olasılıksal modeldir. Kısıtlı sıfatı, aynı katmandaki birimler arasında bağlantı bulunmadığını ifade eder; bu yapı tam Boltzmann makinelerine kıyasla eğitimi hesaplanabilir kılar. RBM eğitiminde Contrastive Divergence (CD-k) algoritması kullanılır; bu yaklaşım maksimum olabilirlik tahminin pratikte uygulanabilir bir yaklaşımıdır. Pratik kullanım açısından DBN'ler 2006-2012 yılları arasında özellikle boyut indirgeme, özellik öğrenme, öneri sistemleri ve konuşma tanıma alanlarında öne çıktı. Carnegie Mellon ve Toronto Üniversitesi'nden ekipler, MNIST rakam tanıma kıyaslamasında dönemin en yüksek doğruluk oranlarını DBN ile elde etti. Microsoft Research, DBN tabanlı konuşma tanıma sistemleriyle hata oranını dramatik biçimde düşürdü. 2012'den itibaren Evrişimli Sinir Ağları (CNN) ve Uzun-Kısa Süreli Bellek (LSTM) ağlarının ImageNet ve konuşma tanımadaki başarıları, DBN'lerin kullanımını önemli ölçüde daralttı. Bununla birlikte DBN kavramı; modern üretken modellerin, özellikle Değişken Özkodlayıcılar (VAE) ve Difüzyon Modellerinin teorik zeminini anlama açısından hâlâ eğitim ve araştırma bağlamında incelenmektedir. Geoffrey Hinton, bu çalışmadaki katkıları da dahil olmak üzere derin öğrenme alanındaki başarıları nedeniyle 2018 Turing Ödülü'nü almış; 2024 yılında ise Nobel Fizik Ödülü'ne layık görülmüştür.

Derin İnanç Ağı Nedir?

Derin İnanç Ağı (Deep Belief Network — DBN), birden fazla Kısıtlı Boltzmann Makinesi'nin (RBM) hiyerarşik olarak yığıldığı olasılıksal bir derin öğrenme modelidir. Her katman bir alt katmanın gizli birimlerini temsil ederken bir üst katmanın görünür birimleri olarak işlev görür. Bu yapı sayesinde ağ, ham veriden başlayarak giderek artan soyutlama düzeylerinde temsiller öğrenir; pikseller → kenarlar → şekiller → nesneler şeklinde özetlenebilecek bir hiyerarşi oluşturur. DBN'ler hem üretken (generative) hem de ayrımsal (discriminative) modeller olarak kullanılabilir.

Kısıtlı Boltzmann Makinesi (RBM): DBN'nin Yapı Taşı

Bir RBM, görünür (visible) ve gizli (hidden) olmak üzere iki katmanlı enerji tabanlı bir olasılıksal modeldir. Kısıtlı sıfatı, aynı katmandaki birimler arasında bağlantı bulunmadığını ifade eder; bu kısıt tam Boltzmann makinelerine kıyasla eğitimi hesaplanabilir kılar. RBM eğitiminde Contrastive Divergence (CD-k) algoritması kullanılır. Birden fazla RBM katmanı yığıldığında DBN elde edilir: alt katmanın gizli birimleri üst katmanın görünür birimleri olur. Bu yapı her katmanın, alttaki katmanın öğrendiği özellikleri girdi olarak almasına ve daha soyut temsiller üretmesine imkân tanır.

Hinton'ın 2006 Atılımı: Derin Öğrenme Rönesansının Başlangıcı

Geoffrey Hinton, Simon Osindero ve Yee-Whye Teh'in 2006'da Science dergisinde yayımladığı makale, kaybolan gradyan sorununun pratik çözümü olarak açgözlü katman-bazlı ön eğitimi (greedy layer-wise pretraining) önerdi. Her RBM, önceki katmanın çıktısını girdi alarak denetimsiz biçimde eğitilir. Ön eğitim bittikten sonra tüm ağ denetimli ince ayarla (supervised fine-tuning) optimize edilir. Bu yaklaşım, derin ağların eğitilmesinin imkânsız olduğu kanısını kırdı ve 'derin öğrenme' kavramının bilim dünyasında ciddiye alınmasını başlattı.

Uygulama Alanları (2006-2012 Dönemi)

DBN'ler 2006-2012 yılları arasında birçok alanda çığır açtı. MNIST rakam tanımada dönemin rekor doğruluk oranlarını elde ettiler. Microsoft Research, DBN tabanlı konuşma tanıma sistemiyle sözcük hata oranını belirgin şekilde düşürdü. Boyut indirgeme ve görselleştirmede PCA'ya güçlü bir alternatif sundular; 784 boyutlu MNIST verisini 2 boyuta indirgeyen görselleştirmeler dikkat çekiciydi. Öneri sistemlerinde de kullanıcı-ürün matrislerindeki gizli faktörleri öğrenmek için uygulandılar.

Günümüzdeki Önemi ve Mirası

2012'de AlexNet'in ImageNet'te kazandığı zaferle birlikte CNN ve LSTM ağları baskın hale geldi; DBN kullanımı daraldı. Buna karşın DBN'nin mirası büyüktür: modern VAE ve difüzyon modellerinin olasılıksal temelleri DBN literatüründen beslenir. Eğitim bağlamında DBN, derin öğrenmenin tarihini ve olasılıksal grafik modellerini anlamak isteyenler için hâlâ değerli bir referanstır. Geoffrey Hinton, bu çalışmayı da kapsayan başarıları nedeniyle 2018'de Turing Ödülü ve 2024'te Nobel Fizik Ödülü almıştır.

Sık Sorulan Sorular

  • check_circle DBN ile standart sinir ağları arasındaki fark nedir? Standart sinir ağları denetimli geri yayılımla eğitilirken DBN önce denetimsiz ön eğitim (RBM katmanları), ardından denetimli ince ayar adımlarını kullanır. DBN aynı zamanda üretken bir modeldir: yeni veri örnekleri oluşturabilir.
  • check_circle DBN günümüzde hâlâ kullanılıyor mu? Üretim ortamlarında büyük ölçüde yerini CNN, Transformer ve difüzyon modellerine bırakmıştır. Ancak akademik araştırma, derin öğrenme tarihi ve olasılıksal modelleme eğitimlerinde referans model olarak incelenmektedir.
  • check_circle Kaybolan gradyan sorunu nedir ve DBN bunu nasıl çözdü? Kaybolan gradyan, derin ağlarda geri yayılım sırasında alt katmanlara ulaşan gradyanların sıfıra yaklaşarak ağırlık güncellemelerini etkisiz bırakması sorunudur. DBN bunu katman bazlı ön eğitimle çözdü: her katman bağımsız eğitildiğinden gradyanın tüm ağdan geçmesi gerekmez.
  • check_circle RBM ile DBN nasıl ilişkilidir? DBN, birden fazla RBM'nin hiyerarşik olarak üst üste yığılmasıyla oluşur. Her RBM bir katman çifti (görünür-gizli) oluşturur; alt RBM'nin gizli katmanı üst RBM'nin görünür katmanı olur.