tag HopfieldNetwork

Bu sayfada HopfieldNetwork etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

Hopfield ağı, Nobel ödüllü fizikçi John Hopfield tarafından 1982 yılında önerilen ve çekici dinamikler (attractor dynamics) temelinde çalışan tekrarlayan sinir ağı mimarisidir. Biyolojik bellekten ilham alan bu model, enerji minimizasyonu prensibiyle bozulmuş ya da eksik girdi kalıplarını önceden depolanmış tam kalıplardan birine yakınsatabilir. Bu özellik onu içerik adreslenebilir bellek (content-addressable memory) sistemleri için doğal ve güçlü bir hesaplama çerçevesi haline getirir. Klasik Hopfield ağında nöronlar ikili durumlu (+1 veya -1) ve tam bağlantılıdır; her nöron diğer tüm nöronlarla bağlantı kurar, ancak kendisiyle bağlantı kurmaz. Ağırlık matrisi Hebian öğrenme kuralıyla belirlenir: her depolanmak istenen kalıp için dış çarpım (outer product) ağırlık matrisine eklenir. Sistemin enerji fonksiyonu E = -½ΣΣW_ij s_i s_j formülüyle ifade edilir. Asenkron güncelleme kuralı her adımda enerjiyi azaltır ve sistem sonunda yerel bir minimuma (çekim noktasına) yakınsar. N nöronlu klasik bir Hopfield ağı yaklaşık 0.14×N kalıp depolayabilir; bu kapasite sınırı aşıldığında depolanmamış sahte anılar (spurious memories) ortaya çıkabilir ve geri çağırma performansı bozulabilir. 2016 ve 2020 yıllarında Ramsauer ve diğerleri tarafından geliştirilen Modern Hopfield Ağları, depolama kapasitesini üstel düzeye taşımıştır. Daha da çarpıcı olan bulgu şudur: modern Hopfield ağının tek adım güncelleme kuralı, Transformer mimarisindeki softmax dikkat (attention) mekanizmasıyla matematiksel olarak tam anlamıyla eşdeğerdir. Bu keşif Hopfield ağlarını teorik açıdan yeniden güncel kılmış ve derin öğrenme yorumlanabilirliği araştırmalarına yeni bir boyut katmıştır. Hopfield ağları biyolojik sinirsel süreçlerin modellenmesi, kombinatoryal optimizasyon (gezgin satıcı problemi gibi), protein işlev sınıflandırması ve immünolojik veri analizi gibi alanlarda uygulanmaktadır. John Hopfield, bu katkıları nedeniyle Geoffrey Hinton ile birlikte 2024 Nobel Fizik ödülüne layık görülmüştür.

memory

Hopfield Network (Hopfield Ağı)

Hopfield ağı, Nobel ödüllü fizikçi John Hopfield tarafından 1982 yılında önerilen ve çekici dinamikler (attractor dynamics) temelinde çalışan tekrarlayan sinir ağı mimarisidir. Biyolojik bellekten ilham alan bu model, enerji minimizasyonu prensibiyle bozulmuş ya da eksik girdi kalıplarını önceden depolanmış tam kalıplardan birine yakınsatabilir. Bu özellik onu içerik adreslenebilir bellek (content-addressable memory) sistemleri için doğal ve güçlü bir hesaplama çerçevesi haline getirir. Klasik Hopfield ağında nöronlar ikili durumlu (+1 veya -1) ve tam bağlantılıdır; her nöron diğer tüm nöronlarla bağlantı kurar, ancak kendisiyle bağlantı kurmaz. Ağırlık matrisi Hebian öğrenme kuralıyla belirlenir: her depolanmak istenen kalıp için dış çarpım (outer product) ağırlık matrisine eklenir. Sistemin enerji fonksiyonu E = -½ΣΣW_ij s_i s_j formülüyle ifade edilir. Asenkron güncelleme kuralı her adımda enerjiyi azaltır ve sistem sonunda yerel bir minimuma (çekim noktasına) yakınsar. N nöronlu klasik bir Hopfield ağı yaklaşık 0.14×N kalıp depolayabilir; bu kapasite sınırı aşıldığında depolanmamış sahte anılar (spurious memories) ortaya çıkabilir ve geri çağırma performansı bozulabilir. 2016 ve 2020 yıllarında Ramsauer ve diğerleri tarafından geliştirilen Modern Hopfield Ağları, depolama kapasitesini üstel düzeye taşımıştır. Daha da çarpıcı olan bulgu şudur: modern Hopfield ağının tek adım güncelleme kuralı, Transformer mimarisindeki softmax dikkat (attention) mekanizmasıyla matematiksel olarak tam anlamıyla eşdeğerdir. Bu keşif Hopfield ağlarını teorik açıdan yeniden güncel kılmış ve derin öğrenme yorumlanabilirliği araştırmalarına yeni bir boyut katmıştır. Hopfield ağları biyolojik sinirsel süreçlerin modellenmesi, kombinatoryal optimizasyon (gezgin satıcı problemi gibi), protein işlev sınıflandırması ve immünolojik veri analizi gibi alanlarda uygulanmaktadır. John Hopfield, bu katkıları nedeniyle Geoffrey Hinton ile birlikte 2024 Nobel Fizik ödülüne layık görülmüştür.

arrow_forward