Hopfield Network (Hopfield Ağı)
Hopfield Ağı, 1982 yılında fizikçi John Hopfield tarafından geliştirilen ve biyolojik bellek mekanizmalarından ilham alan tekrarlayan bir yapay sinir ağı mimarisidir. Bu ağın temel özelliği, belirli örüntüleri kalıcı durum olarak saklayabilmesi ve gürültülü ya da eksik bir girdi aldığında bu örüntüleri doğru biçimde geri çağırabilmesidir.
Ağ, birbirine tamamen bağlı nöronlardan oluşur ve bağlantı ağırlıkları simetriktir. Bu yapısal özellik, ağın davranışını bir Lyapunov enerji fonksiyonuyla tanımlamayı mümkün kılar. Sistemin her durumu bu enerji yüzeyindeki bir noktaya karşılık gelir; nöronların adım adım güncellenmesi süreci enerjiyi monoton biçimde azaltır. Sonunda ağ, enerji yüzeyinin yerel bir minimumuna, yani bir çekim noktasına (attractor) ulaşarak kararlı bir durumda durur. Depolanan her örüntü böyle bir çekim noktasına karşılık gelir.
Klasik Hopfield Ağı'nda nöronlar ikili değerler (±1) alır ve Hebbian öğrenme kuralıyla eğitilir. Depolama kapasitesi nöron sayısının (N) yaklaşık 0,14 katıyla sınırlıdır; bu da büyük ölçekli uygulamalarda ciddi bir kısıtlamadır. Kapasite aşıldığında aralarındaki örüntülerin karışımı olan sahte çekim noktaları (spurious attractors) ortaya çıkar.
2020 yılında Ramsauer ve ekibinin yayımladığı "Hopfield Networks is All You Need" makalesi modern Hopfield Ağları kavramını gündeme taşıdı. Modern versiyonda enerji fonksiyonu yeniden tasarlanarak güncelleme kuralı softmax fonksiyonuna dönüştürülmüş; bu sayede depolama kapasitesi üstel biçimde artırılmıştır. Dahası, modern Hopfield güncelleme kuralının Transformer mimarisindeki öz-dikkat (self-attention) mekanizmasıyla matematiksel olarak eşdeğer olduğu kanıtlanmıştır. Bu bağlantı, dikkat mekanizmalarına bellek tabanlı bir yorum getirerek derin öğrenme teorisine önemli katkılar sağlar.
2024 yılında John Hopfield, bu çalışmalar nedeniyle Geoffrey Hinton ile birlikte Nobel Fizik Ödülü'nü kazanmıştır; ödül, yapay sinir ağlarına ilişkin fizik temelli temel keşiflerin resmi kabulüdür.