tag FedereÖğrenme
Bu sayfada FedereÖğrenme etiketi ile işaretlenmiş 3 yapay zeka kavramını bulabilirsiniz.
Hypernetwork, başka bir sinir ağının (ana ağın) ağırlıklarını dinamik olarak üreten küçük bir yardımcı sinir ağıdır. 2016 yılında David Ha, Andrew Dai ve Quoc Le tarafından önerilen ve ICLR 2017 konferansında yayımlanan bu mimari, geleneksel derin öğrenmede sabit tutulan model parametrelerini koşullamaya duyarlı biçimde üretmeyi mümkün kılar. Klasik derin öğrenmede her katmanın ağırlıkları geri yayılım (backpropagation) ile öğrenilir ve eğitim tamamlandığında değişmez hale gelir. Hypernetwork yaklaşımında iki bileşenli bir yapı kullanılır: küçük hiper ağ, bir koşullama girdisi (görev kimliği, stil vektörü, gizli durum vb.) alarak ana ağın belirli katmanlarına ait ağırlık matrislerini hesaplar. Ana ağ bu ağırlıkları doğrudan kullanır; farklı koşullamalar için farklı parametre setleri anında elde edilir. Eğitim sırasında her iki ağ da aynı anda optimize edilir ve gradyanlar hem ana ağın kayıp fonksiyonundan hem de hiper ağ çıktısından hesaplanır. Bu mimari, çok sayıda görevi tek bir model çatısı altında toplamaya imkân tanır. Hiper ağ farklı koşullamalar için parametreler ürettiğinden milyonlarca parametreyi ayrı ayrı ezberlemek yerine üretme yolu tercih edilir; bu da parametre verimliliğini önemli ölçüde artırır. Modern derin öğrenmede hypernetwork kavramı, LoRA (Low-Rank Adaptation) gibi parametre etkin ince ayar teknikleriyle kavramsal açıdan yakın ilişkidedir. LoRA'nın delta ağırlıklarını düşük ranklı çarpanlara ayırması, bir hypernetwork'ün kompakt bir gizli vektörden ağırlık üretmesiyle örtüşen bir yaklaşımdır. Nöral mimari arama (NAS) uygulamalarında hiper ağ, farklı mimari konfigürasyonların ağırlıklarını paylaşarak büyük arama uzaylarını hızla değerlendirmeye yarar. 2023 yılından itibaren çok modlu (multimodal) sistemlerde de kullanım alanı genişleyen hypernetwork mimarisi, görüntü koşullamasıyla metin üreticinin parametre davranışının anlık olarak değiştirilebildiği modellerin temelini oluşturmaktadır. Bu yapı; meta-öğrenme, federe öğrenme ve sürekli öğrenme alanlarında güçlü sonuçlar vermektedir. Özellikle birden fazla görevi tek bir model mimarisinde yönetmek, hızlı adaptasyon ve görevler arası bilgi paylaşımı gerektiren uygulamalarda hypernetwork yaklaşımı araştırmacılar tarafından değerli bir araç olarak görülmektedir.
Hypernetwork (Hiper Ağ)
Hypernetwork, başka bir sinir ağının (ana ağın) ağırlıklarını dinamik olarak üreten küçük bir yardımcı sinir ağıdır. 2016 yılında David Ha, Andrew Dai ve Quoc Le tarafından önerilen ve ICLR 2017 konferansında yayımlanan bu mimari, geleneksel derin öğrenmede sabit tutulan model parametrelerini koşullamaya duyarlı biçimde üretmeyi mümkün kılar. Klasik derin öğrenmede her katmanın ağırlıkları geri yayılım (backpropagation) ile öğrenilir ve eğitim tamamlandığında değişmez hale gelir. Hypernetwork yaklaşımında iki bileşenli bir yapı kullanılır: küçük hiper ağ, bir koşullama girdisi (görev kimliği, stil vektörü, gizli durum vb.) alarak ana ağın belirli katmanlarına ait ağırlık matrislerini hesaplar. Ana ağ bu ağırlıkları doğrudan kullanır; farklı koşullamalar için farklı parametre setleri anında elde edilir. Eğitim sırasında her iki ağ da aynı anda optimize edilir ve gradyanlar hem ana ağın kayıp fonksiyonundan hem de hiper ağ çıktısından hesaplanır. Bu mimari, çok sayıda görevi tek bir model çatısı altında toplamaya imkân tanır. Hiper ağ farklı koşullamalar için parametreler ürettiğinden milyonlarca parametreyi ayrı ayrı ezberlemek yerine üretme yolu tercih edilir; bu da parametre verimliliğini önemli ölçüde artırır. Modern derin öğrenmede hypernetwork kavramı, LoRA (Low-Rank Adaptation) gibi parametre etkin ince ayar teknikleriyle kavramsal açıdan yakın ilişkidedir. LoRA'nın delta ağırlıklarını düşük ranklı çarpanlara ayırması, bir hypernetwork'ün kompakt bir gizli vektörden ağırlık üretmesiyle örtüşen bir yaklaşımdır. Nöral mimari arama (NAS) uygulamalarında hiper ağ, farklı mimari konfigürasyonların ağırlıklarını paylaşarak büyük arama uzaylarını hızla değerlendirmeye yarar. 2023 yılından itibaren çok modlu (multimodal) sistemlerde de kullanım alanı genişleyen hypernetwork mimarisi, görüntü koşullamasıyla metin üreticinin parametre davranışının anlık olarak değiştirilebildiği modellerin temelini oluşturmaktadır. Bu yapı; meta-öğrenme, federe öğrenme ve sürekli öğrenme alanlarında güçlü sonuçlar vermektedir. Özellikle birden fazla görevi tek bir model mimarisinde yönetmek, hızlı adaptasyon ve görevler arası bilgi paylaşımı gerektiren uygulamalarda hypernetwork yaklaşımı araştırmacılar tarafından değerli bir araç olarak görülmektedir.
Secure Multi-Party Computation (Güvenli Çok Taraflı Hesaplama)
Secure Multi-Party Computation (MPC veya SMPC), iki ya da daha fazla tarafın kendi özel girdilerini birbirine açıklamadan ortak bir fonksiyonu birlikte hesaplamasına olanak tanıyan kriptografik protokoller ailesidir. 1982'de Andrew Yao'nun milyoner problemi adıyla tanımladığı düşünce deneyinden doğan bu kavram, bugün yapay zeka ve gizliliği koruyan veri analizinin temel taşlarından biri haline gelmiştir. Temel çalışma mantığı şöyledir: her katılımcı kendi girdisini matematiksel parçalara böler ve bu parçaları diğer taraflara dağıtır. Hesaplama bu şifreli parçalar üzerinde gerçekleşir. Son aşamada taraflar yalnızca nihai sonucu öğrenir; birbirlerinin ham girdilerini hiçbir zaman göremez. Bu özellik, birden fazla rakip kurumun veya kişinin gizlilikten ödün vermeden iş birliği yapmasına zemin hazırlar. En yaygın iki protokol yaklaşımı bulunmaktadır. Garbled Circuits (Karışık Devreler) yönteminde hesaplanacak fonksiyon bir mantık devresi olarak ifade edilir; kapılar şifrelenerek diğer tarafa iletilir. Alıcı, oblivious transfer protokolü aracılığıyla yalnızca kendi girdisine karşılık gelen şifreli çıktıları alır ve devreyi sonuca ulaşacak şekilde değerlendirir. Secret Sharing (Gizli Paylaşım) yönteminde ise Shamir'in eşik şeması gibi matematiksel yapılar kullanılarak girdiler parçalara ayrılır; toplama ve çarpma işlemleri bu şifreli paylar üzerinde gerçekleştirilir. Makine öğrenmesinde SMPC iki kritik sorunu çözer. Ortak model eğitiminde farklı hastaneler, bankalar veya araştırma kurumları verilerini paylaşmadan ortak bir model eğitebilir; hasta mahremiyeti ve yasal kısıtlamalar çiğnenmez. Gizli çıkarım (private inference) senaryosunda kullanıcı sorgusu şifreli olarak modele gönderilirken şirket model ağırlıklarını hiç açıklamaz; her iki taraf da birbirinin sırrını öğrenmeden sonuca ulaşır. Facebook AI Research'ün CRYPTEN kütüphanesi PyTorch üzerine inşa edilmiş olup bu protokolleri araştırmacılara erişilebilir kılmaktadır. Güvenlik modelleri açısından yarı-dürüst (honest-but-curious) model protokolün kurallara uygun izlendiğini varsayar; kötü niyetli model ise sıfır bilgi ispatlarıyla doğrulama ekleyerek protokolden sapma olasılığını bertaraf eder. Protokollerin hesaplama yükü düz metin işlemeye kıyasla 10-1000 kat daha fazla olabilir; ancak donanım hızlandırma ve optimizasyonlarla bu fark giderek kapanmaktadır.
Veri Güvenliği (AI Bağlamında)
Veri güvenliği, yapay zeka sistemlerinin eğitim, çıkarım ve dağıtım süreçlerinde kullanılan verilerin yetkisiz erişim, sızıntı, bozulma veya kötüye kullanıma karşı korunmasına yönelik teknik ve organizasyonel önlemlerin bütünüdür. Geleneksel siber güvenlik kapsamından farklı olarak AI veri güvenliği, modele özgü saldırı yüzeyleri, eğitim verisi zehirleme ve model çıkarım saldırıları gibi ek tehdit vektörlerini de kapsamaktadır. AI sistemlerinde veri güvenliği üç temel katmanda incelenir. Birinci katman veri toplama ve depolamadır: hassas kişisel veriler, ticari sırlar veya kritik altyapı bilgileri içeren eğitim veri setleri şifreleme, erişim kontrolleri ve anonimleştirme teknikleriyle korunmalıdır. GDPR, KVKK ve CCPA gibi veri koruma düzenlemeleri bu katmanda uygulanır. İkinci katman model eğitimi sürecidir: eğitim verisi zehirleme (data poisoning) saldırılarında kötü niyetli aktörler eğitim setine zararlı örnekler ekleyerek modelin davranışını manipüle edebilir. Federe öğrenme (federated learning), diferansiyel gizlilik (differential privacy) ve güvenli çok taraflı hesaplama (secure multi-party computation) bu tehdide karşı geliştirilmiş teknik çözümlerdir. Üçüncü katman model çıkarımıdır: üye çıkarım saldırıları (membership inference attacks), bir veri noktasının eğitim setinde yer alıp almadığını tahmin etmeye çalışırken model kopyalama (model extraction) saldırıları modelin ağırlıklarını reverse-engineer etmeyi hedefler. Özellikle tıbbi ve finansal veri içeren modellerde bu saldırılar ciddi gizlilik ihlallerine yol açabilir. Homomorfik şifreleme (homomorphic encryption), verilerin şifreli halde işlenmesine olanak tanıyan ileri düzey bir tekniktir; bu sayede model sağlayıcı ham veriyi hiçbir zaman görmez. Federe öğrenme ise ham verinin merkezi bir sunucuya gönderilmesini engelleyerek yerel cihazlarda model güncelleme hesaplamalarının yapılmasına izin verir. AB Yapay Zeka Yasası (EU AI Act), yüksek riskli AI sistemleri için sıkı veri yönetişimi gereklilikleri öngörmektedir. Bu düzenleme, 2026 itibarıyla eğitim verisi kalitesi, belgeleme ve denetim izlerine yönelik zorunluluklar getirmektedir.