tag differential-privacy
Bu sayfada differential-privacy etiketi ile işaretlenmiş 3 yapay zeka kavramını bulabilirsiniz.
Diferansiyel Gizlilik (Differential Privacy), bir veri kümesi üzerinde yapılan sorguların veya istatistiksel hesaplamaların sonuçlarının, veri kümesindeki herhangi bir bireyin varlığından veya yokluğundan istatistiksel olarak ayırt edilemez hale gelmesini sağlayan matematiksel bir gizlilik çerçevesidir. 2006 yılında Cynthia Dwork tarafından formüle edilen bu yöntem, bireysel gizlilik güvencesi ile veri kullanışlılığını matematiksel olarak dengeler. Temel fikir, bir mekanizmanın çıktısına kontrollü miktarda rastgele gürültü ekleyerek bireysel veri noktalarının sorgularda iz bırakmasını önlemektir. Epsilon (ε) parametresi gizlilik bütçesini temsil eder: ε değeri küçüldükçe gizlilik artar ancak yanıtın doğruluğu azalır; ε büyüdükçe ise yanıtın doğruluğu artar ancak gizlilik zayıflar. Bu ödünleşim, uygulamanın gereksinimlerine göre dikkatle ayarlanmak zorundadır. İki ana varyant mevcuttur: Merkezi Diferansiyel Gizlilik (Central DP), güvenilir bir koordinatörün ham veriyi toplayıp gürültüyü merkezi olarak eklediği modeli kullanırken; Yerel Diferansiyel Gizlilik (Local DP) gürültünün her kullanıcının cihazında verisi sunucuya gönderilmeden önce eklendiği modeli benimser. Local DP, özellikle güvenilir bir merkezi tarafın bulunmadığı mobil ve IoT senaryolarında tercih edilir. Apple ve Google, iOS klavye ve Android telemetri verilerinde yerel diferansiyel gizliliği uygulamaktadır. ABD Nüfus Sayımı Bürosu, 2020 sayımında merkezi diferansiyel gizlilik kullandı. Yapay zeka dünyasında ise diferansiyel gizlilik, özellikle derin öğrenme modellerinin eğitiminde gizlilik koruyucu bir teknik olarak yerini sağlamlaştırmıştır; bu yaklaşım DP-SGD (Differentially Private Stochastic Gradient Descent) olarak bilinmektedir.
Differential Privacy (Diferansiyel Gizlilik)
Diferansiyel Gizlilik (Differential Privacy), bir veri kümesi üzerinde yapılan sorguların veya istatistiksel hesaplamaların sonuçlarının, veri kümesindeki herhangi bir bireyin varlığından veya yokluğundan istatistiksel olarak ayırt edilemez hale gelmesini sağlayan matematiksel bir gizlilik çerçevesidir. 2006 yılında Cynthia Dwork tarafından formüle edilen bu yöntem, bireysel gizlilik güvencesi ile veri kullanışlılığını matematiksel olarak dengeler. Temel fikir, bir mekanizmanın çıktısına kontrollü miktarda rastgele gürültü ekleyerek bireysel veri noktalarının sorgularda iz bırakmasını önlemektir. Epsilon (ε) parametresi gizlilik bütçesini temsil eder: ε değeri küçüldükçe gizlilik artar ancak yanıtın doğruluğu azalır; ε büyüdükçe ise yanıtın doğruluğu artar ancak gizlilik zayıflar. Bu ödünleşim, uygulamanın gereksinimlerine göre dikkatle ayarlanmak zorundadır. İki ana varyant mevcuttur: Merkezi Diferansiyel Gizlilik (Central DP), güvenilir bir koordinatörün ham veriyi toplayıp gürültüyü merkezi olarak eklediği modeli kullanırken; Yerel Diferansiyel Gizlilik (Local DP) gürültünün her kullanıcının cihazında verisi sunucuya gönderilmeden önce eklendiği modeli benimser. Local DP, özellikle güvenilir bir merkezi tarafın bulunmadığı mobil ve IoT senaryolarında tercih edilir. Apple ve Google, iOS klavye ve Android telemetri verilerinde yerel diferansiyel gizliliği uygulamaktadır. ABD Nüfus Sayımı Bürosu, 2020 sayımında merkezi diferansiyel gizlilik kullandı. Yapay zeka dünyasında ise diferansiyel gizlilik, özellikle derin öğrenme modellerinin eğitiminde gizlilik koruyucu bir teknik olarak yerini sağlamlaştırmıştır; bu yaklaşım DP-SGD (Differentially Private Stochastic Gradient Descent) olarak bilinmektedir.
Model Inversion Attack (Model Tersine Mühendislik Saldırısı)
Model tersine mühendislik saldırısı (model inversion attack), bir makine öğrenimi modelinin eğitim verilerindeki hassas bilgileri, modelin tahminleri veya güven puanları aracılığıyla yeniden oluşturmayı hedefleyen bir gizlilik saldırısıdır. Saldırgan, modele sistematik sorgular göndererek elde ettiği çıktıları analiz eder ve bu çıktılardan geriye doğru çalışarak orijinal eğitim verilerini yaklaşık olarak tahmin etmeye çalışır. Bu saldırı türü, 2015 yılında Matthew Fredrikson ve ekibinin yayımladığı araştırmayla gündeme gelmiştir. Fredrikson, bir ilaç tavsiye sistemini hedef alan çalışmasında hastaların genomik profillerini yalnızca model çıktılarını gözlemleyerek kısmen yeniden oluşturabilmiştir. Aynı ekip daha sonraki çalışmalarında yüz tanıma modellerinden gerçek yüz görüntülerini geri kazanmayı başarmıştır. Saldırılar iki ana kategoride değerlendirilir. Beyaz-kutu (white-box) saldırılarında saldırgan model ağırlıklarına ve gradyanlarına doğrudan erişebilir; bu durum saldırıyı çok daha etkili kılar. Siyah-kutu (black-box) saldırılarında ise saldırgan yalnızca modele sorgu atabilir ve tahmin ile güven skoru alabilir; bu senaryo gerçek dünya koşullarını daha iyi yansıtır. Saldırının temel mekanizması gradyan bazlı optimizasyona dayanır: Saldırgan, modelin hedef sınıfa en yüksek güveni vermesini sağlayan girdiyi arayarak adım adım yaklaşık bir eğitim örneği oluşturur. Generative model inversion olarak adlandırılan gelişmiş varyantlarda ise GAN veya diffusion modeller yardımıyla daha gerçekçi gizli veriler üretilmektedir. Savunma yöntemleri arasında diferansiyel gizlilik (model çıktılarına istatistiksel gürültü ekleme), çıktı kısıtlama (yalnızca ham güven skoru yerine sınıf etiketi döndürme), bilgi damıtma ve gizlilik farkında eğitim sayılabilir. Sağlık, finans ve biyometrik kimlik doğrulama alanlarında bu saldırılara karşı sistematik savunma mekanizmaları oluşturmak kritik önem taşımaktadır.
Membership Inference Attack (Membership Inference Attack (Üyelik Çıkarım Saldırısı))
Membership Inference Attack (Üyelik Çıkarım Saldırısı), bir makine öğrenimi modelinin eğitim kümesinde belirli bir veri kaydının yer alıp almadığını belirlemeye çalışan bir gizlilik saldırısı türüdür. Bu saldırı, modelin eğitim verisine karşı genellikle aşırı uyum (overfitting) sergilemesi ve eğitim örneklerini görülmemiş örneklerden farklı işlemesi olgusuna dayanır. Teknik 2017 yılında Shokri ve arkadaşları tarafından "Membership Inference Attacks Against Machine Learning Models" başlıklı çalışmada sistematik biçimde tanımlandı. Saldırgan bir "shadow model" (gölge model) eğiterek hedef modelin davranışını taklit eder ve bu sayede eğitim/test ayrımını öğrenen bir "attack model" oluşturur. Hedef modelin yüksek güven ile döndürdüğü tahminler genellikle eğitim üyesi işaretinin taşıyıcısıdır. Saldırının pratik anlamı son derece büyüktür. Tıbbi veritabanlarından eğitilen bir modele karşı yapılan üyelik çıkarımı, belirli bir hastanın o veritabanında kayıtlı olup olmadığını açığa çıkarabilir. Finansal ve hukuki verilerde benzer risklere yol açar. Kullanıcı verisinin modele katılımı aynı zamanda GDPR kapsamında "kişisel veri işleme" sayılabilmekte, bu durum üyelik çıkarım açığını bir yasal yükümlülük haline getirmektedir. Savunma yöntemleri arasında Differential Privacy (DP-SGD) en güçlü teorik garanti sağlar: eğitim algoritması, herhangi bir tekil örneğin modele katkısını matematiksel olarak sınırlandırır. L2 regularizasyon ve dropout gibi overfitting azaltma teknikleri dolaylı savunma sağlar. Model confidences'ı yumuşatan temperature calibration ve prediction API'lerinde olasılık vektörü yerine yalnızca top-1 sınıf döndürme de riski azaltır. Membership inference, makine öğrenimi gizlilik araştırmalarının en aktif kollarından birini oluşturmaktadır. Federated learning ve secure multi-party computation bu saldırıya karşı ek güvence sunan alternatif eğitim paradigmalarıdır.