tag AdversarialML
Adversarial Examples (Düşmanca Örnekler)
Bu sayfada AdversarialML (Adversarial Examples (Düşmanca Örnekler)) etiketi ile işaretlenmiş 3 yapay zeka kavramını bulabilirsiniz.
Adversarial Examples (Düşmanca Örnekler), derin öğrenme modellerinin karar sınırlarındaki kırılgan noktaları istismar etmek amacıyla orijinal giriş verisine matematiksel olarak hesaplanmış küçük ama kasıtlı pertürbasyonlar eklenerek oluşturulan ve modelin yanlış sınıflandırma yapmasına ya da beklenmedik çıktı üretmesine yol açan özel saldırı girdileridir. Pertürbasyonlar çoğunlukla insan algı eşiğinin altında kalır; başka bir deyişle değiştirilmiş görüntü ya da metin insana özgün ile özdeş görünür, ancak model bunu tamamen farklı bir sınıf olarak sınıflandırır. Ian Goodfellow, Jonathon Shlens ve Christian Szegedy 2014 yılında yayımladıkları 'Explaining and Harnessing Adversarial Examples' başlıklı seminal çalışmada, Fast Gradient Sign Method (FGSM) ile herhangi bir görüntü üzerinde modelin kaybının gradyanı yönünde epsilon büyüklüğünde tek adımlık bir güncellemenin modeli yanıltmaya yettiğini gösterdi. Bu keşif, saldırı-savunma silahlanma yarışının fitilini ateşledi. Saldırı türleri iki temel eksende ayrılır. Gradient tabanlı beyaz kutu (white-box) saldırılar modelin ağırlıklarına tam erişimle çalışır: FGSM tek adımlı ve hızlıdır; Projected Gradient Descent (PGD) yinelemeli ve çok daha güçlüdür; Carlini & Wagner (C&W) en küçük pertürbasyon normuyla en yüksek yanıltma başarısını hedefler. Siyah kutu (black-box) saldırılar ise yalnızca model çıktısına erişimle tahmin saldırısı yapar; adversarial pertürbasyonların modeller arasında aktarılabilirliği (transferability) bu saldırıları pratikte tehlikeli kılar. Savunma yöntemlerinin başında adversarial training gelir: modeli adversarial örnekler de dahil edilerek yeniden eğitmek, bilinen saldırılara karşı dayanıklılığı artırır, ancak daha güçlü yeni saldırılara karşı yeterli olmayabilir. Certified defense yaklaşımları (Randomized Smoothing, interval bound propagation) matematiksel olarak kanıtlanmış dayanıklılık garantisi sunar; input preprocessing, feature squeezing ve detection-based yöntemler de kullanılan katmanlı savunma stratejileri arasındadır. Adversarial Examples artık sadece görüntü sınıflandırmasında değil, LLM jailbreak'inde, konuşma tanıma sistemlerinde, nesne tespitinde ve otonom araç algı sistemlerinde doğrudan güvenlik tehdidi oluşturmaktadır. NIST AI RMF ve AB Yapay Zeka Kanunu bu tür saldırılara karşı dayanıklılık gerekliliklerini çerçeveleyen düzenleyici belgeler arasındadır.
Adversarial Examples (Düşmanca Örnekler)
Adversarial Examples (Düşmanca Örnekler), derin öğrenme modellerinin karar sınırlarındaki kırılgan noktaları istismar etmek amacıyla orijinal giriş verisine matematiksel olarak hesaplanmış küçük ama kasıtlı pertürbasyonlar eklenerek oluşturulan ve modelin yanlış sınıflandırma yapmasına ya da beklenmedik çıktı üretmesine yol açan özel saldırı girdileridir. Pertürbasyonlar çoğunlukla insan algı eşiğinin altında kalır; başka bir deyişle değiştirilmiş görüntü ya da metin insana özgün ile özdeş görünür, ancak model bunu tamamen farklı bir sınıf olarak sınıflandırır. Ian Goodfellow, Jonathon Shlens ve Christian Szegedy 2014 yılında yayımladıkları 'Explaining and Harnessing Adversarial Examples' başlıklı seminal çalışmada, Fast Gradient Sign Method (FGSM) ile herhangi bir görüntü üzerinde modelin kaybının gradyanı yönünde epsilon büyüklüğünde tek adımlık bir güncellemenin modeli yanıltmaya yettiğini gösterdi. Bu keşif, saldırı-savunma silahlanma yarışının fitilini ateşledi. Saldırı türleri iki temel eksende ayrılır. Gradient tabanlı beyaz kutu (white-box) saldırılar modelin ağırlıklarına tam erişimle çalışır: FGSM tek adımlı ve hızlıdır; Projected Gradient Descent (PGD) yinelemeli ve çok daha güçlüdür; Carlini & Wagner (C&W) en küçük pertürbasyon normuyla en yüksek yanıltma başarısını hedefler. Siyah kutu (black-box) saldırılar ise yalnızca model çıktısına erişimle tahmin saldırısı yapar; adversarial pertürbasyonların modeller arasında aktarılabilirliği (transferability) bu saldırıları pratikte tehlikeli kılar. Savunma yöntemlerinin başında adversarial training gelir: modeli adversarial örnekler de dahil edilerek yeniden eğitmek, bilinen saldırılara karşı dayanıklılığı artırır, ancak daha güçlü yeni saldırılara karşı yeterli olmayabilir. Certified defense yaklaşımları (Randomized Smoothing, interval bound propagation) matematiksel olarak kanıtlanmış dayanıklılık garantisi sunar; input preprocessing, feature squeezing ve detection-based yöntemler de kullanılan katmanlı savunma stratejileri arasındadır. Adversarial Examples artık sadece görüntü sınıflandırmasında değil, LLM jailbreak'inde, konuşma tanıma sistemlerinde, nesne tespitinde ve otonom araç algı sistemlerinde doğrudan güvenlik tehdidi oluşturmaktadır. NIST AI RMF ve AB Yapay Zeka Kanunu bu tür saldırılara karşı dayanıklılık gerekliliklerini çerçeveleyen düzenleyici belgeler arasındadır.
Model İnversion (Model İnversion Saldırısı)
Model inversion (model ters mühendisliği), bir makine öğrenimi modelinin çıktılarını analiz ederek orijinal eğitim verilerini yeniden oluşturmayı hedefleyen bir mahremiyet saldırısıdır. Saldırgan, güven skorlarını, sınıflandırma olasılıklarını veya gradyanları yinelemeli sorgu stratejileriyle işleyerek eğitim kümesindeki hassas bilgilere yaklaşır. İlk sistematik tanımı 2015 yılında Fredrikson ve ekibi tarafından gerçekleştirilmiştir. Araştırmacılar, bir farmakokinetik modeli tekrar tekrar sorgulayarak hastaya özgü genetik verileri başarıyla yeniden üretmiştir; aynı yöntemle yüz tanıma sistemlerinden bireylerin fotoğrafları sentezlenmiştir. Saldırının iki ana varyantı bulunur. Beyaz kutu (white-box) saldırısında saldırgan model ağırlıklarına ve mimarisine tam erişime sahiptir; gradyan tabanlı optimizasyon doğrudan uygulanarak eğitim verisine en yakın örnekler üretilir. Siyah kutu (black-box) saldırısında ise yalnızca API çıktısı kullanılır; Mirror Attack ve GAN destekli yöntemler yinelemeli sorgu yanıtlarını işleyerek veri dağılımını öğrenir. Yüksek riskli uygulama alanları arasında tıbbi görüntüleme sistemleri, biyometrik tanıma yazılımları ve kredi risk modelleri öne çıkmaktadır. Bu sistemlerde başarılı bir saldırı KVKK ve GDPR kapsamında ciddi ihlallere yol açabilir. Savunma stratejileri dört ana yöntemle özetlenir: (1) Diferansiyel gizlilik — model çıktılarına kalibreli Gaussian gürültüsü eklenerek hassas olasılık değerleri gizlenir; (2) Çıktı kısıtlama — yalnızca en yüksek olasılıklı etiket döndürülür, güven skoru paylaşılmaz; (3) Bilgi damıtma (knowledge distillation) — ham model yerine daha az bilgi sızdıran damıtılmış model servis edilir; (4) Adversarial regularization — eğitim sürecine ters mühendislik direnci eklenebilir. Avrupa Birliği Yapay Zeka Yasası, yüksek riskli AI sistemlerinde model inversion testini düzenleyici çerçeve içine dahil etmiştir.
Model Inversion Attack (Model Tersine Mühendislik Saldırısı)
Model tersine mühendislik saldırısı (model inversion attack), bir makine öğrenimi modelinin eğitim verilerindeki hassas bilgileri, modelin tahminleri veya güven puanları aracılığıyla yeniden oluşturmayı hedefleyen bir gizlilik saldırısıdır. Saldırgan, modele sistematik sorgular göndererek elde ettiği çıktıları analiz eder ve bu çıktılardan geriye doğru çalışarak orijinal eğitim verilerini yaklaşık olarak tahmin etmeye çalışır. Bu saldırı türü, 2015 yılında Matthew Fredrikson ve ekibinin yayımladığı araştırmayla gündeme gelmiştir. Fredrikson, bir ilaç tavsiye sistemini hedef alan çalışmasında hastaların genomik profillerini yalnızca model çıktılarını gözlemleyerek kısmen yeniden oluşturabilmiştir. Aynı ekip daha sonraki çalışmalarında yüz tanıma modellerinden gerçek yüz görüntülerini geri kazanmayı başarmıştır. Saldırılar iki ana kategoride değerlendirilir. Beyaz-kutu (white-box) saldırılarında saldırgan model ağırlıklarına ve gradyanlarına doğrudan erişebilir; bu durum saldırıyı çok daha etkili kılar. Siyah-kutu (black-box) saldırılarında ise saldırgan yalnızca modele sorgu atabilir ve tahmin ile güven skoru alabilir; bu senaryo gerçek dünya koşullarını daha iyi yansıtır. Saldırının temel mekanizması gradyan bazlı optimizasyona dayanır: Saldırgan, modelin hedef sınıfa en yüksek güveni vermesini sağlayan girdiyi arayarak adım adım yaklaşık bir eğitim örneği oluşturur. Generative model inversion olarak adlandırılan gelişmiş varyantlarda ise GAN veya diffusion modeller yardımıyla daha gerçekçi gizli veriler üretilmektedir. Savunma yöntemleri arasında diferansiyel gizlilik (model çıktılarına istatistiksel gürültü ekleme), çıktı kısıtlama (yalnızca ham güven skoru yerine sınıf etiketi döndürme), bilgi damıtma ve gizlilik farkında eğitim sayılabilir. Sağlık, finans ve biyometrik kimlik doğrulama alanlarında bu saldırılara karşı sistematik savunma mekanizmaları oluşturmak kritik önem taşımaktadır.