tag model dayanıklılığı
Adversarial Examples (Düşmanca Örnekler)
Bu sayfada model dayanıklılığı (Adversarial Examples (Düşmanca Örnekler)) etiketi ile işaretlenmiş 2 yapay zeka kavramını bulabilirsiniz.
Adversarial Examples (Düşmanca Örnekler), derin öğrenme modellerinin karar sınırlarındaki kırılgan noktaları istismar etmek amacıyla orijinal giriş verisine matematiksel olarak hesaplanmış küçük ama kasıtlı pertürbasyonlar eklenerek oluşturulan ve modelin yanlış sınıflandırma yapmasına ya da beklenmedik çıktı üretmesine yol açan özel saldırı girdileridir. Pertürbasyonlar çoğunlukla insan algı eşiğinin altında kalır; başka bir deyişle değiştirilmiş görüntü ya da metin insana özgün ile özdeş görünür, ancak model bunu tamamen farklı bir sınıf olarak sınıflandırır. Ian Goodfellow, Jonathon Shlens ve Christian Szegedy 2014 yılında yayımladıkları 'Explaining and Harnessing Adversarial Examples' başlıklı seminal çalışmada, Fast Gradient Sign Method (FGSM) ile herhangi bir görüntü üzerinde modelin kaybının gradyanı yönünde epsilon büyüklüğünde tek adımlık bir güncellemenin modeli yanıltmaya yettiğini gösterdi. Bu keşif, saldırı-savunma silahlanma yarışının fitilini ateşledi. Saldırı türleri iki temel eksende ayrılır. Gradient tabanlı beyaz kutu (white-box) saldırılar modelin ağırlıklarına tam erişimle çalışır: FGSM tek adımlı ve hızlıdır; Projected Gradient Descent (PGD) yinelemeli ve çok daha güçlüdür; Carlini & Wagner (C&W) en küçük pertürbasyon normuyla en yüksek yanıltma başarısını hedefler. Siyah kutu (black-box) saldırılar ise yalnızca model çıktısına erişimle tahmin saldırısı yapar; adversarial pertürbasyonların modeller arasında aktarılabilirliği (transferability) bu saldırıları pratikte tehlikeli kılar. Savunma yöntemlerinin başında adversarial training gelir: modeli adversarial örnekler de dahil edilerek yeniden eğitmek, bilinen saldırılara karşı dayanıklılığı artırır, ancak daha güçlü yeni saldırılara karşı yeterli olmayabilir. Certified defense yaklaşımları (Randomized Smoothing, interval bound propagation) matematiksel olarak kanıtlanmış dayanıklılık garantisi sunar; input preprocessing, feature squeezing ve detection-based yöntemler de kullanılan katmanlı savunma stratejileri arasındadır. Adversarial Examples artık sadece görüntü sınıflandırmasında değil, LLM jailbreak'inde, konuşma tanıma sistemlerinde, nesne tespitinde ve otonom araç algı sistemlerinde doğrudan güvenlik tehdidi oluşturmaktadır. NIST AI RMF ve AB Yapay Zeka Kanunu bu tür saldırılara karşı dayanıklılık gerekliliklerini çerçeveleyen düzenleyici belgeler arasındadır.
Adversarial Examples (Düşmanca Örnekler)
Adversarial Examples (Düşmanca Örnekler), derin öğrenme modellerinin karar sınırlarındaki kırılgan noktaları istismar etmek amacıyla orijinal giriş verisine matematiksel olarak hesaplanmış küçük ama kasıtlı pertürbasyonlar eklenerek oluşturulan ve modelin yanlış sınıflandırma yapmasına ya da beklenmedik çıktı üretmesine yol açan özel saldırı girdileridir. Pertürbasyonlar çoğunlukla insan algı eşiğinin altında kalır; başka bir deyişle değiştirilmiş görüntü ya da metin insana özgün ile özdeş görünür, ancak model bunu tamamen farklı bir sınıf olarak sınıflandırır. Ian Goodfellow, Jonathon Shlens ve Christian Szegedy 2014 yılında yayımladıkları 'Explaining and Harnessing Adversarial Examples' başlıklı seminal çalışmada, Fast Gradient Sign Method (FGSM) ile herhangi bir görüntü üzerinde modelin kaybının gradyanı yönünde epsilon büyüklüğünde tek adımlık bir güncellemenin modeli yanıltmaya yettiğini gösterdi. Bu keşif, saldırı-savunma silahlanma yarışının fitilini ateşledi. Saldırı türleri iki temel eksende ayrılır. Gradient tabanlı beyaz kutu (white-box) saldırılar modelin ağırlıklarına tam erişimle çalışır: FGSM tek adımlı ve hızlıdır; Projected Gradient Descent (PGD) yinelemeli ve çok daha güçlüdür; Carlini & Wagner (C&W) en küçük pertürbasyon normuyla en yüksek yanıltma başarısını hedefler. Siyah kutu (black-box) saldırılar ise yalnızca model çıktısına erişimle tahmin saldırısı yapar; adversarial pertürbasyonların modeller arasında aktarılabilirliği (transferability) bu saldırıları pratikte tehlikeli kılar. Savunma yöntemlerinin başında adversarial training gelir: modeli adversarial örnekler de dahil edilerek yeniden eğitmek, bilinen saldırılara karşı dayanıklılığı artırır, ancak daha güçlü yeni saldırılara karşı yeterli olmayabilir. Certified defense yaklaşımları (Randomized Smoothing, interval bound propagation) matematiksel olarak kanıtlanmış dayanıklılık garantisi sunar; input preprocessing, feature squeezing ve detection-based yöntemler de kullanılan katmanlı savunma stratejileri arasındadır. Adversarial Examples artık sadece görüntü sınıflandırmasında değil, LLM jailbreak'inde, konuşma tanıma sistemlerinde, nesne tespitinde ve otonom araç algı sistemlerinde doğrudan güvenlik tehdidi oluşturmaktadır. NIST AI RMF ve AB Yapay Zeka Kanunu bu tür saldırılara karşı dayanıklılık gerekliliklerini çerçeveleyen düzenleyici belgeler arasındadır.
Adversarial Robustness (Adversarial Dayanıklılık)
Adversarial robustness (adversarial dayanıklılık), bir makine öğrenmesi modelinin kasıtlı olarak hazırlanmış aldatıcı giriş verilerine —adversarial examples— karşı tutarlı ve doğru tahminler üretebilme kapasitesini ifade eder. Bu kavram 2014 yılında Szegedy ve ekibinin sinir ağlarının tuhaf özellikleri üzerine yaptığı çalışmalarla akademik gündemin merkezine girmiş; Goodfellow ve arkadaşlarının 2015'te önerdiği Hızlı Gradyan İşareti Yöntemi (FGSM) ile de temel saldırı protokolü olarak yerleşmiştir. İnsan gözüyle ayırt edilemeyen küçük piksel değişiklikleri, bir görüntü sınıflandırma modelini "dur" levhasını "hız sınırı" olarak yanlış tanımlayabilir. Bu tür düşmanca örnekler yalnızca görüntüyle sınırlı değildir; metin, ses ve yapılandırılmış veri üzerinde de üretilebilir. Temel saldırı yöntemleri: Tek adımlı FGSM hızlı fakat nispeten zayıf örnekler üretirken, yinelemeli PGD (Projected Gradient Descent) çok daha etkili saldırılar oluşturur ve adversarial eğitimin altın standardı sayılır. Carlini-Wagner ve AutoAttack ise optimize edilmiş, kısıtlama duyarlı saldırılar sunar. Kara kutu saldırıları ise modele doğrudan erişim olmaksızın gerçekleştirilen daha gerçekçi senaryoları temsil eder. Savunma yöntemlerinin başında adversarial training gelir: model eğitim sürecinde kasıtlı bozulmuş örnekler üzerinde de optimize edilerek dayanıklılık kazanır. Randomized smoothing matematiksel dayanıklılık garantileri sunan sertifikalı bir yaklaşımdır. Giriş ön işleme ve interval bound propagation da yaygın kullanılan teknikler arasındadır. Dayanıklılık ile doğruluk arasında temel bir uzlaşım mevcuttur: adversarial eğitim, modelin temiz test verisi üzerindeki başarısını genellikle birkaç puan düşürür; dolayısıyla dayanıklılık ile doğruluk arasında bir denge kurmak gerekir. RobustBench, CIFAR-10 ve ImageNet gibi standart veri kümelerinde adversarial dayanıklılığı ölçen açık kaynaklı bir lider tablosu sunmaktadır. Özerk araçlar, tıbbi görüntüleme, yüz tanıma ve finansal sahtekârlık tespiti gibi kritik uygulamalarda adversarial dayanıklılık testleri artık zorunlu bir güvenlik adımı hâline gelmektedir. 2025 Uluslararası AI Güvenlik Raporu, saldırı ve savunma yöntemlerinin eş zamanlı ilerlediğini ancak henüz net bir galibinin olmadığını vurgulamaktadır.