tag adversarial-ml
Adversarial Examples (Düşmanca Örnekler)
Bu sayfada adversarial-ml (Adversarial Examples (Düşmanca Örnekler)) etiketi ile işaretlenmiş 6 yapay zeka kavramını bulabilirsiniz.
Adversarial Examples (Düşmanca Örnekler), derin öğrenme modellerinin karar sınırlarındaki kırılgan noktaları istismar etmek amacıyla orijinal giriş verisine matematiksel olarak hesaplanmış küçük ama kasıtlı pertürbasyonlar eklenerek oluşturulan ve modelin yanlış sınıflandırma yapmasına ya da beklenmedik çıktı üretmesine yol açan özel saldırı girdileridir. Pertürbasyonlar çoğunlukla insan algı eşiğinin altında kalır; başka bir deyişle değiştirilmiş görüntü ya da metin insana özgün ile özdeş görünür, ancak model bunu tamamen farklı bir sınıf olarak sınıflandırır. Ian Goodfellow, Jonathon Shlens ve Christian Szegedy 2014 yılında yayımladıkları 'Explaining and Harnessing Adversarial Examples' başlıklı seminal çalışmada, Fast Gradient Sign Method (FGSM) ile herhangi bir görüntü üzerinde modelin kaybının gradyanı yönünde epsilon büyüklüğünde tek adımlık bir güncellemenin modeli yanıltmaya yettiğini gösterdi. Bu keşif, saldırı-savunma silahlanma yarışının fitilini ateşledi. Saldırı türleri iki temel eksende ayrılır. Gradient tabanlı beyaz kutu (white-box) saldırılar modelin ağırlıklarına tam erişimle çalışır: FGSM tek adımlı ve hızlıdır; Projected Gradient Descent (PGD) yinelemeli ve çok daha güçlüdür; Carlini & Wagner (C&W) en küçük pertürbasyon normuyla en yüksek yanıltma başarısını hedefler. Siyah kutu (black-box) saldırılar ise yalnızca model çıktısına erişimle tahmin saldırısı yapar; adversarial pertürbasyonların modeller arasında aktarılabilirliği (transferability) bu saldırıları pratikte tehlikeli kılar. Savunma yöntemlerinin başında adversarial training gelir: modeli adversarial örnekler de dahil edilerek yeniden eğitmek, bilinen saldırılara karşı dayanıklılığı artırır, ancak daha güçlü yeni saldırılara karşı yeterli olmayabilir. Certified defense yaklaşımları (Randomized Smoothing, interval bound propagation) matematiksel olarak kanıtlanmış dayanıklılık garantisi sunar; input preprocessing, feature squeezing ve detection-based yöntemler de kullanılan katmanlı savunma stratejileri arasındadır. Adversarial Examples artık sadece görüntü sınıflandırmasında değil, LLM jailbreak'inde, konuşma tanıma sistemlerinde, nesne tespitinde ve otonom araç algı sistemlerinde doğrudan güvenlik tehdidi oluşturmaktadır. NIST AI RMF ve AB Yapay Zeka Kanunu bu tür saldırılara karşı dayanıklılık gerekliliklerini çerçeveleyen düzenleyici belgeler arasındadır.
Adversarial Examples (Düşmanca Örnekler)
Adversarial Examples (Düşmanca Örnekler), derin öğrenme modellerinin karar sınırlarındaki kırılgan noktaları istismar etmek amacıyla orijinal giriş verisine matematiksel olarak hesaplanmış küçük ama kasıtlı pertürbasyonlar eklenerek oluşturulan ve modelin yanlış sınıflandırma yapmasına ya da beklenmedik çıktı üretmesine yol açan özel saldırı girdileridir. Pertürbasyonlar çoğunlukla insan algı eşiğinin altında kalır; başka bir deyişle değiştirilmiş görüntü ya da metin insana özgün ile özdeş görünür, ancak model bunu tamamen farklı bir sınıf olarak sınıflandırır. Ian Goodfellow, Jonathon Shlens ve Christian Szegedy 2014 yılında yayımladıkları 'Explaining and Harnessing Adversarial Examples' başlıklı seminal çalışmada, Fast Gradient Sign Method (FGSM) ile herhangi bir görüntü üzerinde modelin kaybının gradyanı yönünde epsilon büyüklüğünde tek adımlık bir güncellemenin modeli yanıltmaya yettiğini gösterdi. Bu keşif, saldırı-savunma silahlanma yarışının fitilini ateşledi. Saldırı türleri iki temel eksende ayrılır. Gradient tabanlı beyaz kutu (white-box) saldırılar modelin ağırlıklarına tam erişimle çalışır: FGSM tek adımlı ve hızlıdır; Projected Gradient Descent (PGD) yinelemeli ve çok daha güçlüdür; Carlini & Wagner (C&W) en küçük pertürbasyon normuyla en yüksek yanıltma başarısını hedefler. Siyah kutu (black-box) saldırılar ise yalnızca model çıktısına erişimle tahmin saldırısı yapar; adversarial pertürbasyonların modeller arasında aktarılabilirliği (transferability) bu saldırıları pratikte tehlikeli kılar. Savunma yöntemlerinin başında adversarial training gelir: modeli adversarial örnekler de dahil edilerek yeniden eğitmek, bilinen saldırılara karşı dayanıklılığı artırır, ancak daha güçlü yeni saldırılara karşı yeterli olmayabilir. Certified defense yaklaşımları (Randomized Smoothing, interval bound propagation) matematiksel olarak kanıtlanmış dayanıklılık garantisi sunar; input preprocessing, feature squeezing ve detection-based yöntemler de kullanılan katmanlı savunma stratejileri arasındadır. Adversarial Examples artık sadece görüntü sınıflandırmasında değil, LLM jailbreak'inde, konuşma tanıma sistemlerinde, nesne tespitinde ve otonom araç algı sistemlerinde doğrudan güvenlik tehdidi oluşturmaktadır. NIST AI RMF ve AB Yapay Zeka Kanunu bu tür saldırılara karşı dayanıklılık gerekliliklerini çerçeveleyen düzenleyici belgeler arasındadır.
Backdoor Attack (Arka Kapı Saldırısı)
Arka kapı saldırısı (backdoor attack), bir yapay zeka modelinin eğitim sürecine kasıtlı olarak gizli bir tetikleyici (trigger) yerleştiren, bu tetikleyici aktif olduğunda modelin saldırgan tarafından belirlenen yanlış çıktı üretmesini sağlayan kötü niyetli bir güvenlik açığıdır. Normal girdilerde model tamamen doğal davranırken, belirli bir piksel deseni, ses tonu veya metin ifadesi gibi önceden tanımlanmış tetikleyici gördüğünde hedeflenen yanlış davranışı sergiler. Arka kapı saldırıları iki temel vektörden gerçekleşebilir. Eğitim verisi zehirleme (training data poisoning) yönteminde saldırgan, eğitim veri setine tetikleyici içeren ve yanlış etiketlenmiş örnekler enjekte eder; model bu verileri öğrenirken arka kapı kalıbını içselleştirir. Model ağırlıklarına doğrudan müdahale yönteminde ise saldırgan eğitilmiş model dosyasını değiştirerek belirli aktivasyon desenlerine bağlı gizli davranışlar ekler. Yüz tanıma sistemleri bu saldırı vektörüne özellikle açıktır: güneş gözlüğü veya bant gibi fiziksel bir nesne tetikleyici olarak kullanıldığında, sistem yetkisiz bir kişiyi yetkili olarak tanıyabilir. Otomatik araç algılama sistemlerinde küçük bir stiker stop tabelasının yanlış sınıflandırılmasına neden olabilir; bu tür fiziksel dünya saldırıları gerçek tehlikeler oluşturur. Savunma yöntemleri şunlardır: Neural Cleanse algoritması, modelin farklı sınıflar arasında asimetrik kestirme yolları olup olmadığını analiz ederek arka kapı tespiti yapar. STRIP (STRong Intentional Perturbation) tekniği, şüpheli girdilere yoğun pertürbasyonlar ekleyerek tetikleyicilerin etkisini ortaya çıkarır. Fine-Pruning yöntemi, nadir aktive olan nöronları budayarak arka kapı nöronlarını devre dışı bırakır. Veri sanitizasyonu ve eğitim süreci izleme de kritik önleyici mekanizmalardır. Tedarik zinciri güvenliği bağlamında, büyük dil modellerinin pre-trained ağırlıkların üçüncü taraf kaynaklardan indirilmesi standart bir pratik hâline gelmiştir. Hugging Face gibi platformlarda paylaşılan modeller potansiyel arka kapı riski taşır; bu nedenle kuruluşların indirdikleri modellerin bütünlüğünü doğrulaması kritik önem taşımaktadır.
Model İnversion (Model İnversion Saldırısı)
Model inversion (model ters mühendisliği), bir makine öğrenimi modelinin çıktılarını analiz ederek orijinal eğitim verilerini yeniden oluşturmayı hedefleyen bir mahremiyet saldırısıdır. Saldırgan, güven skorlarını, sınıflandırma olasılıklarını veya gradyanları yinelemeli sorgu stratejileriyle işleyerek eğitim kümesindeki hassas bilgilere yaklaşır. İlk sistematik tanımı 2015 yılında Fredrikson ve ekibi tarafından gerçekleştirilmiştir. Araştırmacılar, bir farmakokinetik modeli tekrar tekrar sorgulayarak hastaya özgü genetik verileri başarıyla yeniden üretmiştir; aynı yöntemle yüz tanıma sistemlerinden bireylerin fotoğrafları sentezlenmiştir. Saldırının iki ana varyantı bulunur. Beyaz kutu (white-box) saldırısında saldırgan model ağırlıklarına ve mimarisine tam erişime sahiptir; gradyan tabanlı optimizasyon doğrudan uygulanarak eğitim verisine en yakın örnekler üretilir. Siyah kutu (black-box) saldırısında ise yalnızca API çıktısı kullanılır; Mirror Attack ve GAN destekli yöntemler yinelemeli sorgu yanıtlarını işleyerek veri dağılımını öğrenir. Yüksek riskli uygulama alanları arasında tıbbi görüntüleme sistemleri, biyometrik tanıma yazılımları ve kredi risk modelleri öne çıkmaktadır. Bu sistemlerde başarılı bir saldırı KVKK ve GDPR kapsamında ciddi ihlallere yol açabilir. Model inversion, üyelik çıkarımı (membership inference) ile sık karıştırılır; ancak temel fark amaçtır — üyelik çıkarımı belirli bir kaydın eğitimde kullanılıp kullanılmadığını doğrularken model inversion o kaydın içeriğini yeniden üretmeye çalışır. Savunma stratejileri dört ana yöntemle özetlenir: (1) Diferansiyel gizlilik — model çıktılarına kalibreli Gaussian gürültüsü eklenerek hassas olasılık değerleri gizlenir; (2) Çıktı kısıtlama — yalnızca en yüksek olasılıklı etiket döndürülür, güven skoru paylaşılmaz; (3) Bilgi damıtma (knowledge distillation) — ham model yerine daha az bilgi sızdıran damıtılmış model servis edilir; (4) Adversarial regularization — eğitim sürecine ters mühendislik direnci eklenebilir. Avrupa Birliği Yapay Zeka Yasası, yüksek riskli AI sistemlerinde model inversion testini düzenleyici çerçeve içine dahil etmiştir.
Model Inversion Attack (Model Tersine Mühendislik Saldırısı)
Model tersine mühendislik saldırısı (model inversion attack), bir makine öğrenimi modelinin eğitim verilerindeki hassas bilgileri, modelin tahminleri veya güven puanları aracılığıyla yeniden oluşturmayı hedefleyen bir gizlilik saldırısıdır. Saldırgan, modele sistematik sorgular göndererek elde ettiği çıktıları analiz eder ve bu çıktılardan geriye doğru çalışarak orijinal eğitim verilerini yaklaşık olarak tahmin etmeye çalışır. Bu saldırı türü, 2015 yılında Matthew Fredrikson ve ekibinin yayımladığı araştırmayla gündeme gelmiştir. Fredrikson, bir ilaç tavsiye sistemini hedef alan çalışmasında hastaların genomik profillerini yalnızca model çıktılarını gözlemleyerek kısmen yeniden oluşturabilmiştir. Aynı ekip daha sonraki çalışmalarında yüz tanıma modellerinden gerçek yüz görüntülerini geri kazanmayı başarmıştır. Saldırılar iki ana kategoride değerlendirilir. Beyaz-kutu (white-box) saldırılarında saldırgan model ağırlıklarına ve gradyanlarına doğrudan erişebilir; bu durum saldırıyı çok daha etkili kılar. Siyah-kutu (black-box) saldırılarında ise saldırgan yalnızca modele sorgu atabilir ve tahmin ile güven skoru alabilir; bu senaryo gerçek dünya koşullarını daha iyi yansıtır. Saldırının temel mekanizması gradyan bazlı optimizasyona dayanır: Saldırgan, modelin hedef sınıfa en yüksek güveni vermesini sağlayan girdiyi arayarak adım adım yaklaşık bir eğitim örneği oluşturur. Generative model inversion olarak adlandırılan gelişmiş varyantlarda ise GAN veya diffusion modeller yardımıyla daha gerçekçi gizli veriler üretilmektedir. Savunma yöntemleri arasında diferansiyel gizlilik (model çıktılarına istatistiksel gürültü ekleme), çıktı kısıtlama (yalnızca ham güven skoru yerine sınıf etiketi döndürme), bilgi damıtma ve gizlilik farkında eğitim sayılabilir. Sağlık, finans ve biyometrik kimlik doğrulama alanlarında bu saldırılara karşı sistematik savunma mekanizmaları oluşturmak kritik önem taşımaktadır.
Trojan Saldırısı Nedir? Yapay Zeka Backdoor Saldırıları (Trojan Saldırısı)
Trojan saldırısı (İngilizce: Trojan Attack ya da backdoor saldırısı), makine öğrenmesi modellerini eğitim aşamasında hedef alan gizli bir yapay zeka güvenlik tehdididir. Saldırgan, eğitim veri kümesine belirli bir gizli tetikleyici (trigger) içeren zehirli örnekler ekler; bu örnekler temiz girdilerle aynı etikete sahip olduğundan otomatik kalite kontrol araçlarını atlar. Eğitilen model temiz girdilerde normal doğruluk gösterirken, tetikleyiciyle karşılaştığında saldırganın yönlendirdiği hatalı çıktıyı üretir. Saldırı üç temel kanaldan gerçekleşebilir: Veri zehirleme (data poisoning), saldırganın eğitim havuzuna kirlenmiş örnekler yerleştirmesidir. Model zehirleme ise kötü niyetli üçüncü taraflarca hazırlanan önceden eğitilmiş ağırlıkların transfer learning zinciri yoluyla aktarılmasıdır. API arka kapısı ise belirli sorgularda kasıtlı yanıt sapması sergileyen bulut tabanlı servislerdir. Tetikleyicinin tasarımı giderek gizli bir hal almaktadır. İlk çalışmalarda (Chen et al. 2017) tek renk kare piksel yamaları kullanılırken, günümüzde insan gözünün algılayamadığı frekans alanı gürültüleri, büyük dil modellerinde nadir bir token dizisi ya da konuşma sistemlerinde belirli arka plan ses frekansları tetikleyici işlevi görebilir. Bu gelişmişlik, geleneksel veri doğrulama araçlarını yetersiz kılmaktadır. Savunma cephesinde öne çıkan teknikler şunlardır: Neural Cleanse, ters mühendislik yöntemiyle modeldeki olası en küçük tetikleyiciyi tespit eder. STRIP, girdi dönüşümlerine karşı çıktının değişkenliğini ölçerek trojan örneklerini ayırt eder. Activation Clustering, gizli katman aktivasyonlarını gruplayarak zehirli örneklerin temizlerden ayrıştığı kümeleri ortaya çıkarır. NIST Yapay Zeka Güvenilirlik Çerçevesi (AI RMF, 2023) ve AB Yapay Zeka Yasası Madde 9, yüksek riskli yapay zeka sistemlerinde trojan ve backdoor saldırılarına karşı sistematik test zorunluluğu getirmektedir. Bu durum trojan güvenlik testini araştırma laboratuvarlarından kurumsal uyum süreçlerine taşımaktadır.
Model Stealing (Model Çalma Saldırısı)
Model çalma saldırısı (model stealing attack veya model extraction), bir saldırganın hedef yapay zeka modeline sorgular göndererek modelin işlevselliğini, ağırlıklarını veya davranışını çıkarmayı amaçladığı bir makine öğrenmesi güvenlik saldırısıdır. Saldırgan genellikle modele doğrudan erişim olmaksızın, yalnızca API üzerinden girdi-çıktı çiftleri toplayarak kendi modelini hedef modeli taklit edecek biçimde eğitir. Model çalma saldırıları farklı hedeflerle gerçekleştirilir. Fonksiyon çıkarma (function extraction) saldırısında saldırgan, hedef modelin karar sınırlarını yeniden oluşturmaya çalışır. Hiperparametre çıkarma saldırısında ise modelin mimarisi ve eğitim parametreleri hakkında bilgi edinilmeye çalışılır. Eğitim verisi çıkarma saldırıları ise modelin ezberlenmiş eğitim örneklerini geri üretmeyi amaçlar. Savunma tarafında çeşitli teknikler geliştirilmiştir: sorgu hız sınırlama (rate limiting), olasılık vektörü yerine yalnızca en yüksek sınıf etiketini döndürme, sorgu örüntüsü anomali tespiti ve çıktılara hafif gürültü ekleme (output perturbation). Diferansiyel gizlilik eğitim sürecinde de bu saldırılara karşı ek koruma sunar. Ticari yapay zeka API'larına yönelik gerçek model çalma örnekleri belgelenmiştir: araştırmacılar GPT-3 benzeri modellerin düşük maliyetli yaklaşık kopyalarının çıkarılabildiğini göstermiştir. Bu durum model sağlayıcıları için hem ticari hem de güvenlik riski oluşturmaktadır. AB Yapay Zeka Yasası kapsamında yüksek riskli sistemlerin bu tür saldırılara karşı teknik savunmalar içermesi zorunlu kılınmaktadır. Türkiye'de BDDK ve KVKK çerçevesinde model güvenliği kurumsal risk yönetiminin bir parçası haline gelmektedir.