tag adversarial
Model Zehirleme (Poisoning) Nedir? Yapay Zeka Güvenlik Saldırısı (Model Zehirleme)
Bu sayfada adversarial (Model Zehirleme (Poisoning) Nedir? Yapay Zeka Güvenlik Saldırısı (Model Zehirleme)) etiketi ile işaretlenmiş 2 yapay zeka kavramını bulabilirsiniz.
Model zehirleme (model poisoning veya training data poisoning), bir saldırganın yapay zeka modelinin eğitim sürecine müdahale ederek modelin davranışını kasıtlı olarak bozmayı hedeflediği bir güvenlik saldırısıdır. Saldırı, eğitim veri setine kötü niyetli örnekler eklenerek ya da mevcut etiketler değiştirilerek gerçekleştirilir; bu yolla model belirli koşullar altında hatalı çıktılar üretecek biçimde şekillendirilir. Temel iki saldırı biçimi öne çıkar: Arka kapı saldırıları (backdoor attacks), modelin belirli bir tetikleyici varlığında yanlış çıktı verirken normal durumlarda yüksek doğrulukta çalışmasını sağlar. Etiket çevirme saldırıları (label-flip attacks) ise örneklerin gerçek etiketlerini değiştirerek sistematik yanlış sınıflandırmalara neden olur. Federe öğrenme (federated learning) sistemleri bu saldırılara özellikle savunmasızdır; zira merkezi sunucuya gönderilen yerel model güncellemeleri saldırganlar tarafından manipüle edilebilir. Gerçek dünyada otonom araç sistemleri, büyük dil modelleri ve içerik moderasyon sistemleri bu saldırıların hedefleri arasında yer almaktadır. Savunma yöntemleri arasında veri temizleme (data sanitization), eğitim seti anomali tespiti ve Byzantine-dayanıklı toplama algoritmaları (Krum, Trimmed Mean) sayılabilir. AB Yapay Zeka Yasası yüksek riskli AI sistemlerinde eğitim veri güvenliğini açıkça zorunlu kılmaktadır.
Model Zehirleme (Poisoning) Nedir? Yapay Zeka Güvenlik Saldırısı (Model Zehirleme)
Model zehirleme (model poisoning veya training data poisoning), bir saldırganın yapay zeka modelinin eğitim sürecine müdahale ederek modelin davranışını kasıtlı olarak bozmayı hedeflediği bir güvenlik saldırısıdır. Saldırı, eğitim veri setine kötü niyetli örnekler eklenerek ya da mevcut etiketler değiştirilerek gerçekleştirilir; bu yolla model belirli koşullar altında hatalı çıktılar üretecek biçimde şekillendirilir. Temel iki saldırı biçimi öne çıkar: Arka kapı saldırıları (backdoor attacks), modelin belirli bir tetikleyici varlığında yanlış çıktı verirken normal durumlarda yüksek doğrulukta çalışmasını sağlar. Etiket çevirme saldırıları (label-flip attacks) ise örneklerin gerçek etiketlerini değiştirerek sistematik yanlış sınıflandırmalara neden olur. Federe öğrenme (federated learning) sistemleri bu saldırılara özellikle savunmasızdır; zira merkezi sunucuya gönderilen yerel model güncellemeleri saldırganlar tarafından manipüle edilebilir. Gerçek dünyada otonom araç sistemleri, büyük dil modelleri ve içerik moderasyon sistemleri bu saldırıların hedefleri arasında yer almaktadır. Savunma yöntemleri arasında veri temizleme (data sanitization), eğitim seti anomali tespiti ve Byzantine-dayanıklı toplama algoritmaları (Krum, Trimmed Mean) sayılabilir. AB Yapay Zeka Yasası yüksek riskli AI sistemlerinde eğitim veri güvenliğini açıkça zorunlu kılmaktadır.
Tehdit Modellemesi (Tehdit Modellemesi)
Tehdit modellemesi (threat modeling), bir sistemin güvenliğini tehdit edebilecek potansiyel saldırı vektörlerini, açıklarını ve risk senaryolarını tasarım aşamasında proaktif biçimde haritalandıran yapılandırılmış bir güvenlik metodolojisidir. Güvenlik mühendisliğinin "önce düşman gibi düşün" ilkesine dayanır: korunulacak varlıkları (data, model, API), olası saldırganları (dış aktörler, içeriden tehditler) ve saldırı yollarını sistematik biçimde listeler. Microsoft'ta Loren Kohnfelder ve Praerit Garg tarafından 1999'da geliştirilen STRIDE çerçevesi, tehdit modellemesinin temel metodolojik taşını oluşturur. STRIDE kısaltması şu altı tehdit türünü ifade eder: Spoofing (kimlik sahteciliği), Tampering (veri bütünlüğünün bozulması), Repudiation (inkâr edilemezlik ihlali), Information Disclosure (gizli bilginin sızdırılması), Denial of Service (hizmet engelleme) ve Elevation of Privilege (ayrıcalık yükseltme). Her sistem bileşeni bu altı eksen boyunca değerlendirilir. Yapay zeka sistemlerinin yaygınlaşmasıyla alan, AI'ya özgü çerçevelerle genişledi. MITRE ATLAS (Adversarial Threat Landscape for Artificial-Intelligence Systems), AI sistemlerine yönelik gerçek saldırı vakalarını taksonomi hâlinde derler; v5.4.0 sürümü 16 taktik, 84 teknik ve 42 vaka çalışması içermektedir. OWASP LLM Top 10 ise büyük dil modellerine özgü riskleri, başta prompt injection ve eğitim verisi zehirlenmesi olmak üzere, öncelikli sırayla listeler. AI sistemlerine özgü başlıca tehdit kategorileri şunlardır: veri zehirlenmesi (training data poisoning) eğitim setine kötü niyetli örnekler enjekte ederek model davranışını manipüle eder; model çalma (model extraction), siyah-kutu sorgularla modelin işlevsel kopyasını çıkarma girişimidir; düşmanca örnekler (adversarial examples), insan gözüne normal görünen ama modeli yanıltan girdilerdir; prompt injection ise LLM uygulamalarında sistem yönergelerini devre dışı bırakmayı ya da gizli verilere erişimi hedefler. Tehdit modelleme süreci tipik olarak beş adımda yürütülür: kapsam ve varlıkların tanımlanması, veri akış diyagramlarının (DFD) oluşturulması, tehditlerin belirlenmesi (STRIDE veya başka çerçeveyle), risk değerlendirmesi (etki × olasılık matrisi) ve azaltma önlemlerinin planlanması. Türkiye'de BDDK, BTK ve KVKK kapsamındaki düzenlemeler finansal ve kişisel veri işleyen AI uygulamalarında tehdit modelleme belgesi talep etmektedir.