tag eğitim-verisi

Model Zehirleme (Poisoning) Nedir? Yapay Zeka Güvenlik Saldırısı (Model Zehirleme)

Bu sayfada eğitim-verisi (Model Zehirleme (Poisoning) Nedir? Yapay Zeka Güvenlik Saldırısı (Model Zehirleme)) etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

Model zehirleme (model poisoning veya training data poisoning), bir saldırganın yapay zeka modelinin eğitim sürecine müdahale ederek modelin davranışını kasıtlı olarak bozmayı hedeflediği bir güvenlik saldırısıdır. Saldırı, eğitim veri setine kötü niyetli örnekler eklenerek ya da mevcut etiketler değiştirilerek gerçekleştirilir; bu yolla model belirli koşullar altında hatalı çıktılar üretecek biçimde şekillendirilir. Temel iki saldırı biçimi öne çıkar: Arka kapı saldırıları (backdoor attacks), modelin belirli bir tetikleyici varlığında yanlış çıktı verirken normal durumlarda yüksek doğrulukta çalışmasını sağlar. Etiket çevirme saldırıları (label-flip attacks) ise örneklerin gerçek etiketlerini değiştirerek sistematik yanlış sınıflandırmalara neden olur. Federe öğrenme (federated learning) sistemleri bu saldırılara özellikle savunmasızdır; zira merkezi sunucuya gönderilen yerel model güncellemeleri saldırganlar tarafından manipüle edilebilir. Gerçek dünyada otonom araç sistemleri, büyük dil modelleri ve içerik moderasyon sistemleri bu saldırıların hedefleri arasında yer almaktadır. Savunma yöntemleri arasında veri temizleme (data sanitization), eğitim seti anomali tespiti ve Byzantine-dayanıklı toplama algoritmaları (Krum, Trimmed Mean) sayılabilir. AB Yapay Zeka Yasası yüksek riskli AI sistemlerinde eğitim veri güvenliğini açıkça zorunlu kılmaktadır.

code_blocks

Model Zehirleme (Poisoning) Nedir? Yapay Zeka Güvenlik Saldırısı (Model Zehirleme)

Model zehirleme (model poisoning veya training data poisoning), bir saldırganın yapay zeka modelinin eğitim sürecine müdahale ederek modelin davranışını kasıtlı olarak bozmayı hedeflediği bir güvenlik saldırısıdır. Saldırı, eğitim veri setine kötü niyetli örnekler eklenerek ya da mevcut etiketler değiştirilerek gerçekleştirilir; bu yolla model belirli koşullar altında hatalı çıktılar üretecek biçimde şekillendirilir. Temel iki saldırı biçimi öne çıkar: Arka kapı saldırıları (backdoor attacks), modelin belirli bir tetikleyici varlığında yanlış çıktı verirken normal durumlarda yüksek doğrulukta çalışmasını sağlar. Etiket çevirme saldırıları (label-flip attacks) ise örneklerin gerçek etiketlerini değiştirerek sistematik yanlış sınıflandırmalara neden olur. Federe öğrenme (federated learning) sistemleri bu saldırılara özellikle savunmasızdır; zira merkezi sunucuya gönderilen yerel model güncellemeleri saldırganlar tarafından manipüle edilebilir. Gerçek dünyada otonom araç sistemleri, büyük dil modelleri ve içerik moderasyon sistemleri bu saldırıların hedefleri arasında yer almaktadır. Savunma yöntemleri arasında veri temizleme (data sanitization), eğitim seti anomali tespiti ve Byzantine-dayanıklı toplama algoritmaları (Krum, Trimmed Mean) sayılabilir. AB Yapay Zeka Yasası yüksek riskli AI sistemlerinde eğitim veri güvenliğini açıkça zorunlu kılmaktadır.

arrow_forward