tag AIGüvenliği
Adversarial Attack Nedir? (Hasım Saldırısı)
Bu sayfada AIGüvenliği (Adversarial Attack Nedir? (Hasım Saldırısı)) etiketi ile işaretlenmiş 2 yapay zeka kavramını bulabilirsiniz.
Adversarial attack (hasım saldırısı), bir makine öğrenimi veya derin öğrenme modeline kasıtlı olarak hazırlanmış, insan gözüne neredeyse fark edilmez pertürbasyonlar içeren girdiler sunarak modeli yanlış tahmin veya sınıflandırma yapmaya zorlamayı hedefleyen bir saldırı yöntemidir. 2013 yılında Szegedy ve arkadaşları tarafından keşfedilen bu zafiyet, piksel düzeyinde çok küçük değişikliklerin bile güçlü yapay zeka modellerini yanıltmaya yeterli olduğunu ortaya koydu. Adversarial attack'lar iki temel eksen üzerinde sınıflandırılır. Saldırı amacı açısından; hedefli (targeted) saldırılar modeli belirli bir yanlış sınıfa yönlendirirken, hedefsiz (untargeted) saldırılar herhangi bir yanlış çıktıyla yetinir. Bilgi erişimi açısından ise modelin iç yapısına ve ağırlıklarına tam erişim gerektiren white-box saldırılar (FGSM, PGD, C&W) ile yalnızca model çıktılarını kullanan black-box saldırılar arasında ayrım yapılır. Pratik tehdit senaryoları son derece ciddidir: otonom araçlarda 'dur' tabelası yanlış tanınabilir, yüz tanıma sistemleri özel boyalı gözlük veya makyajla atlatılabilir ve içerik moderasyon filtreleri kötü niyetli materyali geçirebilir. NLP modellerine yönelik metin tabanlı adversarial örnekler ise chatbot'ları ve metin sınıflandırıcılarını kandırabilir. Temel savunma yaklaşımları arasında modeli adversarial örneklerle yeniden eğiten adversarial training, girdileri gürültüye karşı düzelten input smoothing ve matematiksel dayanıklılık garantileri sunan certified defense yöntemleri yer alır. Düzenleyici cephede, AB Yapay Zeka Yasası ve NIST AI Risk Management Framework yüksek riskli AI sistemleri için adversarial dayanıklılık testlerini zorunlu kılmaktadır.
Adversarial Attack Nedir? (Hasım Saldırısı)
Adversarial attack (hasım saldırısı), bir makine öğrenimi veya derin öğrenme modeline kasıtlı olarak hazırlanmış, insan gözüne neredeyse fark edilmez pertürbasyonlar içeren girdiler sunarak modeli yanlış tahmin veya sınıflandırma yapmaya zorlamayı hedefleyen bir saldırı yöntemidir. 2013 yılında Szegedy ve arkadaşları tarafından keşfedilen bu zafiyet, piksel düzeyinde çok küçük değişikliklerin bile güçlü yapay zeka modellerini yanıltmaya yeterli olduğunu ortaya koydu. Adversarial attack'lar iki temel eksen üzerinde sınıflandırılır. Saldırı amacı açısından; hedefli (targeted) saldırılar modeli belirli bir yanlış sınıfa yönlendirirken, hedefsiz (untargeted) saldırılar herhangi bir yanlış çıktıyla yetinir. Bilgi erişimi açısından ise modelin iç yapısına ve ağırlıklarına tam erişim gerektiren white-box saldırılar (FGSM, PGD, C&W) ile yalnızca model çıktılarını kullanan black-box saldırılar arasında ayrım yapılır. Pratik tehdit senaryoları son derece ciddidir: otonom araçlarda 'dur' tabelası yanlış tanınabilir, yüz tanıma sistemleri özel boyalı gözlük veya makyajla atlatılabilir ve içerik moderasyon filtreleri kötü niyetli materyali geçirebilir. NLP modellerine yönelik metin tabanlı adversarial örnekler ise chatbot'ları ve metin sınıflandırıcılarını kandırabilir. Temel savunma yaklaşımları arasında modeli adversarial örneklerle yeniden eğiten adversarial training, girdileri gürültüye karşı düzelten input smoothing ve matematiksel dayanıklılık garantileri sunan certified defense yöntemleri yer alır. Düzenleyici cephede, AB Yapay Zeka Yasası ve NIST AI Risk Management Framework yüksek riskli AI sistemleri için adversarial dayanıklılık testlerini zorunlu kılmaktadır.
AI Red Teaming (Yapay Zeka Kırmızı Takım Testi)
AI Red Teaming (Yapay Zeka Kırmızı Takım Testi), yapay zeka sistemlerinin zayıf noktalarını, güvenlik açıklarını ve etik risklerini ortaya çıkarmak amacıyla gerçekleştirilen yapılandırılmış bir saldırı simülasyonu yöntemidir. Bu yaklaşımda uzmanlardan oluşan bir ekip (kırmızı takım), kötü niyetli bir saldırgan veya kötüye kullanan kullanıcı rolünü üstlenerek yapay zeka modelini çeşitli saldırılarla sistematik biçimde test eder. Klasik yazılım güvenliğindeki penetrasyon testlerinden farklı olarak, AI Red Teaming yalnızca kod güvenlik açıklarını değil; modelin yanıltıcı çıktılar (hallucination) üretip üretmediğini, istem enjeksiyonu (prompt injection) saldırılarına karşı ne kadar dayanıklı olduğunu, veri zehirlenmesine (data poisoning) açık olup olmadığını ve jailbreak girişimlerine nasıl tepki verdiğini kapsamlı biçimde ölçer. Bu testler, büyük dil modellerinin olasılıksal yapısı nedeniyle yüzde kırk veya yüzde elli başarı oranı gibi istatistiksel metrikler üzerinden değerlendirilir; geleneksel geçti/kaldı yerine. Test süreci birkaç temel aşamadan oluşur: İlk aşama, modelin güvenlik sınırlarını ve olası zaafiyetlerini belirleyen tehdit modellemesidir. İkinci aşama, özel hazırlanmış saldırıcı istemler, sentetik girişler ve çok adımlı kötüye kullanım senaryoları aracılığıyla gerçek saldırı simülasyonlarını kapsar. Üçüncü aşamada, modelin her saldırıya karşı verdiği yanıtlar istatistiksel başarı oranı olarak belgelenir ve güvenlik önlemleri güncellenir. Microsoft PyRIT ve NVIDIA Garak, bu alanda en yaygın kullanılan açık kaynak araçlar arasında yer almaktadır. Piyasa büyüklüğü 2024 yılında 1,43 milyar dolara ulaşan AI Red Teaming alanı, 2029'a kadar yüzde 28,6 bileşik yıllık büyüme hızıyla 4,8 milyar dolara erişmesi beklenen kritik bir alan haline gelmiştir. OpenAI, Google, Microsoft ve Meta gibi büyük yapay zeka şirketleri, her büyük model lansmanından önce kapsamlı kırmızı takım testleri uygulamaktadır. ABD Ulusal Standartlar ve Teknoloji Enstitüsü (NIST) de AI güvenlik çerçevelerinde kırmızı takım testini zorunlu bir bileşen olarak tanımlamaktadır.