Güvenlik Testi (AI)

#güvenlik testi #red teaming #prompt injection #LLM güvenliği #siber güvenlik #veri güvenliği

Güvenlik Testi (AI), yapay zeka sistemlerindeki açıkları bulmak için uygulanan saldırı odaklı test sürecidir.

Güvenlik Testi (AI), makine öğrenmesi modelleri, büyük dil modelleri (LLM) ve yapay zeka ajanları gibi sistemlerin güvenlik açıklarını keşfetmeye yönelik yapılandırılmış bir test disiplinidir. Geleneksel yazılım güvenlik testinin aksine, AI güvenlik testi yalnızca ağ ve uygulama katmanlarını değil; eğitim verisini, çıkarım süreçlerini, model davranışını ve istem (prompt) yönetimini de kapsar. Bu alan iki temel bileşenden oluşur: güvenlik testi, yani AI sisteminin kötü niyetli saldırılara karşı korunması; ve emniyet testi, yani AI sisteminin istemeden zarar vermesinin önlenmesi. Her iki boyut da modern AI dağıtımları için zorunlu hâle gelmiştir. Temel test yöntemleri arasında prompt injection (modelin talimatlarını ele geçirme), veri zehirlenmesi (eğitim setini manipüle etme), model çıkarma (ağırlıkları kopyalama girişimi), tersine mühendislik ve üye çıkarımı saldırıları yer alır. Kırmızı takım tatbikatları (red teaming), bu saldırı senaryolarını düşmansal bir perspektiften sistematik biçimde test eder ve genellikle insan uzmanlarla otomatik araçların birlikte kullanıldığı karma yaklaşımlarla yürütülür. Endüstri standartları açısından MITRE ATLAS çerçevesi AI'ye özgü saldırı tekniklerini kataloglarken, OWASP LLM Top 10 (2025) büyük dil modelleri için kritik riskleri önceliklendirir. NIST AI 100-2e2025 belgesi ise standartlaştırılmış saldırı taksonomisi sunar. Bu çerçeveler, güvenlik ekiplerine test planlaması, risk önceliklendirmesi ve uyumluluk belgelerinin hazırlanmasında sistematik bir rehber sunar. Düzenleyici baskılar da bu alanı hızlandırmaktadır: AB Yapay Zeka Yasası, yüksek riskli AI sistemleri için düzenli güvenlik değerlendirmesini zorunlu kılar. Bu durum, güvenlik testini teknik bir uygulama olmanın ötesinde yasal bir gereklilik hâline getirmektedir. AI güvenlik testi pazarı 2025'te 2,74 milyar dolar değerindeydi ve 2033'e kadar 6 milyar doları aşması beklenmektedir. RAG sistemleri, çok modlu modeller ve otonom yapay zeka ajanlarının yaygınlaşmasıyla saldırı yüzeyi her geçen yıl genişlemektedir; bu nedenle güvenlik testini sürekli bir süreç olarak konumlandırmak kritik önem taşımaktadır.

AI Güvenlik Testi Nedir?

Güvenlik Testi (AI), yapay zeka sistemlerinin güvenlik ve emniyet açıklarını tespit etmek amacıyla uygulanan yapılandırılmış test sürecidir. Geleneksel siber güvenlik testinden farklı olarak; modelin eğitim verisi, çıkarım davranışı, istem (prompt) yönetimi ve ajan entegrasyonları gibi AI'ye özgü saldırı yüzeylerini hedefler.

Bu disiplin iki ana amaca hizmet eder: birincisi, kötü niyetli aktörlerin AI sistemini istismar etmesini engellemek (güvenlik boyutu); ikincisi, modelin tasarım dışı ya da zararlı çıktılar üretmesini önlemek (emniyet boyutu). Modern AI dağıtımlarında her iki boyut da bir arada değerlendirilmelidir.

AI güvenlik testinin kapsamı giderek genişlemektedir: 2025 itibarıyla LLM tabanlı uygulamalar, RAG (Retrieval-Augmented Generation) sistemleri, AI ajanları ve çok modlu modeller bu disiplinin temel test hedefleri arasına girmiştir.

Temel Saldırı Vektörleri

  • check_circle Prompt Injection: Modelin güvenlik talimatlarını atlatmak ya da kötü niyetli komutlar yürütmek amacıyla istem metninin manipüle edilmesidir. LLM uygulamalarının en kritik zafiyetlerinden biridir.
  • check_circle Veri Zehirlenmesi (Data Poisoning): Eğitim verisine kasıtlı olarak zararlı örnekler eklenerek modelin davranışının kalıcı biçimde bozulmasıdır. Model güncellemeleri sırasında tespit edilmesi güçtür.
  • check_circle Model Çıkarma (Model Extraction): Hedef modele yönelik çok sayıda sorgu göndererek modelin ağırlıklarını ya da karar sınırlarını yaklaşık olarak kopyalamaktır. Fikrî mülkiyet ve gizlilik ihlallerine yol açabilir.
  • check_circle Düşmansal Örnekler (Adversarial Examples): İnsan gözüne fark edilmeyecek küçük değişikliklerle model sınıflandırmasını yanıltmaya yönelik girdilerdir. Görüntü tanıma ve otonom araç sistemleri bu saldırıya özellikle açıktır.
  • check_circle Üye Çıkarımı (Membership Inference): Belirli bir veri noktasının modelin eğitim setinde yer alıp almadığını tahmin etme saldırısıdır. GDPR gibi düzenlemeler kapsamında kişisel veri sızıntısı riskine yol açar.

Red Teaming ve Test Metodolojisi

AI red teaming, düşmansal bir bakış açısıyla AI sistemlerini test etmeye yönelik yapılandırılmış bir yaklaşımdır. ABD Yürütme Kararnamesi AI'yi "yapay zeka sistemindeki kusur ve zafiyetleri bulmak amacıyla düşmansal yöntemler kullanan yapılandırılmış test çabası" olarak tanımlamaktadır.

Red team tatbikatları genellikle üç aşamadan oluşur: keşif (sistemin mimarisini ve saldırı yüzeyini anlama), sömürü (belirlenen vektörleri test etme) ve raporlama (bulgular ve iyileştirme önerileri). Otomasyon ve insan uzmanlığının birleşimi, en kapsamlı sonuçları üretmektedir.

2026 itibarıyla ajansal red teaming araçları öne çıkmaktadır: bu araçlar, binlerce saldırı senaryosunu otomatik olarak çalıştırabilmekte ve manuel testlerin tespit edemediği zafiyetleri keşfedebilmektedir.

Endüstri Standartları ve Çerçeveler

  • check_circle MITRE ATLAS: Gerçek dünya saldırılarından derlenen AI'ye özgü taktik, teknik ve prosedürler (TTP) kataloğu. MITRE ATT&CK'in AI versiyonu olarak değerlendirilebilir.
  • check_circle OWASP LLM Top 10 (2025): Büyük dil modeli uygulamalarındaki en kritik 10 güvenlik riskini öncelikli sıralamayla listeleyen açık kaynaklı kılavuz. Prompt injection, güvensiz çıktı yönetimi ve eğitim verisi zehirlenmesi üst sıralardadır.
  • check_circle NIST AI 100-2e2025: Yapay zeka sistemlerine yönelik saldırı taksonomisini standartlaştıran NIST belgesi. AI güvenlik değerlendirmelerinde referans çerçeve olarak kullanılmaktadır.
  • check_circle EU AI Act Gereklilikleri: Yüksek riskli AI sistemleri için düzenli güvenlik değerlendirmesi, saldırı dayanıklılık testi ve olay bildirimi zorunluluklarını düzenleyen yasal çerçeve.

AI Sistemleri Güvenlik Test Yöntemleri

Kırmızı Takım Tatbikatı

Uzman ekipler modeli kötüye kullanmaya çalışır; öngörülemeyen başarısızlıkları keşfeder.

Adversarial Robustness

Pertürbe edilmiş girdilerle modelin kararlılığını; AutoAttack ve PGD gibi standart saldırılarla test.

Gizlilik Denetimi

Membership inference ve model inversion saldırılarıyla eğitim veri sızıntısı ölçülür.

Önyargı Testi

Demografik gruplara göre model çıktı farklılıkları ölçülerek sistemik ayrımcılık tespiti yapılır.

Sıkça Sorulan Sorular

  • check_circle AI güvenlik testi ile geleneksel penetrasyon testi arasındaki fark nedir? Geleneksel penetrasyon testi ağ, uygulama ve altyapı güvenliğini hedefler. AI güvenlik testi ise modelin eğitim verisini, çıkarım davranışını, prompt manipülasyonunu ve veri zehirlenmesini içeren AI'ye özgü saldırı yüzeylerini kapsar. Her iki yaklaşım tamamlayıcıdır.
  • check_circle Prompt injection neden bu kadar kritik bir tehdit? Prompt injection, saldırganın modelin güvenlik talimatlarını atlatmasına veya modeli istenmeyen komutlar çalıştırmaya yönlendirmesine olanak tanır. Özellikle harici verileri işleyen RAG sistemleri ve AI ajanları bu saldırıya açıktır.
  • check_circle EU AI Act AI güvenlik testini zorunlu mu kılıyor? Evet. AB Yapay Zeka Yasası, yüksek riskli AI sistemleri için düzenli güvenlik değerlendirmesi, saldırı dayanıklılık testi ve olay bildirimi yükümlülükleri öngörmektedir.
  • check_circle Küçük ölçekli işletmeler AI güvenlik testini nasıl uygulayabilir? OWASP LLM Top 10 kılavuzu ücretsiz bir başlangıç noktası sunar. Otomatik araçlar temel zafiyetleri tarayabilir. Yüksek riskli sistemler için uzman red team hizmetleri tercih edilmelidir.