tag OWASP
Prompt Injection (İstem Enjeksiyonu)
Bu sayfada OWASP (Prompt Injection (İstem Enjeksiyonu)) etiketi ile işaretlenmiş 2 yapay zeka kavramını bulabilirsiniz.
Prompt Injection (İstem Enjeksiyonu), büyük dil modellerini (LLM) hedef alan bir siber saldırı türüdür; siber güvenlikte onlarca yıldır bilinen SQL Injection saldırısının yapay zeka dünyasındaki karşılığı olarak değerlendirilir. Saldırgan, LLM tabanlı bir uygulamaya kötü niyetli metin gönderir ve modelin önceden tanımlanmış sistem kurallarını, içerik filtrelerini ya da gizli talimatlarını aşmasını sağlar. Saldırının temel mantığı, LLM'lerin doğal dil komutlarını veri ile talimat arasında kesin bir sınır çizmeden işlemesidir. Bir uygulama sistem promptunda "Kullanıcıya yalnızca ürün bilgisi ver, başka konularda yardım etme" gibi bir kısıt tanımlamış olsa bile, saldırgan özel bir girdi aracılığıyla bu kısıtı geçersiz kılabilir veya modelin gizli talimatlarını ifşa etmesini sağlayabilir. Prompt Injection iki temel kategoride incelenir. Doğrudan (direct) saldırıda kullanıcı, model arayüzüne doğrudan kötü niyetli bir komut girer. Dolaylı (indirect) saldırıda ise model, dış kaynaklardan (web sayfaları, PDF belgeler, e-postalar) aldığı içerikte gizlenmiş kötü niyetli talimatları işler; ajan tabanlı LLM sistemleri bu saldırıya özellikle açıktır. Savunma yöntemleri arasında giriş ve çıkış doğrulama (input/output validation), talimatların veritabanı katmanında korunması, düşük ayrıcalık ilkesi (least privilege), kullanıcı girdilerini ayrı bir bağlamda ele alan çift-prompt mimarisi ve izleme/günlükleme yer alır. Bununla birlikte 2025 itibarıyla tam kapsamlı bir teknik çözüm henüz yoktur; savunma katmanlı bir strateji gerektirmektedir. OWASP, 2023 yılında yayımladığı LLM Uygulama Güvenliği Top 10 listesinde Prompt Injection'ı birinci sıraya koymuştur. Bu saldırı türü ChatGPT, Bing Chat ve çeşitli ajan sistemleri üzerinde kamuya açık demonstrasyonlarla kanıtlanmış olup LLM entegrasyon güvenliğinin tartışmasız en kritik konusu haline gelmiştir. Türkiye'de LLM tabanlı müşteri hizmetleri, hukuk ve finans uygulamalarının yaygınlaşmasıyla birlikte Prompt Injection riski giderek daha fazla önem kazanmaktadır. Kişisel veri işleyen sistemlerde başarılı bir saldırı, KVKK kapsamında veri ihlali bildirimi yükümlülüğü doğurabilir. Bu nedenle uygulamaları geliştirme aşamasında red-team testine tabi tutmak kritik bir güvenlik adımı haline gelmektedir.
Prompt Injection (İstem Enjeksiyonu)
Prompt Injection (İstem Enjeksiyonu), büyük dil modellerini (LLM) hedef alan bir siber saldırı türüdür; siber güvenlikte onlarca yıldır bilinen SQL Injection saldırısının yapay zeka dünyasındaki karşılığı olarak değerlendirilir. Saldırgan, LLM tabanlı bir uygulamaya kötü niyetli metin gönderir ve modelin önceden tanımlanmış sistem kurallarını, içerik filtrelerini ya da gizli talimatlarını aşmasını sağlar. Saldırının temel mantığı, LLM'lerin doğal dil komutlarını veri ile talimat arasında kesin bir sınır çizmeden işlemesidir. Bir uygulama sistem promptunda "Kullanıcıya yalnızca ürün bilgisi ver, başka konularda yardım etme" gibi bir kısıt tanımlamış olsa bile, saldırgan özel bir girdi aracılığıyla bu kısıtı geçersiz kılabilir veya modelin gizli talimatlarını ifşa etmesini sağlayabilir. Prompt Injection iki temel kategoride incelenir. Doğrudan (direct) saldırıda kullanıcı, model arayüzüne doğrudan kötü niyetli bir komut girer. Dolaylı (indirect) saldırıda ise model, dış kaynaklardan (web sayfaları, PDF belgeler, e-postalar) aldığı içerikte gizlenmiş kötü niyetli talimatları işler; ajan tabanlı LLM sistemleri bu saldırıya özellikle açıktır. Savunma yöntemleri arasında giriş ve çıkış doğrulama (input/output validation), talimatların veritabanı katmanında korunması, düşük ayrıcalık ilkesi (least privilege), kullanıcı girdilerini ayrı bir bağlamda ele alan çift-prompt mimarisi ve izleme/günlükleme yer alır. Bununla birlikte 2025 itibarıyla tam kapsamlı bir teknik çözüm henüz yoktur; savunma katmanlı bir strateji gerektirmektedir. OWASP, 2023 yılında yayımladığı LLM Uygulama Güvenliği Top 10 listesinde Prompt Injection'ı birinci sıraya koymuştur. Bu saldırı türü ChatGPT, Bing Chat ve çeşitli ajan sistemleri üzerinde kamuya açık demonstrasyonlarla kanıtlanmış olup LLM entegrasyon güvenliğinin tartışmasız en kritik konusu haline gelmiştir. Türkiye'de LLM tabanlı müşteri hizmetleri, hukuk ve finans uygulamalarının yaygınlaşmasıyla birlikte Prompt Injection riski giderek daha fazla önem kazanmaktadır. Kişisel veri işleyen sistemlerde başarılı bir saldırı, KVKK kapsamında veri ihlali bildirimi yükümlülüğü doğurabilir. Bu nedenle uygulamaları geliştirme aşamasında red-team testine tabi tutmak kritik bir güvenlik adımı haline gelmektedir.
Tehdit Modellemesi (Tehdit Modellemesi)
Tehdit modellemesi (threat modeling), bir sistemin güvenliğini tehdit edebilecek potansiyel saldırı vektörlerini, açıklarını ve risk senaryolarını tasarım aşamasında proaktif biçimde haritalandıran yapılandırılmış bir güvenlik metodolojisidir. Güvenlik mühendisliğinin "önce düşman gibi düşün" ilkesine dayanır: korunulacak varlıkları (data, model, API), olası saldırganları (dış aktörler, içeriden tehditler) ve saldırı yollarını sistematik biçimde listeler. Microsoft'ta Loren Kohnfelder ve Praerit Garg tarafından 1999'da geliştirilen STRIDE çerçevesi, tehdit modellemesinin temel metodolojik taşını oluşturur. STRIDE kısaltması şu altı tehdit türünü ifade eder: Spoofing (kimlik sahteciliği), Tampering (veri bütünlüğünün bozulması), Repudiation (inkâr edilemezlik ihlali), Information Disclosure (gizli bilginin sızdırılması), Denial of Service (hizmet engelleme) ve Elevation of Privilege (ayrıcalık yükseltme). Her sistem bileşeni bu altı eksen boyunca değerlendirilir. Yapay zeka sistemlerinin yaygınlaşmasıyla alan, AI'ya özgü çerçevelerle genişledi. MITRE ATLAS (Adversarial Threat Landscape for Artificial-Intelligence Systems), AI sistemlerine yönelik gerçek saldırı vakalarını taksonomi hâlinde derler; v5.4.0 sürümü 16 taktik, 84 teknik ve 42 vaka çalışması içermektedir. OWASP LLM Top 10 ise büyük dil modellerine özgü riskleri, başta prompt injection ve eğitim verisi zehirlenmesi olmak üzere, öncelikli sırayla listeler. AI sistemlerine özgü başlıca tehdit kategorileri şunlardır: veri zehirlenmesi (training data poisoning) eğitim setine kötü niyetli örnekler enjekte ederek model davranışını manipüle eder; model çalma (model extraction), siyah-kutu sorgularla modelin işlevsel kopyasını çıkarma girişimidir; düşmanca örnekler (adversarial examples), insan gözüne normal görünen ama modeli yanıltan girdilerdir; prompt injection ise LLM uygulamalarında sistem yönergelerini devre dışı bırakmayı ya da gizli verilere erişimi hedefler. Tehdit modelleme süreci tipik olarak beş adımda yürütülür: kapsam ve varlıkların tanımlanması, veri akış diyagramlarının (DFD) oluşturulması, tehditlerin belirlenmesi (STRIDE veya başka çerçeveyle), risk değerlendirmesi (etki × olasılık matrisi) ve azaltma önlemlerinin planlanması. Türkiye'de BDDK, BTK ve KVKK kapsamındaki düzenlemeler finansal ve kişisel veri işleyen AI uygulamalarında tehdit modelleme belgesi talep etmektedir.