tag AI güvenliği
Tehdit Modellemesi (Tehdit Modellemesi)
Bu sayfada AI güvenliği (Tehdit Modellemesi (Tehdit Modellemesi)) etiketi ile işaretlenmiş 6 yapay zeka kavramını bulabilirsiniz.
Tehdit modellemesi (threat modeling), bir sistemin güvenliğini tehdit edebilecek potansiyel saldırı vektörlerini, açıklarını ve risk senaryolarını tasarım aşamasında proaktif biçimde haritalandıran yapılandırılmış bir güvenlik metodolojisidir. Güvenlik mühendisliğinin "önce düşman gibi düşün" ilkesine dayanır: korunulacak varlıkları (data, model, API), olası saldırganları (dış aktörler, içeriden tehditler) ve saldırı yollarını sistematik biçimde listeler. Microsoft'ta Loren Kohnfelder ve Praerit Garg tarafından 1999'da geliştirilen STRIDE çerçevesi, tehdit modellemesinin temel metodolojik taşını oluşturur. STRIDE kısaltması şu altı tehdit türünü ifade eder: Spoofing (kimlik sahteciliği), Tampering (veri bütünlüğünün bozulması), Repudiation (inkâr edilemezlik ihlali), Information Disclosure (gizli bilginin sızdırılması), Denial of Service (hizmet engelleme) ve Elevation of Privilege (ayrıcalık yükseltme). Her sistem bileşeni bu altı eksen boyunca değerlendirilir. Yapay zeka sistemlerinin yaygınlaşmasıyla alan, AI'ya özgü çerçevelerle genişledi. MITRE ATLAS (Adversarial Threat Landscape for Artificial-Intelligence Systems), AI sistemlerine yönelik gerçek saldırı vakalarını taksonomi hâlinde derler; v5.4.0 sürümü 16 taktik, 84 teknik ve 42 vaka çalışması içermektedir. OWASP LLM Top 10 ise büyük dil modellerine özgü riskleri, başta prompt injection ve eğitim verisi zehirlenmesi olmak üzere, öncelikli sırayla listeler. AI sistemlerine özgü başlıca tehdit kategorileri şunlardır: veri zehirlenmesi (training data poisoning) eğitim setine kötü niyetli örnekler enjekte ederek model davranışını manipüle eder; model çalma (model extraction), siyah-kutu sorgularla modelin işlevsel kopyasını çıkarma girişimidir; düşmanca örnekler (adversarial examples), insan gözüne normal görünen ama modeli yanıltan girdilerdir; prompt injection ise LLM uygulamalarında sistem yönergelerini devre dışı bırakmayı ya da gizli verilere erişimi hedefler. Tehdit modelleme süreci tipik olarak beş adımda yürütülür: kapsam ve varlıkların tanımlanması, veri akış diyagramlarının (DFD) oluşturulması, tehditlerin belirlenmesi (STRIDE veya başka çerçeveyle), risk değerlendirmesi (etki × olasılık matrisi) ve azaltma önlemlerinin planlanması. Türkiye'de BDDK, BTK ve KVKK kapsamındaki düzenlemeler finansal ve kişisel veri işleyen AI uygulamalarında tehdit modelleme belgesi talep etmektedir.
Tehdit Modellemesi (Tehdit Modellemesi)
Tehdit modellemesi (threat modeling), bir sistemin güvenliğini tehdit edebilecek potansiyel saldırı vektörlerini, açıklarını ve risk senaryolarını tasarım aşamasında proaktif biçimde haritalandıran yapılandırılmış bir güvenlik metodolojisidir. Güvenlik mühendisliğinin "önce düşman gibi düşün" ilkesine dayanır: korunulacak varlıkları (data, model, API), olası saldırganları (dış aktörler, içeriden tehditler) ve saldırı yollarını sistematik biçimde listeler. Microsoft'ta Loren Kohnfelder ve Praerit Garg tarafından 1999'da geliştirilen STRIDE çerçevesi, tehdit modellemesinin temel metodolojik taşını oluşturur. STRIDE kısaltması şu altı tehdit türünü ifade eder: Spoofing (kimlik sahteciliği), Tampering (veri bütünlüğünün bozulması), Repudiation (inkâr edilemezlik ihlali), Information Disclosure (gizli bilginin sızdırılması), Denial of Service (hizmet engelleme) ve Elevation of Privilege (ayrıcalık yükseltme). Her sistem bileşeni bu altı eksen boyunca değerlendirilir. Yapay zeka sistemlerinin yaygınlaşmasıyla alan, AI'ya özgü çerçevelerle genişledi. MITRE ATLAS (Adversarial Threat Landscape for Artificial-Intelligence Systems), AI sistemlerine yönelik gerçek saldırı vakalarını taksonomi hâlinde derler; v5.4.0 sürümü 16 taktik, 84 teknik ve 42 vaka çalışması içermektedir. OWASP LLM Top 10 ise büyük dil modellerine özgü riskleri, başta prompt injection ve eğitim verisi zehirlenmesi olmak üzere, öncelikli sırayla listeler. AI sistemlerine özgü başlıca tehdit kategorileri şunlardır: veri zehirlenmesi (training data poisoning) eğitim setine kötü niyetli örnekler enjekte ederek model davranışını manipüle eder; model çalma (model extraction), siyah-kutu sorgularla modelin işlevsel kopyasını çıkarma girişimidir; düşmanca örnekler (adversarial examples), insan gözüne normal görünen ama modeli yanıltan girdilerdir; prompt injection ise LLM uygulamalarında sistem yönergelerini devre dışı bırakmayı ya da gizli verilere erişimi hedefler. Tehdit modelleme süreci tipik olarak beş adımda yürütülür: kapsam ve varlıkların tanımlanması, veri akış diyagramlarının (DFD) oluşturulması, tehditlerin belirlenmesi (STRIDE veya başka çerçeveyle), risk değerlendirmesi (etki × olasılık matrisi) ve azaltma önlemlerinin planlanması. Türkiye'de BDDK, BTK ve KVKK kapsamındaki düzenlemeler finansal ve kişisel veri işleyen AI uygulamalarında tehdit modelleme belgesi talep etmektedir.
AGI (Yapay Genel Zeka)
AGI (Artificial General Intelligence — Yapay Genel Zeka), bir insanın yapabileceği her türlü zihinsel ve bilişsel görevi en az insan düzeyinde anlayabilen, öğrenebilen ve uygulayabilen teorik yapay zeka sistemidir. Günümüzdeki yapay zeka sistemlerinin tamamı "Dar Yapay Zeka" (Narrow AI) kategorisindedir: satrançta dünya şampiyonunu yenebilirler ya da doğal dil üretiminde büyük başarı gösterebilirler; ancak insan gibi bağlamlar arası geçiş yapamaz, yeni alanlara kendiliğinden uyum sağlayamazlar. AGI ile Narrow AI arasındaki temel fark "transfer" kapasitesidir. İnsan zekası, yeni bir durumda daha önce öğrenilmiş kavramları yeniden yapılandırabilir ve değişmeyen ilkeleri tanıyabilir; bu yeteneğe "çerçeve dışı genelleme" denir. Mevcut büyük dil modelleri (GPT-4, Gemini, Claude) bu yeteneğe kısmi yaklaşım sergilese de araştırmacılar bu durumu gerçek AGI olarak tanımlamaz. AGI'ye giden yolda öne sürülen teorik yaklaşımlar çeşitlidir. Ölçekleme hipotezi, yeterince büyük modellerin belirli bir eşiği geçtikten sonra AGI düzeyine ulaşabileceğini savunur. Alternatif olarak nörobilimden ilham alan modeller, bilişin bir bütün olarak taklit edilmesi gerektiğini öne sürmektedir. OpenAI, DeepMind ve Anthropic AGI'nin bu on yılın sonuna kadar ulaşılabilir bir hedef olduğunu değerlendirirken pek çok araştırmacı bu öngörüyü iyimser bulmaktadır. Güvenlik boyutuyla AGI araştırmaları, "hizalama problemi" olarak bilinen temel soruyu gündeme taşır: İnsan düzeyinde bir zekayı insan değerleriyle uyumlu biçimde çalışacak şekilde nasıl garantileriz? Bu soru yapay zeka güvenliği araştırmalarının merkezi sorunsalı haline gelmiştir. Türkiye'de AGI tartışmaları hem akademik camiada hem de teknoloji politikası çevrelerinde giderek daha fazla yer bulmaktadır. Otonom ajan sistemleri, çok adımlı planlama yetenekleri ve araç kullanımıyla (tool use) AGI tartışmalarına yeni bir boyut kazandırmıştır. Bu sistemlerin bir sonraki kritik eşiği aşıp aşmayacağı; epistemik bütünlük, nedensel muhakeme ve öz-farkındalık yeteneklerinin kazanılmasına bağlı olduğu düşünülmektedir. ASI (Artificial Superintelligence) ise AGI'nin ötesinde insan zekasını her alanda çok katbe geçen bir teorik sonraki adıma karşılık gelmektedir.
Guardrails (AI Koruyucuları)
Guardrails (AI Koruyucuları), bir yapay zeka sisteminin çıktısını denetleyerek zararlı, yanıltıcı, önyargılı veya hizmet politikasıyla çelişen içerikleri engellemeye ya da yönlendirmeye yarayan teknik ve süreçsel kontrol mekanizmalarıdır. Büyük dil modellerinin giderek daha geniş kullanıcı kitlesine ulaşmasıyla birlikte bu mekanizmalar yapay zeka güvenliğinin temel yapı taşı haline gelmiştir. Guardrails, uygulama katmanına göre farklı biçimler alır. Giriş guardrails (input guardrails), kullanıcının gönderdiği prompt'u modele iletilmeden önce denetler; nefret söylemi, kişisel veri sızıntısı veya prompt injection girişimlerini erken aşamada filtreler. Çıkış guardrails (output guardrails), modelin ürettiği metni kullanıcıya gösterilmeden önce inceler ve politika ihlalleri için yanıtı engeller, değiştirir ya da uyarıyla işaretler. Teknik uygulamada guardrails farklı yöntemlerle hayata geçirilir. Kural tabanlı filtreler, yasak kelime listeleri ve düzenli ifade kalıpları aracılığıyla çalışır; hızlı ve deterministiktir ancak bağlam duyarsızdır. Model tabanlı guardrails ise bir sınıflandırıcı veya başka bir dil modeli kullanarak içeriği değerlendirir; bağlamı dikkate alır fakat ek gecikme ve maliyet getirir. OpenAI'nin Moderation API'si ve Meta'nın Llama Guard modeli bu kategorinin önde gelen örnekleridir. Açık kaynak çerçeveler de bu alanda öne çıkmaktadır. NVIDIA NeMo Guardrails ve Guardrails AI (RAIL spesifikasyonu) konu kontrolü, dil şablonu ve olgusallık doğrulama gibi gelişmiş politika katmanları ekler. Amazon Bedrock ve Azure OpenAI gibi kurumsal platformlar ise guardrails özelliklerini yönetilen hizmet olarak sunar. Guardrails yalnızca içerik politikasıyla sınırlı değildir. Kurumsal uygulamalarda kapsam dışı konular (topic filtering), telif hakkı koruması, kişisel verilerin maskelenmesi (PII masking) ve çıktı formatının doğrulanması (structured output validation) da guardrails kapsamında ele alınır. Doğru bir guardrails mimarisi, kullanıcı deneyimini bozmadan model güvenliğini ve uyum gerekliliklerini karşılamalı; sürekli red takımı egzersizleri ve gerçek kullanım verisiyle kalibre edilmelidir.
Membership Inference Attack (Membership Inference Attack (Üyelik Çıkarım Saldırısı))
Membership Inference Attack (Üyelik Çıkarım Saldırısı), bir makine öğrenimi modelinin eğitim kümesinde belirli bir veri kaydının bulunup bulunmadığını belirlemeye çalışan bir gizlilik saldırısı türüdür. Bu saldırı, modelin eğitim verisine karşı genellikle aşırı uyum (overfitting) sergilemesi ve eğitim örneklerini görülmemiş örneklerden farklı işlemesi olgusuna dayanır. Teknik 2017 yılında Shokri ve arkadaşları tarafından "Membership Inference Attacks Against Machine Learning Models" başlıklı çalışmada sistematik biçimde tanımlandı. Saldırgan bir "shadow model" (gölge model) eğiterek hedef modelin davranışını taklit eder ve bu sayede eğitim/test ayrımını öğrenen bir "attack model" oluşturur. Hedef modelin yüksek güven ile döndürdüğü tahminler genellikle eğitim üyesi işaretinin taşıyıcısıdır. Saldırının pratik anlamı son derece büyüktür. Tıbbi veritabanlarından eğitilen bir modele karşı yapılan üyelik çıkarımı, belirli bir hastanın o veritabanında kayıtlı olup olmadığını açığa çıkarabilir. Finansal ve hukuki verilerde benzer riskler söz konusudur. Kullanıcı verisinin modele katılımı aynı zamanda GDPR kapsamında "kişisel veri işleme" sayılabilmekte, bu durum üyelik çıkarım açığını yasal bir yükümlülük haline getirmektedir. Savunma yöntemleri arasında Differential Privacy (DP-SGD) en güçlü teorik garantiyi sunar: eğitim algoritması, herhangi bir tekil örneğin modele katkısını matematiksel olarak sınırlandırır. L2 regularizasyon ve dropout gibi overfitting azaltma teknikleri dolaylı ama pratik savunma sağlar. Model çıktılarını yumuşatan sıcaklık kalibrasyonu ve olasılık vektörü yerine yalnızca top-1 sınıf döndürme de riski azaltır. Knowledge distillation ise hassas veriyle eğitilmiş modelin bilgisini genel bir öğrenci modele aktararak doğrudan eğitim bağını koparır. Membership inference, makine öğrenimi gizlilik araştırmalarının en aktif kollarından birini oluşturmaktadır. Federated learning, dağıtık bir eğitim paradigması sunarken gradyan güncellemelerinden üyelik çıkarımı yapılabildiği gösterilmiştir; bu nedenle güvenli toplama (secure aggregation) ve diferansiyel gizlilik eklenmesi zorunludur. KVKK kapsamında faaliyet gösteren Türk kuruluşların da model gizlilik risk değerlendirmesi yapması giderek beklenen bir uygulama haline gelmektedir.
Supply Chain Attack (Tedarik Zinciri Saldırısı)
Tedarik Zinciri Saldırısı (Supply Chain Attack), saldırganların doğrudan hedef sisteme saldırmak yerine güvenilen bir üçüncü taraf yazılım bileşenini, kütüphaneyi, paketi veya hizmet sağlayıcısını ele geçirerek hedeflere dolaylı yoldan ulaştığı bir siber saldırı vektörüdür. "Upstream'i zehirle, downstream'i yakala" prensibiyle çalışır: hedef organizasyon kendi güvenlik önlemlerini uygulasa bile, güvendiği bir bileşen zaten ele geçirilmişse korumasız kalır. Yazılım tedarik zinciri bağlamında 2020'deki SolarWinds Sunburst saldırısı, 18.000'den fazla kurumun güncelleme mekanizması aracılığıyla arka kapı (backdoor) yerleştirilmiş yazılım aldığını göstererek türün en büyük vakası hâline geldi. 2024'te XZ Utils kütüphanesine yapılan saldırı, açık kaynak bileşenlerin uzun soluklu sosyal mühendislik yoluyla nasıl tehlikeye atılabileceğini ortaya koydu. Yapay zeka ekosistemi bu saldırılar için yeni ve kritik bir yüzey oluşturmuştur. Model tedarik zinciri saldırıları üç ana biçimde gerçekleşir. Birincisi, Hugging Face veya başka model havuzlarına yüklenen önceden eğitilmiş modellerin zararlı ağırlıklar veya backdoor içermesidir; güvenilmez kaynaklardan indirilen modeller, belirli girdi kalıplarında beklenmedik davranış üretebilir. İkincisi, Python paket ekosistemindeki typosquatting saldırılarıdır; `transformers` yerine `transfromers` gibi yazım hatası içeren kötü amaçlı paketler pip üzerinden yayılır. Üçüncüsü, MLOps araç zincirinin (CI/CD pipeline'ları, eğitim ortamları) ele geçirilmesiyle model eğitimi sırasında manipülasyon yapılmasıdır. Savunma stratejileri model ve paket bütünlüğü doğrulamasını (kriptografik hash kontrolü, dijital imza), güvenilir kaynaklardan (yalnızca onaylı kayıt defterlerinden) bileşen tüketimini, software bill of materials (SBOM) oluşturulmasını ve model davranışının üretim ortamında sürekli izlenmesini kapsar. SLSA (Supply-chain Levels for Software Artifacts) çerçevesi ve MITRE ATLAS AI tedarik zinciri taktikleri bu alanda rehber standartlardır. Türkiye'de kamu kurumları ve kritik altyapı operatörleri, siber güvenlik mevzuatı (BTK/USOM kılavuzları) kapsamında üçüncü taraf yazılım bağımlılıklarının güvenlik denetimini içeren tedarik zinciri risk yönetim planı hazırlamakla yükümlü kılınmaktadır.
Model Extraction (Model Çıkarma Saldırısı Nedir? Yapay Zeka Güvenlik Tehdidi)
Model extraction (model çalma veya model kopyalama), bir saldırganın hedef makine öğrenimi modeline API üzerinden erişerek, parametrelerine ya da eğitim verilerine doğrudan ulaşmadan, modelin davranışını kopyalayan işlevsel bir vekil model (surrogate model) oluşturduğu siber güvenlik saldırısıdır. Saldırının temel mantığı şöyledir: rakip, hedef modele (kurbanın API'sine) büyük hacimde girdi gönderir, döndürülen tahminleri veya güven puanlarını etiketli veri olarak kaydeder ve bu verilerle kendi modelini eğitir. Yeterli sorgu sayısına ulaşıldığında, ortaya çıkan vekil model orijinaline işlevsel olarak yakın veya eşdeğer hale gelir. Saldırıyı önemli kılan, olağanüstü düşük maliyetidir. 2016'da Tramer ve ark. tarafından yürütülen kurucu çalışmada Microsoft Azure, Amazon ve BigML gibi ticari MLaaS platformlarındaki lojistik regresyon ve karar ağacı modellerinin 1.000 ila 10.000 sorgu gibi küçük bir bütçeyle yüksek doğrulukla kopyalanabildiği gösterildi. Saldırının teknik varyantları üç başlıkta toplanır. Sorgu tabanlı çıkarmada, saldırgan aktif öğrenme veya adversarial girdilerle sorgu başına bilgi kazanımını en üst düzeye çıkarmaya çalışır. Açıklanabilirlik güdümlü çıkarmada, SHAP veya LIME gibi model yorumlama API'leri istismar edilerek modelin içselliği çok daha hızlı sızdırılır. Veri serbest çıkarmada (USENIX Security 2024) ise saldırganın çekirdek veri setine ihtiyaç duymaksızın, yapay olarak üretilen girdilerle saldırı gerçekleştirmesi mümkündür. LLM'lere özgü iki yeni tehdit sınıfı 2023-2024'te ortaya çıktı. "Model Leeching" adıyla bilinen yöntem, büyük dil modellerinin ince ayarlı davranışını query'lerle klonlar. PLeak (2024) ise sistem promptlarını ve uygulamaya özgü kişiselleştirmeleri çalmayı hedefler. Gerçek dünya etkisi son derece somuttur: önce fikri mülkiyet hırsızlığı (on milyonlarca dolarlık eğitim maliyetini yok sayan kopya model), ardından gizlilik ihlali (eğitim verisi üyelik çıkarım saldırılarına zemin hazırlama) ve son olarak güvenlik by-pass (kredi skorlama veya sahtekarlık tespiti gibi korumalı sistemlerin kapısını açma) şeklinde tezahür eder. Savunma cephesinde birkaç yaklaşım öne çıkmaktadır. PRADA gibi anomali tespit sistemleri oturumlardaki şüpheli sorgu örüntülerini tanır; güven skoru pertürbasyonu bilgi teorik sınırlar dahilinde skor kesinliğini azaltır; model filigranı (watermarking) tekniklerinden ModelShield (IEEE TIFS 2025) çalınan kopyalara tespiti mümkün kılan izler yerleştirir. Eğitim sürecinde diferansiyel gizlilik uygulanması da sızdırılabilir bilgiyi matematiksel garantilerle sınırlandırır.