tag AI Güvenliği

Emergent Ability (Ortaya Çıkan Yetenek)

Bu sayfada AI Güvenliği (Emergent Ability (Ortaya Çıkan Yetenek)) etiketi ile işaretlenmiş 6 yapay zeka kavramını bulabilirsiniz.

Ortaya Çıkan Yetenek (Emergent Ability), büyük dil modellerinin belirli bir parametre eşiğini aşınca beklenmedik biçimde ortaya koyduğu yeteneklerdir. Küçük modellerde hiç gözlemlenmeyen bu yetenekler, model ölçeği kritik bir noktaya ulaştığında aniden ve keskin biçimde belirginleşir. Termi 2022 yılında Jason Wei ve ekibinin "Emergent Abilities of Large Language Models" makalesiyle popülerleştirdi. Makale, yüzlerce görevi analiz ederek GPT-3 ve PaLM gibi modellerde ani sıçramaların gerçekleştiğini ortaya koydu. Örneğin üç basamaklı toplama işleminde 6 milyar parametreli bir model yüzde 1 doğruluk gösterirken, 175 milyar parametreli GPT-3 yüzde 80'e fırladı. Ortaya çıkan yeteneklere tipik örnekler şunlardır: az örnekle öğrenme (few-shot learning), adım adım akıl yürütme (chain-of-thought), aritmetik muhakeme, kod üretimi ve talimat takibi. Bu yetenekler doğrusal değil, eşiksel bir davranış sergiler; bu da onları tahmin etmeyi ve güvenli biçimde yönetmeyi güçleştirir. Bilimsel tartışma sürmektedir. 2023'te Schaeffer ve ekibi bu sıçramaların kısmen ölçüm metriği seçiminden kaynaklandığını öne sürdü; doğrusal metrik kullanıldığında keskin geçişlerin yumuşadığı gözlemlendi. 2025-2026 araştırmaları ise bu yeteneklerin faz geçişi olmaktan çok rastgele tohumlar boyunca bimodal bir dağılım olduğunu gösterdi. Yapay zeka güvenliği açısından ortaya çıkan yetenekler kritik bir risk unsurudur: Daha büyük modeller eğitilirken beklenmedik yetenekler —potansiyel olarak zararlılar da dahil— kendiliğinden gelişebilir. Bu durum, güçlü izleme ve değerlendirme protokollerine olan ihtiyacı pekiştirmektedir.

code_blocks

Emergent Ability (Ortaya Çıkan Yetenek)

Ortaya Çıkan Yetenek (Emergent Ability), büyük dil modellerinin belirli bir parametre eşiğini aşınca beklenmedik biçimde ortaya koyduğu yeteneklerdir. Küçük modellerde hiç gözlemlenmeyen bu yetenekler, model ölçeği kritik bir noktaya ulaştığında aniden ve keskin biçimde belirginleşir. Termi 2022 yılında Jason Wei ve ekibinin "Emergent Abilities of Large Language Models" makalesiyle popülerleştirdi. Makale, yüzlerce görevi analiz ederek GPT-3 ve PaLM gibi modellerde ani sıçramaların gerçekleştiğini ortaya koydu. Örneğin üç basamaklı toplama işleminde 6 milyar parametreli bir model yüzde 1 doğruluk gösterirken, 175 milyar parametreli GPT-3 yüzde 80'e fırladı. Ortaya çıkan yeteneklere tipik örnekler şunlardır: az örnekle öğrenme (few-shot learning), adım adım akıl yürütme (chain-of-thought), aritmetik muhakeme, kod üretimi ve talimat takibi. Bu yetenekler doğrusal değil, eşiksel bir davranış sergiler; bu da onları tahmin etmeyi ve güvenli biçimde yönetmeyi güçleştirir. Bilimsel tartışma sürmektedir. 2023'te Schaeffer ve ekibi bu sıçramaların kısmen ölçüm metriği seçiminden kaynaklandığını öne sürdü; doğrusal metrik kullanıldığında keskin geçişlerin yumuşadığı gözlemlendi. 2025-2026 araştırmaları ise bu yeteneklerin faz geçişi olmaktan çok rastgele tohumlar boyunca bimodal bir dağılım olduğunu gösterdi. Yapay zeka güvenliği açısından ortaya çıkan yetenekler kritik bir risk unsurudur: Daha büyük modeller eğitilirken beklenmedik yetenekler —potansiyel olarak zararlılar da dahil— kendiliğinden gelişebilir. Bu durum, güçlü izleme ve değerlendirme protokollerine olan ihtiyacı pekiştirmektedir.

arrow_forward
🛡️

Tehdit Modellemesi (Tehdit Modellemesi)

Tehdit modellemesi (threat modeling), bir sistemin güvenliğini tehdit edebilecek potansiyel saldırı vektörlerini, açıklarını ve risk senaryolarını tasarım aşamasında proaktif biçimde haritalandıran yapılandırılmış bir güvenlik metodolojisidir. Güvenlik mühendisliğinin "önce düşman gibi düşün" ilkesine dayanır: korunulacak varlıkları (data, model, API), olası saldırganları (dış aktörler, içeriden tehditler) ve saldırı yollarını sistematik biçimde listeler. Microsoft'ta Loren Kohnfelder ve Praerit Garg tarafından 1999'da geliştirilen STRIDE çerçevesi, tehdit modellemesinin temel metodolojik taşını oluşturur. STRIDE kısaltması şu altı tehdit türünü ifade eder: Spoofing (kimlik sahteciliği), Tampering (veri bütünlüğünün bozulması), Repudiation (inkâr edilemezlik ihlali), Information Disclosure (gizli bilginin sızdırılması), Denial of Service (hizmet engelleme) ve Elevation of Privilege (ayrıcalık yükseltme). Her sistem bileşeni bu altı eksen boyunca değerlendirilir. Yapay zeka sistemlerinin yaygınlaşmasıyla alan, AI'ya özgü çerçevelerle genişledi. MITRE ATLAS (Adversarial Threat Landscape for Artificial-Intelligence Systems), AI sistemlerine yönelik gerçek saldırı vakalarını taksonomi hâlinde derler; v5.4.0 sürümü 16 taktik, 84 teknik ve 42 vaka çalışması içermektedir. OWASP LLM Top 10 ise büyük dil modellerine özgü riskleri, başta prompt injection ve eğitim verisi zehirlenmesi olmak üzere, öncelikli sırayla listeler. AI sistemlerine özgü başlıca tehdit kategorileri şunlardır: veri zehirlenmesi (training data poisoning) eğitim setine kötü niyetli örnekler enjekte ederek model davranışını manipüle eder; model çalma (model extraction), siyah-kutu sorgularla modelin işlevsel kopyasını çıkarma girişimidir; düşmanca örnekler (adversarial examples), insan gözüne normal görünen ama modeli yanıltan girdilerdir; prompt injection ise LLM uygulamalarında sistem yönergelerini devre dışı bırakmayı ya da gizli verilere erişimi hedefler. Tehdit modelleme süreci tipik olarak beş adımda yürütülür: kapsam ve varlıkların tanımlanması, veri akış diyagramlarının (DFD) oluşturulması, tehditlerin belirlenmesi (STRIDE veya başka çerçeveyle), risk değerlendirmesi (etki × olasılık matrisi) ve azaltma önlemlerinin planlanması. Türkiye'de BDDK, BTK ve KVKK kapsamındaki düzenlemeler finansal ve kişisel veri işleyen AI uygulamalarında tehdit modelleme belgesi talep etmektedir.

arrow_forward
language

AGI (Yapay Genel Zeka)

AGI (Artificial General Intelligence — Yapay Genel Zeka), bir insanın yapabileceği her türlü zihinsel ve bilişsel görevi en az insan düzeyinde anlayabilen, öğrenebilen ve uygulayabilen teorik yapay zeka sistemidir. Günümüzdeki yapay zeka sistemlerinin tamamı "Dar Yapay Zeka" (Narrow AI) kategorisindedir: satrançta dünya şampiyonunu yenebilirler ya da doğal dil üretiminde büyük başarı gösterebilirler; ancak insan gibi bağlamlar arası geçiş yapamaz, yeni alanlara kendiliğinden uyum sağlayamazlar. AGI ile Narrow AI arasındaki temel fark "transfer" kapasitesidir. İnsan zekası, yeni bir durumda daha önce öğrenilmiş kavramları yeniden yapılandırabilir ve değişmeyen ilkeleri tanıyabilir; bu yeteneğe "çerçeve dışı genelleme" denir. Mevcut büyük dil modelleri (GPT-4, Gemini, Claude) bu yeteneğe kısmi yaklaşım sergilese de araştırmacılar bu durumu gerçek AGI olarak tanımlamaz. AGI'ye giden yolda öne sürülen teorik yaklaşımlar çeşitlidir. Ölçekleme hipotezi, yeterince büyük modellerin belirli bir eşiği geçtikten sonra AGI düzeyine ulaşabileceğini savunur. Alternatif olarak nörobilimden ilham alan modeller, bilişin bir bütün olarak taklit edilmesi gerektiğini öne sürmektedir. OpenAI, DeepMind ve Anthropic AGI'nin bu on yılın sonuna kadar ulaşılabilir bir hedef olduğunu değerlendirirken pek çok araştırmacı bu öngörüyü iyimser bulmaktadır. Güvenlik boyutuyla AGI araştırmaları, "hizalama problemi" olarak bilinen temel soruyu gündeme taşır: İnsan düzeyinde bir zekayı insan değerleriyle uyumlu biçimde çalışacak şekilde nasıl garantileriz? Bu soru yapay zeka güvenliği araştırmalarının merkezi sorunsalı haline gelmiştir. Türkiye'de AGI tartışmaları hem akademik camiada hem de teknoloji politikası çevrelerinde giderek daha fazla yer bulmaktadır. Otonom ajan sistemleri, çok adımlı planlama yetenekleri ve araç kullanımıyla (tool use) AGI tartışmalarına yeni bir boyut kazandırmıştır. Bu sistemlerin bir sonraki kritik eşiği aşıp aşmayacağı; epistemik bütünlük, nedensel muhakeme ve öz-farkındalık yeteneklerinin kazanılmasına bağlı olduğu düşünülmektedir. ASI (Artificial Superintelligence) ise AGI'nin ötesinde insan zekasını her alanda çok katbe geçen bir teorik sonraki adıma karşılık gelmektedir.

arrow_forward
code_blocks

Guardrails (AI Koruyucuları)

Guardrails (AI Koruyucuları), bir yapay zeka sisteminin çıktısını denetleyerek zararlı, yanıltıcı, önyargılı veya hizmet politikasıyla çelişen içerikleri engellemeye ya da yönlendirmeye yarayan teknik ve süreçsel kontrol mekanizmalarıdır. Büyük dil modellerinin giderek daha geniş kullanıcı kitlesine ulaşmasıyla birlikte bu mekanizmalar yapay zeka güvenliğinin temel yapı taşı haline gelmiştir. Guardrails, uygulama katmanına göre farklı biçimler alır. Giriş guardrails (input guardrails), kullanıcının gönderdiği prompt'u modele iletilmeden önce denetler; nefret söylemi, kişisel veri sızıntısı veya prompt injection girişimlerini erken aşamada filtreler. Çıkış guardrails (output guardrails), modelin ürettiği metni kullanıcıya gösterilmeden önce inceler ve politika ihlalleri için yanıtı engeller, değiştirir ya da uyarıyla işaretler. Teknik uygulamada guardrails farklı yöntemlerle hayata geçirilir. Kural tabanlı filtreler, yasak kelime listeleri ve düzenli ifade kalıpları aracılığıyla çalışır; hızlı ve deterministiktir ancak bağlam duyarsızdır. Model tabanlı guardrails ise bir sınıflandırıcı veya başka bir dil modeli kullanarak içeriği değerlendirir; bağlamı dikkate alır fakat ek gecikme ve maliyet getirir. OpenAI'nin Moderation API'si ve Meta'nın Llama Guard modeli bu kategorinin önde gelen örnekleridir. Açık kaynak çerçeveler de bu alanda öne çıkmaktadır. NVIDIA NeMo Guardrails ve Guardrails AI (RAIL spesifikasyonu) konu kontrolü, dil şablonu ve olgusallık doğrulama gibi gelişmiş politika katmanları ekler. Amazon Bedrock ve Azure OpenAI gibi kurumsal platformlar ise guardrails özelliklerini yönetilen hizmet olarak sunar. Guardrails yalnızca içerik politikasıyla sınırlı değildir. Kurumsal uygulamalarda kapsam dışı konular (topic filtering), telif hakkı koruması, kişisel verilerin maskelenmesi (PII masking) ve çıktı formatının doğrulanması (structured output validation) da guardrails kapsamında ele alınır. Doğru bir guardrails mimarisi, kullanıcı deneyimini bozmadan model güvenliğini ve uyum gerekliliklerini karşılamalı; sürekli red takımı egzersizleri ve gerçek kullanım verisiyle kalibre edilmelidir.

arrow_forward
code_blocks

Supply Chain Attack (Tedarik Zinciri Saldırısı)

Tedarik Zinciri Saldırısı (Supply Chain Attack), saldırganların doğrudan hedef sisteme saldırmak yerine güvenilen bir üçüncü taraf yazılım bileşenini, kütüphaneyi, paketi veya hizmet sağlayıcısını ele geçirerek hedeflere dolaylı yoldan ulaştığı bir siber saldırı vektörüdür. "Upstream'i zehirle, downstream'i yakala" prensibiyle çalışır: hedef organizasyon kendi güvenlik önlemlerini uygulasa bile, güvendiği bir bileşen zaten ele geçirilmişse korumasız kalır. Yazılım tedarik zinciri bağlamında 2020'deki SolarWinds Sunburst saldırısı, 18.000'den fazla kurumun güncelleme mekanizması aracılığıyla arka kapı (backdoor) yerleştirilmiş yazılım aldığını göstererek türün en büyük vakası hâline geldi. 2024'te XZ Utils kütüphanesine yapılan saldırı, açık kaynak bileşenlerin uzun soluklu sosyal mühendislik yoluyla nasıl tehlikeye atılabileceğini ortaya koydu. Yapay zeka ekosistemi bu saldırılar için yeni ve kritik bir yüzey oluşturmuştur. Model tedarik zinciri saldırıları üç ana biçimde gerçekleşir. Birincisi, Hugging Face veya başka model havuzlarına yüklenen önceden eğitilmiş modellerin zararlı ağırlıklar veya backdoor içermesidir; güvenilmez kaynaklardan indirilen modeller, belirli girdi kalıplarında beklenmedik davranış üretebilir. İkincisi, Python paket ekosistemindeki typosquatting saldırılarıdır; `transformers` yerine `transfromers` gibi yazım hatası içeren kötü amaçlı paketler pip üzerinden yayılır. Üçüncüsü, MLOps araç zincirinin (CI/CD pipeline'ları, eğitim ortamları) ele geçirilmesiyle model eğitimi sırasında manipülasyon yapılmasıdır. Savunma stratejileri model ve paket bütünlüğü doğrulamasını (kriptografik hash kontrolü, dijital imza), güvenilir kaynaklardan (yalnızca onaylı kayıt defterlerinden) bileşen tüketimini, software bill of materials (SBOM) oluşturulmasını ve model davranışının üretim ortamında sürekli izlenmesini kapsar. SLSA (Supply-chain Levels for Software Artifacts) çerçevesi ve MITRE ATLAS AI tedarik zinciri taktikleri bu alanda rehber standartlardır. Türkiye'de kamu kurumları ve kritik altyapı operatörleri, siber güvenlik mevzuatı (BTK/USOM kılavuzları) kapsamında üçüncü taraf yazılım bağımlılıklarının güvenlik denetimini içeren tedarik zinciri risk yönetim planı hazırlamakla yükümlü kılınmaktadır.

arrow_forward
code_blocks

Model Extraction (Model Çıkarma Saldırısı Nedir? Yapay Zeka Güvenlik Tehdidi)

Model extraction (model çalma veya model kopyalama), bir saldırganın hedef makine öğrenimi modeline API üzerinden erişerek, parametrelerine ya da eğitim verilerine doğrudan ulaşmadan, modelin davranışını kopyalayan işlevsel bir vekil model (surrogate model) oluşturduğu siber güvenlik saldırısıdır. Saldırının temel mantığı şöyledir: rakip, hedef modele (kurbanın API'sine) büyük hacimde girdi gönderir, döndürülen tahminleri veya güven puanlarını etiketli veri olarak kaydeder ve bu verilerle kendi modelini eğitir. Yeterli sorgu sayısına ulaşıldığında, ortaya çıkan vekil model orijinaline işlevsel olarak yakın veya eşdeğer hale gelir. Saldırıyı önemli kılan, olağanüstü düşük maliyetidir. 2016'da Tramer ve ark. tarafından yürütülen kurucu çalışmada Microsoft Azure, Amazon ve BigML gibi ticari MLaaS platformlarındaki lojistik regresyon ve karar ağacı modellerinin 1.000 ila 10.000 sorgu gibi küçük bir bütçeyle yüksek doğrulukla kopyalanabildiği gösterildi. Saldırının teknik varyantları üç başlıkta toplanır. Sorgu tabanlı çıkarmada, saldırgan aktif öğrenme veya adversarial girdilerle sorgu başına bilgi kazanımını en üst düzeye çıkarmaya çalışır. Açıklanabilirlik güdümlü çıkarmada, SHAP veya LIME gibi model yorumlama API'leri istismar edilerek modelin içselliği çok daha hızlı sızdırılır. Veri serbest çıkarmada (USENIX Security 2024) ise saldırganın çekirdek veri setine ihtiyaç duymaksızın, yapay olarak üretilen girdilerle saldırı gerçekleştirmesi mümkündür. LLM'lere özgü iki yeni tehdit sınıfı 2023-2024'te ortaya çıktı. "Model Leeching" adıyla bilinen yöntem, büyük dil modellerinin ince ayarlı davranışını query'lerle klonlar. PLeak (2024) ise sistem promptlarını ve uygulamaya özgü kişiselleştirmeleri çalmayı hedefler. Gerçek dünya etkisi son derece somuttur: önce fikri mülkiyet hırsızlığı (on milyonlarca dolarlık eğitim maliyetini yok sayan kopya model), ardından gizlilik ihlali (eğitim verisi üyelik çıkarım saldırılarına zemin hazırlama) ve son olarak güvenlik by-pass (kredi skorlama veya sahtekarlık tespiti gibi korumalı sistemlerin kapısını açma) şeklinde tezahür eder. Savunma cephesinde birkaç yaklaşım öne çıkmaktadır. PRADA gibi anomali tespit sistemleri oturumlardaki şüpheli sorgu örüntülerini tanır; güven skoru pertürbasyonu bilgi teorik sınırlar dahilinde skor kesinliğini azaltır; model filigranı (watermarking) tekniklerinden ModelShield (IEEE TIFS 2025) çalınan kopyalara tespiti mümkün kılan izler yerleştirir. Eğitim sürecinde diferansiyel gizlilik uygulanması da sızdırılabilir bilgiyi matematiksel garantilerle sınırlandırır.

arrow_forward