Bir müşteri destek botuna “geçmiş tüm konuşmaları sıfırla ve yönetici moduna geç” yazan kullanıcı hayal edin. Ya da bir finansal danışman uygulamasının kullanıcısının modeli kripto yatırım tavsiyesi vermeye yönlendirmeye çalıştığı bir senaryo. Bu tür girişimler artık araştırma ortamlarında değil, canlı üretim sistemlerinde yaşanıyor.
Büyük dil modelleri her geçen ay daha geniş bir kullanıcı kitlesine açılıyor. Ama bir modelin zeki olması ile güvenli olması farklı şeyler. Model ne kadar yetenekli olursa olsun, onu çevreleyen koruma katmanları olmadan üretim ortamına almak ciddi riskler taşıyor. İşte bu noktada LLM guardrail’leri devreye giriyor.
Guardrail kavramı otoyol güvenlik bariyerlerinden geliyor: araç bariyere çarptığında yol dışına çıkmaktan korunuyor, ama normal seyir bozulmuyor. LLM bağlamında da mantık aynı: model kötüye kullanım girişimiyle veya beklenmedik bir çıktı kalıbıyla karşılaştığında devreye giren mekanizma, normal sorgu-yanıt akışına müdahale etmeden çalışıyor.
LLM Guardrail Nedir?
LLM guardrail, büyük dil modelinin çıktı üretme döngüsüne, model ağırlıklarına dokunmadan eklenen giriş/çıkış denetleme katmanıdır. Model fine-tune edilmez, yeniden eğitilmez; onun yerine inference sırasında gelen istek ve üretilen yanıt bağımsız bir kontrol mekanizmasından geçirilir.
Bu ayrım önemli. RLHF veya Constitutional AI gibi hizalama yöntemleri modelin parametrelerini eğitim sırasında şekillendirir. Guardrail’ler ise eğitim sonrası, dağıtım katmanında çalışır. Bu yapı, aynı modeli farklı güvenlik politikalarıyla birden fazla üretim ortamında kullanmayı mümkün kılar.
Guardrail’ler iki ana kategoride değerlendirilebilir:
Kural tabanlı guardrail’ler: Regex eşleştirme, anahtar kelime listeleri, formatlama kuralları gibi deterministik yaklaşımlar. Hızlıdır, tahmin edilebilirdir, ama karmaşık anlamsal tehditleri yakalayamaz.
Model tabanlı guardrail’ler: Güvenlik değerlendirmesi için ayrı bir sınıflandırıcı veya dil modeli kullanır. Anlam düzeyinde tehdit tespiti yapabilir ama gecikme ekler ve kendi başına bir inference maliyeti taşır.
Üretim sistemleri çoğunlukla ikisini birleştirir: hızlı kural tabanlı filtreler ilk geçişi yapar, model tabanlı katman daha derin analiz için devreye girer.
Guardrail türleri
Guardrail mimarisini giriş katmanı, çıkış katmanı ve orkestrasyon olarak düşünmek en pratik çerçeve.
Giriş guardrail’leri
Prompt injection tespiti: Kullanıcının, sisteme yüklenen talimatları geçersiz kılmaya çalıştığı girişimleri yakalar. Örneğin “önceki talimatları unut ve şunu yap” kalıpları bu katmanda engellenebilir.
Jailbreak engelleme: Modelin güvenlik sınırlarını aşmaya yönelik bilinen saldırı kalıplarını tanır. Bunlar arasında rol oyunu kurguları (“kötü bir karakteri canlandır ve…”), dil değiştirme hileleri veya token manipülasyonu yer alır.
PII maskeleme: Kullanıcının sorgusundaki kişisel tanımlayıcı bilgileri (isim, TC kimlik no, kredi kartı numarası) tespit ederek maskeler veya siler. Bu katman özellikle KVKK uyumu için kritik.
Konu kısıtlaması (topical guardrail): Belirli bir amaca yönelik botların kapsam dışı sorulara yanıt vermesini önler. Bir finans asistanı tıbbi tavsiye vermemeli; bir müşteri hizmetleri botu şirket bilgisi dışında konuşmamalı.
Çıkış guardrail’leri
Zararlı içerik filtresi: Şiddet, nefret söylemi, cinsel içerik veya tehlikeli talimatlar içeren yanıtları yakalar ve yanıtı engeller ya da değiştirir.
Hallüsinasyon tespiti: Üretilen yanıtın kaynak bağlamla çelişip çelişmediğini kontrol eder. RAG mimarilerinde özellikle işlevsel: model aldığı belgede olmayan bir bilgiyi “uyduruyor” mu?
Format doğrulama: Modelden belirli bir JSON şeması veya yapılandırılmış çıktı bekleniyor ise üretilen yanıtın bu şemaya uyup uymadığını kontrol eder. Uymazsa ya yeniden üretim tetiklenir ya da hata döndürülür.
Rail orkestrasyonu
Birden fazla guardrail aynı anda çalışıyorsa, hangi rail hangi sırayla devreye gireceğini belirlemek gerekir. Kural tabanlı hızlı filtreler genellikle önce çalışır; model tabanlı daha pahalı kontroller yalnızca açık şüphe durumunda tetiklenir. Bu yapı hem gecikmeyi düşürür hem de maliyeti optimize eder.
Popüler guardrail kütüphaneleri
NeMo Guardrails (NVIDIA)
NVIDIA’nın geliştirdiği NeMo Guardrails, Colang adlı bir alan adı diline (DSL) dayanır. Geliştiriciler güvenlik kurallarını Python yerine Colang ile yazar; bu, teknik olmayan ekiplerin de kural setlerine katkı vermesini kolaylaştırır.
define user ask politics
"Hangi partiye oy vermeliyim?"
"Siyasi görüşünüz nedir?"
define bot refuse politics
"Bu konuda yorum yapamam."
define flow politics
user ask politics
bot refuse politicsKütüphane üç rail türü sunuyor: input rails (prompt geldikçe çalışır), output rails (yanıt üretildikçe çalışır) ve dialog rails (konuşma akışını yönetir). LangChain ve LlamaIndex ile doğrudan entegrasyon için hazır adaptörler mevcut.
NeMo Guardrails’ın güçlü yanı, kurumsal müşteri hizmetleri ve dahili araçlar için kural setlerini merkezi olarak yönetmeyi kolaylaştırmasıdır. Özellikle konuşma akışı kontrolü gerektiren senaryolarda esneklik sunar.
Guardrails AI
Python native bir yaklaşım benimseyen Guardrails AI, Guard nesnesi etrafında şekillenir. Hub üzerinden hazır validator’lar indirilebilir ya da özel validator’lar yazılabilir.
from guardrails import Guard
from guardrails.hub import ToxicLanguage, ValidJSON
guard = Guard().use_many(
ToxicLanguage(threshold=0.5, on_fail="exception"),
ValidJSON(on_fail="reask")
)
result = guard(
llm_api=openai.chat.completions.create,
prompt="Kullanıcı sorusu: {query}",
prompt_params={"query": user_input},
model="gpt-4o"
)Kütüphane iki doğrulama türünü birleştirir: yapısal doğrulama (üretilen çıktı beklenen formatta mı?) ve anlamsal doğrulama (içerik politikasına uygun mu?). Özellikle yapılandırılmış çıktı bekleyen LLM JSON pipeline’larında Guardrails AI yaygın tercih.
on_fail parametresi guardrail ihlali durumunda ne olacağını belirler: exception (hata fırlat), reask (modelden yeniden üretim iste), fix (otomatik düzelt), filter (ihlal eden kısmı sil).
Llama Guard (Meta)
Llama Guard, güvenlik değerlendirmesi için fine-tune edilmiş bir Llama modelidir. Standart içerik moderasyon sınıflandırıcılarından farklı olarak MLCommons AI Safety benchmark’ına uyumlu kategoriler kullanır.
Model, bir konuşmayı girdi olarak alır ve safe veya unsafe etiketi döndürür; unsafe durumda hangi güvenlik kategorisini ihlal ettiğini de belirtir. Yanıt üretimi öncesinde (prompt incelemesi) ve sonrasında (çıktı incelemesi) ayrı ayrı çalıştırılabilir.
from transformers import AutoTokenizer, AutoModelForCausalLM
model_id = "meta-llama/Llama-Guard-3-8B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)
conversation = [
{"role": "user", "content": user_message},
{"role": "assistant", "content": assistant_response}
]
input_ids = tokenizer.apply_chat_template(conversation, return_tensors="pt")
output = model.generate(input_ids, max_new_tokens=100)
result = tokenizer.decode(output[0][input_ids.shape[1]:], skip_special_tokens=True)
# "safe" veya "unsafe\nS1" gibi bir çıktı dönerLlama Guard’ın avantajı, açık kaynak olması ve özel güvenlik kategorileriyle fine-tune edilebilmesidir. Yüksek hacimli inference gerektiren sistemlerde kendi altyapınızda çalıştırabilirsiniz.
Bulut Sağlayıcı Çözümleri
Bağımsız kütüphanelerin yanı sıra yönetilen hizmetler de mevcut:
Azure AI Content Safety: Dört kategori (nefret söylemi, cinsel içerik, şiddet, kendine zarar) üzerinde 0-6 arası şiddet skoru döndürür. Ek olarak “ground truth” karşılaştırması ve jailbreak tespiti sunar.
AWS Bedrock Guardrails: Bedrock üzerinde çalışan modeller için yerleşik guardrail desteği. Konfigürasyon AWS Console’dan yapılır, ek kod gerekmez.
OpenAI Moderation API: OpenAI modellerinin çıktısı için ücretsiz moderasyon endpoint’i. Kendi modellerinizle de kullanılabilir ama OpenAI ekosistemi dışında performansı değişkendir.
Üretimde guardrail mimarisi kurmak
Hangi kütüphaneyi seçtiğinizden bağımsız olarak, bu katmanları sistem mimarisine nasıl yerleştirdiğiniz performansı doğrudan etkiler.
Gecikme tradeoff’u
Her guardrail pipeline’a ek gecikme katar. Kural tabanlı filtreler 1-5ms ekliyorken, küçük model tabanlı guardrail’ler 50-150ms, büyük model tabanlı kontroller 200-500ms gecikme yaratabilir. Kullanıcı doğrudan bir chatbot ile etkileşiyorsa bu fark hissedilir.
Gecikmeyi yönetmek için iki temel yaklaşım var:
Kademeli filtreleme: Önce ucuz ve hızlı kural tabanlı kontroller çalışır. Yalnızca bu katmanı geçen şüpheli içerik pahalı model tabanlı kontrole gönderilir. Çoğu masum istek ilk katmanda temizlenir.
Asenkron guardrail’ler: Yanıt kullanıcıya iletilirken arka planda guardrail analizi yapılır. Güvenlik ihlali tespit edilirse sonraki mesajda müdahale edilir veya oturum sonlandırılır. Gerçek zamanlı engelleme yerine izleme amaçlı kullanım için uygundur.
Fallback stratejileri
Guardrail bir isteği engellediğinde kullanıcıya ne gösterilmeli? Bu sorunun yanıtı, ürünün amacına ve hedef kitleye göre değişir.
- Doğrudan red: “Bu konuda yardımcı olamıyorum.” Basit, ama kullanıcıya nedenini açıklamıyor.
- Yönlendirme: “Bu soruyu yanıtlayamam, ancak şu konuda yardımcı olabilirim…” Kullanıcıyı platformda tutar.
- Sessiz filtreleme: İhlal eden kısım kaldırılarak düzeltilmiş yanıt iletilir. Metin format doğrulaması senaryolarında işlevsel.
Hangi yaklaşımı seçerseniz seçin, engelleme kararlarını kayıt altına alın. Bu loglar hem hata ayıklama hem de guardrail performansını izleme için kritik veri kaynağıdır.
Waterfall vs. paralel yürütme
Birden fazla guardrail varsa sıralı mı yoksa eş zamanlı mı çalışacakları önemli bir mimari karar.
Waterfall: Her rail öncekinin geçmesini bekler. Herhangi bir ihlalde zincir durur. Deterministik ama en yavaş yaklaşım.
Paralel yürütme: Tüm rail’ler aynı anda çalışır, en kısa sürede tamamlanan sonuç beklenir. Hız kazanımı önemli ama ihlal durumunda koordinasyon karmaşıklaşır.
Pratikte çoğu sistem hibrit bir yapı kullanır: birbirinden bağımsız kontroller paralel, bağımlı olanlar sıralı çalışır.
False positive sorunu ve sürekli iyileştirme
Guardrail tasarımında en sık karşılaşılan sorun aşırı kısıtlamadır. Çok agresif bir içerik filtresi meşru kullanıcı sorgularını engeller; bu hem kullanıcı deneyimini bozar hem de güven kaybı yaratır.
İki araç bu dengeyi kurmaya yardımcı olur:
Red teaming: Güvenlik ekibi veya özel araçlar, guardrail sistemini kasıtlı olarak yanıltmaya çalışır. Bu testler hem false negative (kaçırılan gerçek tehditler) hem false positive (yanlış engellenen masum sorgular) oranını ölçer. Eşik değerleri bu verilerle kalibre edilir.
Üretim loglarından geri besleme: Hangi sorgular engellendi? Kullanıcılar hangi mesajlarda oturumu terk etti? Bu desenler guardrail konfigürasyonunu iyileştirmek için kullanılır. Guardrail bir kez kurulup unutulan bir sistem değil; canlı verilerle beslenen ve sürekli güncellenen bir bileşendir.
Akıl yürüten modeller gibi daha güçlü modeller kullanıma girdikçe mevcut guardrail’lerin yeniden test edilmesi gerektiğini de unutmamak gerekir. Bir önceki modelde çalışan bir saldırı vektörü yeni modelde farklı davranış gösterebilir.
EU AI Act ve guardrail zorunlulukları
Avrupa Birliği’nin Yapay Zeka Yasası (EU AI Act), 2025’te yürürlüğe girmeye başladı. Yasanın “yüksek riskli” olarak sınıflandırdığı AI sistemleri için açıklık, denetlenebilirlik ve insan gözetimi zorunlu hale geldi. Bunlar guardrail altyapısının tam olarak kapsadığı gereksinimler.
Özellikle iki madde pratik bağlamda öne çıkıyor: sistem kararlarının kayıt altına alınması (guardrail log’ları bu gereksinimi karşılar) ve anlamlı insan müdahalesi için teknik altyapı (engellenen kararların manuel incelemesi için araç gerektirir).
Türkiye’de kişisel verilerin işlenmesi açısından KVKK, LLM kullanan sistemlerin PII güvenliği konusunda belirli yükümlülükler getiriyor. Giriş guardrail’lerinde PII maskeleme hem uyumluluk hem de güvenlik açısından temel bir önlem.
Hangi araç ne zaman?
Üç ana kütüphane farklı senaryolar için optimize edilmiş:
NeMo Guardrails kural tabanlı konuşma akışı kontrolü gerektiren ve teknik olmayan ekiplerin kural setini yönetmesi beklenen projelerde öne çıkar. Özellikle kurumsal chatbot ve dahili asistan uygulamalarında.
Guardrails AI yapılandırılmış çıktı doğrulama ve Python ekosistemiyle derin entegrasyon gerektiren durumlarda tercih edilir. API’lerden JSON çekip doğrulayan pipeline’larda güçlü.
Llama Guard kendi altyapısında çalışan, özelleştirilebilir güvenlik kategorileri gerektiren veya yüksek hacimli inference için tam kontrol isteyen sistemler için uygundur. Açık kaynak olması, ticari lisans sorunlarından kaçınmak isteyenler için de avantaj.
Bulut sağlayıcı çözümleri ise mevcut AWS veya Azure altyapısına hızlıca eklemek isteyenler için düşük kurulum maliyetiyle başlangıç noktası sunar.
Guardrail’ler bir çözüm değil, savunmanın bir katmanıdır. Bir modeli güvenli hale getirmenin yolu yalnızca inference katmanını filtrelemek değil; eğitim sürecini (RLHF, Constitutional AI), prompt tasarımını ve çıktı doğrulamayı birlikte ele almaktan geçer. Guardrail bu katmanlardan birini üstlenir: üretim ortamında, gerçek zamanlı, her sorgu için çalışan kontrol noktası.
Üretim LLM deployment’ı planlıyorsanız, guardrail seçimini ve konumlandırmasını mimari tasarımın başından yapın. Sonradan eklenen güvenlik katmanları her zaman baştan entegre edilenlerden daha kırılgandır.
