tag Prompt Engineering
In-Context Learning (Bağlam İçi Öğrenme)
Bu sayfada Prompt Engineering (In-Context Learning (Bağlam İçi Öğrenme)) etiketi ile işaretlenmiş 11 yapay zeka kavramını bulabilirsiniz.
In-context learning (baglam icerisinde ogrenme), buyuk dil modellerinin ag agirliklarini hicbir sekilde guncellemeksizin, yalnizca prompt icerisine yerlestirilen girdi-cikti orneklerinden gorevi anlayip yeni bir girdi icin dogru cikti uretme yetenektir. Geleneksel makine ogrenmesinden kokten farkli bu yetenegte gradient hesaplama, geri yayilim veya agirlik guncelleme yoktur; model, dikkat mekanizmasi araciligiyla prompt'taki ornekleri bir tur acil hafiza gibi kullanir. In-context learning uc alt kategoride incelenir. Zero-shot learning, hic ornek verilmeden yalnizca gorev tanimi veya talimatla calisir. One-shot learning, tek bir girdi-cikti ornegi ile gorevi anlama girisimidir. Few-shot learning ise genellikle uc ila on arasinda ornek kullanir ve GPT-3 makalesinin odaklandigi asil yaklasimdir. Bu uc durum aslinda aynı mekanizmanin ornek sayisina gore ozel halleridir. 2020 yilinda yayinlanan GPT-3 makalesi, in-context learning'i yapay zeka arastirmasinin odak noktalarindan birine donusturdur. Makale, 175 milyar parametreli GPT-3'un onlarca gorevi ornek gormeksizin veya yalnizca birkaç ornekle gerceklestiirebildigini sistematik olarak gostermis; bu sonuc dil modellerinin yetenekleri konusundaki beklentileri kokten degistirmistir. Mekanizma sorusu hala tartismalıdır. Bir yaklasim, in-context learning'in gizli bir gradient descent gerceklestirdigini one surer: dikkat mekanizmasi, orneklerden ustkalik dogrusallik gibi temel kaliplari cikartmak icin fonksiyonel olarak gradyan hesaplamaya benzeyen bir surec yurutmektedir. Alternatif yorum ise modelin egitim sirasinda on milyarlarca belgede gordugundan benzer gorevlerin farkli bicimlerini ogrenip bunlari prompt'taki sinyal uzerine yeniden etkinlestirdigini one surer. Uygulamada in-context learning prompt muhendisligi ile dogrudan baglantilidur. Hangi orneklerin secildigini, orneklerin sirasi, ornek sayisi ve talimatin formati model performansini onlu olcekte etkiler. Chain-of-Thought prompting gibi teknikler, bu mekanizma uzerine akil yurutme adimlarini yerlestirir. **Sik Sorulan Sorular** **In-context learning ile fine-tuning arasindaki fark nedir?** Fine-tuning ag agirliklarini gercekten guncellir ve surekli ogrenmeyi temsil eder. In-context learning agirliksiz, cikarim sirasinda gerceklesir; daha esnek ama daha az kalici ogrenme demektir. **Hangi modeller in-context learning'i iyi yapar?** Genel olarak buyuk modeller daha iyidir; GPT-4, Claude ve Gemini gibi frontier modeller kucuk modellerden belirgin sekilde ust performans gosterir. Model buyuklugu ile in-context yetenek arasindaki iliski yaklasik log-dogrusaldir. **Ornek sirasi onemli midir?** Evet, arastirmalar ornek sirasinin performansi onlu yuzde kadar etkileyebildigini gostermistir. Optimal sira veri kumesine ve goreve bagimlidir; genel kural yoktur. **In-context learning'in sinirlari nelerdir?** Baglam penceresi siniri, ornek sayisini kucuk tutar. Cok adimli akil yurutme gerektiren veya sik guncellenende veri gerektiren gorevlerde fine-tuning tipik olarak daha iyi sonu verir.
In-Context Learning (Bağlam İçi Öğrenme)
In-context learning (baglam icerisinde ogrenme), buyuk dil modellerinin ag agirliklarini hicbir sekilde guncellemeksizin, yalnizca prompt icerisine yerlestirilen girdi-cikti orneklerinden gorevi anlayip yeni bir girdi icin dogru cikti uretme yetenektir. Geleneksel makine ogrenmesinden kokten farkli bu yetenegte gradient hesaplama, geri yayilim veya agirlik guncelleme yoktur; model, dikkat mekanizmasi araciligiyla prompt'taki ornekleri bir tur acil hafiza gibi kullanir. In-context learning uc alt kategoride incelenir. Zero-shot learning, hic ornek verilmeden yalnizca gorev tanimi veya talimatla calisir. One-shot learning, tek bir girdi-cikti ornegi ile gorevi anlama girisimidir. Few-shot learning ise genellikle uc ila on arasinda ornek kullanir ve GPT-3 makalesinin odaklandigi asil yaklasimdir. Bu uc durum aslinda aynı mekanizmanin ornek sayisina gore ozel halleridir. 2020 yilinda yayinlanan GPT-3 makalesi, in-context learning'i yapay zeka arastirmasinin odak noktalarindan birine donusturdur. Makale, 175 milyar parametreli GPT-3'un onlarca gorevi ornek gormeksizin veya yalnizca birkaç ornekle gerceklestiirebildigini sistematik olarak gostermis; bu sonuc dil modellerinin yetenekleri konusundaki beklentileri kokten degistirmistir. Mekanizma sorusu hala tartismalıdır. Bir yaklasim, in-context learning'in gizli bir gradient descent gerceklestirdigini one surer: dikkat mekanizmasi, orneklerden ustkalik dogrusallik gibi temel kaliplari cikartmak icin fonksiyonel olarak gradyan hesaplamaya benzeyen bir surec yurutmektedir. Alternatif yorum ise modelin egitim sirasinda on milyarlarca belgede gordugundan benzer gorevlerin farkli bicimlerini ogrenip bunlari prompt'taki sinyal uzerine yeniden etkinlestirdigini one surer. Uygulamada in-context learning prompt muhendisligi ile dogrudan baglantilidur. Hangi orneklerin secildigini, orneklerin sirasi, ornek sayisi ve talimatin formati model performansini onlu olcekte etkiler. Chain-of-Thought prompting gibi teknikler, bu mekanizma uzerine akil yurutme adimlarini yerlestirir. **Sik Sorulan Sorular** **In-context learning ile fine-tuning arasindaki fark nedir?** Fine-tuning ag agirliklarini gercekten guncellir ve surekli ogrenmeyi temsil eder. In-context learning agirliksiz, cikarim sirasinda gerceklesir; daha esnek ama daha az kalici ogrenme demektir. **Hangi modeller in-context learning'i iyi yapar?** Genel olarak buyuk modeller daha iyidir; GPT-4, Claude ve Gemini gibi frontier modeller kucuk modellerden belirgin sekilde ust performans gosterir. Model buyuklugu ile in-context yetenek arasindaki iliski yaklasik log-dogrusaldir. **Ornek sirasi onemli midir?** Evet, arastirmalar ornek sirasinin performansi onlu yuzde kadar etkileyebildigini gostermistir. Optimal sira veri kumesine ve goreve bagimlidir; genel kural yoktur. **In-context learning'in sinirlari nelerdir?** Baglam penceresi siniri, ornek sayisini kucuk tutar. Cok adimli akil yurutme gerektiren veya sik guncellenende veri gerektiren gorevlerde fine-tuning tipik olarak daha iyi sonu verir.
Prompt Injection (İstem Enjeksiyonu)
Prompt Injection (İstem Enjeksiyonu), büyük dil modellerini (LLM) hedef alan bir siber saldırı türüdür; siber güvenlikte onlarca yıldır bilinen SQL Injection saldırısının yapay zeka dünyasındaki karşılığı olarak değerlendirilir. Saldırgan, LLM tabanlı bir uygulamaya kötü niyetli metin gönderir ve modelin önceden tanımlanmış sistem kurallarını, içerik filtrelerini ya da gizli talimatlarını aşmasını sağlar. Saldırının temel mantığı, LLM'lerin doğal dil komutlarını veri ile talimat arasında kesin bir sınır çizmeden işlemesidir. Bir uygulama sistem promptunda "Kullanıcıya yalnızca ürün bilgisi ver, başka konularda yardım etme" gibi bir kısıt tanımlamış olsa bile, saldırgan özel bir girdi aracılığıyla bu kısıtı geçersiz kılabilir veya modelin gizli talimatlarını ifşa etmesini sağlayabilir. Prompt Injection iki temel kategoride incelenir. Doğrudan (direct) saldırıda kullanıcı, model arayüzüne doğrudan kötü niyetli bir komut girer. Dolaylı (indirect) saldırıda ise model, dış kaynaklardan (web sayfaları, PDF belgeler, e-postalar) aldığı içerikte gizlenmiş kötü niyetli talimatları işler; ajan tabanlı LLM sistemleri bu saldırıya özellikle açıktır. Savunma yöntemleri arasında giriş ve çıkış doğrulama (input/output validation), talimatların veritabanı katmanında korunması, düşük ayrıcalık ilkesi (least privilege), kullanıcı girdilerini ayrı bir bağlamda ele alan çift-prompt mimarisi ve izleme/günlükleme yer alır. Bununla birlikte 2025 itibarıyla tam kapsamlı bir teknik çözüm henüz yoktur; savunma katmanlı bir strateji gerektirmektedir. OWASP, 2023 yılında yayımladığı LLM Uygulama Güvenliği Top 10 listesinde Prompt Injection'ı birinci sıraya koymuştur. Bu saldırı türü ChatGPT, Bing Chat ve çeşitli ajan sistemleri üzerinde kamuya açık demonstrasyonlarla kanıtlanmış olup LLM entegrasyon güvenliğinin tartışmasız en kritik konusu haline gelmiştir. Türkiye'de LLM tabanlı müşteri hizmetleri, hukuk ve finans uygulamalarının yaygınlaşmasıyla birlikte Prompt Injection riski giderek daha fazla önem kazanmaktadır. Kişisel veri işleyen sistemlerde başarılı bir saldırı, KVKK kapsamında veri ihlali bildirimi yükümlülüğü doğurabilir. Bu nedenle uygulamaları geliştirme aşamasında red-team testine tabi tutmak kritik bir güvenlik adımı haline gelmektedir.
Chain of Thought (CoT) (Düşünce Zinciri (Adım Adım Düşünme))
Zincir Dusunce (Chain-of-Thought, CoT), buyuk dil modellerinin karmasik problemleri adim adim akil yurutme adimlari araciligiyla cozumlemesine olanak tanıyan bir istem muhendisligi ve egitim teknigidir. Direkt yanit vermek yerine model, 'Once X'i hesaplayayim, ardindan Y'yi bulayim' seklinde ara cikarsama adimlarini yazarak daha dogru sonuclara ulaşabilmektedir. CoT kavramini buyuk olcekte gundeme getiren calisma, Google Research'ten Wei ve arkadaslarinin 2022'de yayimladigi 'Chain-of-Thought Prompting Elicits Reasoning in Large Language Models' makalesidir. Bu calisma, aritmetik, mantiksal ve sembolik akil yurutme testlerinde CoT'nin dogru yanit oranini belirgin bicimde artirdigini gostermistir. Few-shot CoT'de prompt'a birkan cozulmust ornek ve ara adimlarla verilir; model bu ornek kalibini yeni sorular icin taklit eder. Zero-shot CoT ise daha basit bir tekniktir: prompt'a yalnizca 'Adim adim dusunelim.' (Let's think step by step.) ifadesi eklenmesi bile cok sayida gorevde basarıyi artirmaktadir. Bu basit ifade modeli ara cikarsama yapmaaya yonlendirir. Tree of Thoughts (ToT), CoT'yi genisleterek modelin birden fazla dusunce dali kesfetmesini ve geri izleme (backtracking) yapmasini saglar. Graph of Thoughts (GoT) ise dusunce adimlarini grafik yapisinda organize eder. Self-Consistency, ayni soru icin birden fazla CoT yolu uretilerek cokunguluk oylamasiyla yanit secilir; bu yaklasim guvenilirligii belirgin sekilde arttirir. CoT prompting; matematik problemleri, mantiksal bulmacalar, kod hata ayiklama, hukuki akil yurutme ve cok adimli planlama gorevlerinde ozellikle etkilidir. Gunumuzde OpenAI o1/o3 ve Anthropic Claude gibi modeller, dahili 'thinking' mekanizmasiyla CoT'yi seffaf hale getirmektedir.
Context Engineering (Bağlam Mühendisliği)
Baglam muhendisligi (context engineering), bir buyuk dil modeli (LLM) baglam penceresine hangi bilgilerin, nasil formatlanarak ve hangi siraya yerlestirilecegini sistemli sekilde tasarlama disiplinidir. Prompt muhendisliginin evrimi olarak gorulmekle birlikte daha kapsamli bir kavramdir: yalnizca kullanicinin yonlendirmesini degil, sistem promptunu, RAG (Retrieval Augmented Generation) ciktilarini, aran sonuclarini, bellek ozetlerini ve cok turlu konusma gecmisini bir butun olarak yoneten sistem tasarimi gercek anlamda baglam muhendisligidir. Baglam penceresi buyuk olsa dahi bilginin pencere icerisindeki konumu performansi etkiler. "Lost-in-the-middle" etkisi, LLM'lerin uzun baglamlarda baslangic ve son bolume en cok dikkat edip orta kisimlarda bilgiyi kacirabileceğini gostermektedir. Bu bulus, kritik bilginin baglam icindeki konumunun rastsal birakılmamasi gerektigini ortaya koymuştur. Token butcesi yonetimi baglam muhendisliginin pratik boyutunu olusturur. Bircok LLM modeli belirli bir token siniriyla gelir ve her token hem hesaplama hem de maliyet anlamina gelir. Gereksiz icerigi (tekrar eden talimatlar, aşiri uzun belge parcalari) inelemek hem maliyet dusurur hem de bazen daha yuksek cikti kalitesi saglar cunku model daha az gurultulu icerikle daha odaklanabilir. RAG sistemlerinde baglam muhendisligi hangi parcalarin geri catilacagi, hangi onceligle siralaanacagi ve hangi metadata'nin dahil edilecegi kararlarini kapsar. Ajan sistemlerinde araç sonuclari, geçmiş eylemler ve ortam gozlemleri yonetilmelidir; herbirinin ne kadar yer aldigi, ozet mi yoksa ham mi sunuldugu ajanin kararlarini dogrudan etkiler. **Sik Sorulan Sorular** **Prompt muhendisligi ile baglam muhendisligi arasindaki fark nedir?** Prompt muhendisligi yonlendirme metni optimize eder; baglam muhendisligi tumuyle bilgi akisini tasarlar. Baglam muhendisligi RAG entegrasyonu, bellek yonetimi ve arac sonuclarini da kapsar. **Context engineering neden onemlidir?** Uzun baglam destekli modellerin ve ajan sistemlerinin yayginlasmisiyla baglam penceresi yonetimi, model seciminden cok daha buyuk bir performans degiskeni haline gelmistir. Cok iyi bir modeli kotu baglam yonetimiyle kullanmak, iyi bir modeli iyi baglam yonetimiyle kullanmaktan sık sık daha kotu sonu verir. **Lost-in-the-middle sorunu nasil azaltilir?** Kritik bilgiyi baglamlın baslangicina veya sonuna yerlestirmek, ozetleme yoluyla icerigi sikistirmak ve dikkat isaret (prefix) teknikleri bu sorunu azaltmada kullanilan pratiklerdir. **Token butcesini nasil optimize ederim?** Gereksiz tekrarlari kal, sistematik parca boyutu ayarlama yap ve RAG'de tam belge yerine yalnizca ilgili parcalari cek. BM25 veya semantik aramanin hangisinin daha yuksek hassasiyetle ilgili parcayi bulduğunu benchmark et.
Few-Shot Learning (Az-Atımlı Öğrenme)
Az atis ogrenmesi (few-shot learning), bir modelin yalnizca birkac ornekten yeni bir gorevi ogrenip genelleyebildigi makine ogrenmesi paradigmasidir. Standart derin ogrenme modelleri binlerce hatta milyonlarca etiketli ornege ihtiyac duyarken az atis ogrenmesi bu bagimliligi kirerek insan benzeri hizli uyuma hedefler. Yaklaşım; one-shot learning (tek ornek), few-shot learning (2-10 ornek) ve zero-shot learning (hic ornek olmadan) seklinde siniflandirilir. Meta-ogrenme (meta-learning veya learning to learn), bu alanin temel paradigmasidir: model, cok sayida farkli gorev uzerinde egitilerek 'hizli uyum saglamayi ogrenmeyi' ogrenilir. MAML (Model-Agnostic Meta-Learning), bu yaklasimin oncu algoritmalarindan biridir. Prototypical Networks, her sinifin prototip temsilini hesaplayarak yeni ornekleri bu prototiplere uzakligina gore siniflandirir. Matching Networks ise dikkat mekanizmasiyla az ornekten ogrenmeyi destek kumesi uzerinden gerceklestirir. Siamese Network, iki ornegin benzerligini karsilastirarak tek atis tanimasinda kullanilir. Buyuk dil modellerinde az atis ogrenme daha farkli bir bicimde gerceklesir: GPT gibi modeller, prompt icine birkan ornek verildiginde (in-context learning) goreve adapte olabilir. Bu modeller parametrelerini guncellenmeksizin, yalnizca baglam bilgisiyle birkan atistan genelleme yapabilmektedir. Bu ozellik, LLM'lerin en carpici yeteneklerinden biri olarak kabul edilmektedir. Az atis ogrenmesi; tibbi goruntuleme (nadir hastaliklar icin az ornek mevcuttur), robotik (yeni manipulasyon gorevleri), dil isleme (az kaynakli diller) ve kisisellestirilmis yapay zeka sistemleri gibi alanlarda kritik onem tasimaktadir.
Prompt Tuning (İstem Ayarlama (Soft Prompting))
Prompt Tuning, büyük dil modellerini (LLM) belirli bir göreve uyarlamak için model ağırlıklarını tamamen güncellemek yerine yalnızca küçük bir 'yumuşak istem' (soft prompt) vektörünü optimize eden bir Parameter-Efficient Fine-Tuning (PEFT) tekniğidir. 2021 yılında Google araştırmacıları Brian Lester, Rami Al-Rfou ve Noah Constant tarafından önerilmiş; T5-11B ölçeğindeki modellerde tam fine-tuning ile rekabet edebildiği gösterilmiştir. Geleneksel fine-tuning yöntemlerinde milyarlarca parametre yeniden eğitilirken, prompt tuning yalnızca giriş katmanına eklenen öğrenilebilir vektörleri (soft token) günceller. Bu vektörler insan tarafından okunabilen kelimeler değildir; modelin kendi embedding uzayında gradyan inişiyle optimize edilmiş sayısal temsillerdir. Model ağırlıklarının tamamı dondurulmuş halde kalır; bu sayede aynı temel model, farklı görevler için farklı soft prompt'larla verimli biçimde çalıştırılabilir. Yöntemin en önemli avantajı hesaplama verimliliğidir: tam fine-tuning'e kıyasla eğitilmesi gereken parametre sayısı dramatik biçimde azalır; daha az GPU belleği, daha kısa eğitim süresi ve her görev için yalnızca küçük bir vektörün depolanması yeterlidir. Özellikle model ağırlıklarına doğrudan erişimin mümkün olmadığı API tabanlı senaryolarda bu özellik büyük pratik değer taşır. Pratik uygulamalarda iki önemli kısıtlama göze çarpar: model boyutu küçüldükçe (10 milyarın altında parametre) tam fine-tuning'e göre performans açığı belirginleşir; giriş bağlam uzunluğunun bir kısmı soft token'lara tahsis edildiğinden kullanılabilir bağlam penceresi de daralmaktadır. Üstelik soft prompt'lar yorumlanamaz olduğundan hata ayıklaması güçleşebilir. Prompt tuning ailesi birkaç önemli varyant içerir: Prefix Tuning her transformer katmanına öğrenilebilir vektörler ekleyerek daha güçlü yönlendirme sağlar; P-Tuning doğal dil anlama görevlerine odaklanır; Multi-Task Prompt Tuning paylaşılan tek bir prompt'u birden fazla görev için eş zamanlı optimize eder. Bu varyantlar, LoRA ile birlikte günümüzde en yaygın kullanılan PEFT teknikleri arasındadır.
Soft Prompting (Yumuşak İstem)
Soft prompting (yumuşak istemleme), büyük dil modellerini (LLM) ince ayar yapmadan görev odaklı davranışa yönlendiren parametre verimli bir öğrenme tekniğidir. Geleneksel prompt mühendisliğinde insan tarafından yazılan metin talimatları (hard prompt) kullanılırken, soft prompting modelin giriş uzayına eklenen ve gradyan inişi yoluyla optimize edilen sürekli vektör gömmelerini (continuous embeddings) kullanır. Tekniğin çalışma prensibi şu şekilde özetlenebilir: Önceden eğitilmiş model tamamen dondurulur, ağırlıkları güncellenmez. Modelin token gömme katmanına sanal tokenlar (virtual tokens) eklenir; bu tokenlar gerçek sözcüklere karşılık gelmez, sadece yüksek boyutlu vektörlerdir. Eğitim sürecinde yalnızca bu sanal token vektörleri güncellenir ve model görev odaklı bağlam bilgisi edinir. Standart ince ayara (full fine-tuning) kıyasla eğitim süresi ve bellek kullanımı dramatik biçimde azalır. Soft prompting ile ince ayar arasındaki temel fark şudur: İnce ayarda milyarlarca parametre yeniden eğitilirken, soft prompting'de yalnızca birkaç yüz ila birkaç bin sanal token parametresi öğrenilir. Bu yaklaşım, özellikle T5, GPT ve LLaMA gibi büyük modelleri çeşitli downstream görevlere uyarlamak için son derece ekonomiktir. Gerçek dünya uygulamalarında soft prompting, metin sınıflandırma, soru yanıtlama, özetleme ve kod üretimi gibi alanlarda başarılı sonuçlar vermiştir. Prefix Tuning ve P-Tuning v2 gibi türevler, yalnızca giriş katmanına değil, modelin ara katmanlarına da sanal tokenlar ekleyerek performansı artırmıştır. Bu yöntemler düşük veri rejimlerinde de etkili bir uyarlama imkânı sunar. Her görev için bağımsız soft prompt eğitilir; aynı temel model birden fazla amaç için kullanılabilir. Her uyarlama ayrı bir tam model kopyası gerektirmez, bu da bellek ve depolama açısından büyük bir tasarruf anlamına gelir. Sonuç itibarıyla soft prompting, modern NLP boru hatlarında hem maliyet hem de esneklik açısından önemli bir yer tutmaktadır.
System Prompt (Sistem Promptu)
Sistem promptu (system prompt), büyük dil modellerine kullanıcı konuşmasından önce verilen ve modelin davranışını, rolünü, kısıtlamalarını ve bağlamını tanımlayan gizli talimatlar kümesidir. Model API'lerinde genellikle "system" rolüyle iletilen bu mesaj, modelin tüm oturum boyunca nasıl davranacağını belirler. Sistem promptu, modelin kişiliğini şekillendirebilir ("Sen yardımcı bir müşteri hizmetleri asistanısın"), davranış sınırları koyabilir ("Asla X konusunda konuşma") veya özel bağlam sağlayabilir. Sistem promptu, bağlam mühendisliğinin (context engineering) temel bileşenlerinden biridir. İyi tasarlanmış bir sistem promptu: açık bir rol tanımı, beklenen çıktı formatı, yapılması ve yapılmaması gerekenler, ilgili arka plan bilgisi ve gerektiğinde işlenmesi gereken örüntüleri içerir. Sistem promptları operatör (uygulama geliştiricisi) tarafından yazılır ve kullanıcıdan genellikle gizlenir; bu şekilde ürün deneyimi özelleştirilir. Sistem promptu enjeksiyonu (prompt injection), kötü niyetli kullanıcı girdilerinin sistem prompt talimatlarını geçersiz kılmaya ya da açığa çıkarmaya çalışması olarak tanımlanan bir güvenlik tehditidir. LLM uygulamalarını üretime taşırken sistem promptu sızıntısına ve enjeksiyon saldırılarına karşı savunmalar uygulamak kritik bir güvenlik gereksinimidir. Etkili bir sistem promptu tasarlamak iteratif bir süreçtir. Başarılı sistem promptları genellikle katmanlı bir yapıya sahiptir: önce modele kimliğini ve amacını tanımlayan bir çerçeve, ardından belirli görev ve kısıtlamalar, son olarak da beklenen çıktı formatı ve örnekler. OpenAI, Anthropic ve Google Gemini gibi sağlayıcılar, modelin sistem talimatlarına uyumu için farklı garanti düzeyleri sunar; bu nedenle aynı sistem promptu farklı modellerde farklı davranışlara yol açabilir. Üretim ortamlarında sistem promptu yönetimi bir mühendislik disiplinine dönüşmüştür: promptlar sürümlenir, A/B testine tabi tutulur ve model davranışını izleyen sistemlerle denetlenir. Uzun ve karmaşık sistem promptları bağlam penceresini (context window) önemli ölçüde tüketir; bu nedenle RAG ile dinamik bağlam enjeksiyonu yaygın bir optimizasyon tekniğidir.
Tree of Thoughts (ToT) (Düşünce Ağacı)
Tree of Thoughts (ToT), büyük dil modellerinin karmaşık muhakeme görevlerini çözmek için tasarlanmış bir akıl yürütme çerçevesidir. Princeton ve Google DeepMind araştırmacıları tarafından 2023 yılında yayımlanan "Tree of Thoughts: Deliberate Problem Solving with Large Language Models" makalesiyle tanıtılmıştır. Klasik Chain-of-Thought (CoT) prompting yönteminde model tek bir doğrusal düşünce zinciriyle ilerler; bir adımda hata yapılırsa tüm çözüm yanlış yöne sapabilir. ToT bu sınırı aşmak için ağaç tabanlı arama algoritmaları kullanır ve modelin eş zamanlı olarak birden fazla düşünce dalı üretmesine, her dalı değerlendirmesine ve gerektiğinde geri dönüp (backtracking) farklı bir yol denemesine olanak tanır. Çalışma mekanizması üç temel bileşenden oluşur: (1) Düşünce üretimi — her adımda birden fazla ara çözüm adayı (düşünce düğümü) oluşturulur. (2) Değerlendirme — LLM kendi ürettiği düşünceleri puanlar ya da oylar; umut verici görünmeyen dallar budanır (pruning). (3) Arama stratejisi — BFS (Genişlik Öncelikli Arama), DFS (Derinlik Öncelikli Arama) veya Beam Search ile ağaçta gezinilir. Beam Search her seviyede yalnızca en yüksek puanlı k düğümü koruyarak verimlilik ile doğruluk arasında denge kurar. Orijinal makalede Game of 24 bulmacasında CoT yalnızca yüzde 4 başarı sağlarken ToT yüzde 74 başarı oranı elde etmiştir. Yaratıcı yazarlık ve çok adımlı matematik problemlerinde de belirgin üstünlük gözlemlenmiştir. ToT'nin en önemli teorik katkısı, test zamanı hesaplamayı (test-time compute) artırarak daha kaliteli çıktı elde etme fikrini pekiştirmesidir. Bu yaklaşım OpenAI o1 ve DeepSeek-R1 gibi düşünen modellerin (reasoning models) eğitiminde Monte Carlo Ağaç Araması (MCTS) ile birleştirilmiş ve modern LLM'lerdeki "thinking trace" davranışının temelini oluşturmuştur. Temel sınırlaması token maliyetidir: tek bir sorgu yerine paralel LLM çağrıları yapılması özellikle bulut API kullanımında maliyeti artırabilir. LangGraph ve LangChain kütüphaneleri ToT uygulama şablonları sunar.
Zero-Shot Learning (Sıfır-Atımlı Öğrenme)
Sifir atis ogrenmesi (zero-shot learning), bir modelin egitim sirasinda hic gormedigi sinif veya goreve, herhangibir ornek verilmeksizin genelleme yapabilme yetenegidir. Bu yaklasim; sinif tanim bilgisi (semantic attributes), kelime gomemleri (word embeddings) veya dogal dil aciklamalari araciligiyla goren siniflar ile gormeyen siniflar arasinda anlam koprusu kurar. Klasik sifir atis ogreniminde model, egitim sirasinda goruldugu siniflar icin gorsel-semantik eslesmeyi ogrenir. Test asamasinda ise hic gorulmemis siniflar icin semantik tanim verilir ve model bu tanim uzerinden tahmin yapar. Ornegin 'zebra'yi egitimde hic gormemis bir model, 'duzensiz beyaz-siyah cizgili, at benzeri hayvan' aciklamasindan dogru siniflandirma yapabilir. Buyuk dil modellerinin yukselisiyle sifir atis ogrenmesi cok daha genis bir anlam kazanmistir. GPT-4 veya Claude gibi modeller, hic ornek verilmeksizin yeni gorevleri dogal dil talimatlarindan anlayabilir. Sentiment analizi, soru cevaplama veya ozetleme gibi gorevlerde sifir atis transfer yetenegi, ozellestirilmis egitim ihtiyacini ortadan kaldirabilmektedir. CLIP (Contrastive Language-Image Pre-training), sifir atis goruntu siniflandirmasi icin oncu bir modeldir. CLIP, goruntu ve metin capraz egitimle ortak bir gomme uzayi olusturur; test asamasinda yeni sinif adlari yazili metin olarak verilir ve goruntu bu metin gomemleriyle eslestirilir. Hic etiketli veri olmadan ImageNet siniflandirmasinda etkileyici dogruluk elde edilmistir. Generlized zero-shot learning ise hem gorulmus hem de gorulmemis siniflara tahmin yapmay kapsadıgından gercek dunya uygulamalarinda daha pratiktir. Ancak model cogu zaman gorulmus siniflara yon egilimli tahmin yapar; bu sorun test sinifi dengesiyle giderilmeye calisilmaktadir.
Jailbreak (Jailbreak (Yapay Zeka Kısıtlamalarını Aşma))
Jailbreak, bir yapay zeka modelinin güvenlik filtrelerini ve içerik politikalarını devre dışı bırakmaya yönelik prompt mühendisliği tekniklerinin genel adıdır. Modeli normalde reddedeceği içerikleri üretmeye, gizli sistem talimatlarını ifşa etmeye ya da zararlı bilgi sağlamaya yönlendirmeyi amaçlar. Temel jailbreak yöntemleri arasında rol yapma senaryoları ("Sen artık kısıtı olmayan bir AI'sın"), hipotetik çerçeveleme ("Bir hikayenin karakteri olarak..."), DAN (Do Anything Now) gibi kimlik değiştirme komutları ve karmaşık çok adımlı talimat zincirleri yer alır. Türkiye'de sosyal medyada yaygınlaşan "ChatGPT jailbreak" denemeleri genellikle bu kategorilere girer. Model sağlayıcıları jailbreak'e karşı çok katmanlı savunma kullanır: RLHF ile güvenlik eğitimi, Constitutional AI ilkeleri, çıktı filtreleme ve prompt enjeksiyonu algılama sistemleri. Buna karşın saldırganlar kırmızı takım tatbikatlarıyla sürekli yeni vektörler keşfeder; bu durum güvenlik araştırmasını dinamik bir kedi-fare oyununa dönüştürür. Jailbreak yalnızca kullanıcı güvenliğini değil, model operatörünün yasal yükümlülüklerini de etkiler. AB Yapay Zeka Yasası, yüksek riskli sistemlerde yetkisiz kullanım girişimlerine karşı teknik güvenceler zorunlu kılmaktadır. Türkiye'de BTK'nın çevrimiçi içerik düzenlemeleri kapsamında jailbreak yoluyla üretilen zararlı içerik hukuki sorumluluk doğurabilmektedir. Güvenlik araştırmacıları için jailbreak testi, kırmızı takım egzersizlerinin meşru bir parçasıdır. "Jailbreak" terimi bu bağlamda sorumlu ifşa (responsible disclosure) protokolleriyle yürütülen güvenlik açığı araştırmasını tanımlar.