Tree of Thoughts (ToT) (Düşünce Ağacı)

#PromptEngineering #LLM #OtonomAjanlar #MantıksalYurutme

LLM'lerin birden fazla düşünce dalı üreterek backtracking ile en iyi çözümü keşfettiği ağaç tabanlı muhakeme çerçevesi.

Tree of Thoughts (ToT), büyük dil modellerinin karmaşık muhakeme görevlerini çözmek için tasarlanmış bir akıl yürütme çerçevesidir. Princeton ve Google DeepMind araştırmacıları tarafından 2023 yılında yayımlanan "Tree of Thoughts: Deliberate Problem Solving with Large Language Models" makalesiyle tanıtılmıştır. Klasik Chain-of-Thought (CoT) prompting yönteminde model tek bir doğrusal düşünce zinciriyle ilerler; bir adımda hata yapılırsa tüm çözüm yanlış yöne sapabilir. ToT bu sınırı aşmak için ağaç tabanlı arama algoritmaları kullanır ve modelin eş zamanlı olarak birden fazla düşünce dalı üretmesine, her dalı değerlendirmesine ve gerektiğinde geri dönüp (backtracking) farklı bir yol denemesine olanak tanır. Çalışma mekanizması üç temel bileşenden oluşur: (1) Düşünce üretimi — her adımda birden fazla ara çözüm adayı (düşünce düğümü) oluşturulur. (2) Değerlendirme — LLM kendi ürettiği düşünceleri puanlar ya da oylar; umut verici görünmeyen dallar budanır (pruning). (3) Arama stratejisi — BFS (Genişlik Öncelikli Arama), DFS (Derinlik Öncelikli Arama) veya Beam Search ile ağaçta gezinilir. Beam Search her seviyede yalnızca en yüksek puanlı k düğümü koruyarak verimlilik ile doğruluk arasında denge kurar. Orijinal makalede Game of 24 bulmacasında CoT yalnızca yüzde 4 başarı sağlarken ToT yüzde 74 başarı oranı elde etmiştir. Yaratıcı yazarlık ve çok adımlı matematik problemlerinde de belirgin üstünlük gözlemlenmiştir. ToT'nin en önemli teorik katkısı, test zamanı hesaplamayı (test-time compute) artırarak daha kaliteli çıktı elde etme fikrini pekiştirmesidir. Bu yaklaşım OpenAI o1 ve DeepSeek-R1 gibi düşünen modellerin (reasoning models) eğitiminde Monte Carlo Ağaç Araması (MCTS) ile birleştirilmiş ve modern LLM'lerdeki "thinking trace" davranışının temelini oluşturmuştur. Temel sınırlaması token maliyetidir: tek bir sorgu yerine paralel LLM çağrıları yapılması özellikle bulut API kullanımında maliyeti artırabilir. LangGraph ve LangChain kütüphaneleri ToT uygulama şablonları sunar.

sports_esports Satranç Metaforu

Düşünce Zinciri (CoT), bir problemde sadece dümdüz ileriye doğru adım atar. Oysa bir satranç oyununda dümdüz düşünemezsiniz; piyonu sürersem rakip ne yapar, atı çıkarsam ne olur gibi olasılık ağaçları kurmanız gerekir. Tree of Thoughts (ToT) mimarisi, yapay zekanın birden fazla plan üretip her birinin gelecekteki başarısını değerlendirerek en mantıklı dala ilerlemesini sağlayan ajanvari bir yöntemdir. Bu yaklaşım özellikle çıkmaz sokak riski taşıyan çok adımlı problemlerde CoT'ye kıyasla dramatik kazanımlar sunar.

ToT Çalışma Mekanizması: Üç Temel Bileşen

  • check_circle Düşünce Üretimi: Her problem adımında birden fazla ara çözüm adayı (düşünce düğümü) oluşturulur. LLM aynı anda birkaç farklı yönde ilerleyerek olası devamları paralel olarak üretir.
  • check_circle Değerlendirme ve Budama: Model kendi ürettiği düşünceleri puanlar ya da oylar. Umut verici görünmeyen dallar budanır (pruning). Oylama için aynı düşünce birden fazla LLM çağrısıyla değerlendirilebilir.
  • check_circle Arama Stratejisi: BFS (Genişlik Öncelikli): aynı derinlikteki tüm düğümler birlikte değerlendirilir. DFS (Derinlik Öncelikli): bir dal sonuna kadar izlenir, sonra geri dönülür. Beam Search: her seviyede en iyi k düğüm korunur; verimlilik ve kalite dengesi sağlar.

Kullanım Alanları ve Sınırlar

  • check_circle Güçlü Olduğu Senaryolar: Matematik ve bulmaca çözme (Game of 24'te %74 başarı vs CoT'nin %4'ü), çok adımlı kod planlama, yaratıcı yazarlıkta alternatif kurgu dalları üretme, backtracking gerektiren strateji problemleri.
  • check_circle Sınırlamalar: Paralel LLM çağrıları yüksek token maliyeti yaratır. Basit soru-cevap görevlerinde gereksiz karmaşıklık ekler. Her adımda iyi bir değerlendirme fonksiyonu gerekmektedir.
  • check_circle Uygulama Araçları: LangGraph ve LangChain ToT şablonları sunar. Düşünen modeller (o1, DeepSeek-R1) bu mantığı içsel olarak MCTS ile uygular — kullanıcı manuel ToT döngüsü kurmak zorunda kalmaz.

CoT ile Karşılaştırma ve Modern Reasoning Modelleri

Chain-of-Thought (CoT) tek doğrusal düşünce zinciriyle ilerler; bir yanlış adım sonraki adımları bozar, geri dönüş yoktur. Tree of Thoughts ise birden fazla paralel zincir çalıştırır, kötü yollar budanır ve en iyi dal takip edilir. Bu backtracking yeteneği o1 ve DeepSeek-R1'in temel avantajlarından biridir. Söz konusu modeller ToT fikrini Monte Carlo Ağaç Araması (MCTS) ile birleştirerek eğitim sürecine entegre etmiş ve test zamanı hesaplamayı (test-time compute) ölçeklendirmiştir. Sonuç olarak ToT, saf bir prompting tekniği olmaktan çıkıp modern LLM mimarisinin temel tasarım ilkelerinden biri haline gelmiştir.

ToT ile Pratik Geliştirme

  • check_circle Manuel API Döngüsü: Herhangi bir LLM API'siyle uygulanabilir: 1) birden fazla devam üret, 2) her devamı puanla, 3) en iyileri sakla, 4) sonraki adımda tekrarla.
  • check_circle LangGraph ile Uygulama: LangGraph'ın StateGraph mimarisi ToT döngülerini doğal olarak destekler. Checkpoint ve HITL (Human-in-the-Loop) desteğiyle üretim ortamında güvenli kullanım sağlar.
  • check_circle Hazır Reasoning Modelleri: GPT-o3, Claude Sonnet thinking modu ve DeepSeek-R1 gibi modeller ToT mantığını içsel olarak uygular. Bu modelleri kullanmak manuel ToT döngüsü kurmaktan çok daha verimli ve uygun maliyetlidir.