Mixture of Agents (Ajanların Karışımı)

#MixtureOfAgents #LLM #MultiAgent #Ensemble

Birden fazla LLM'in bağımsız yanıtlarını birleştirerek tek model performansını aşan çok-ajan topluluk mimarisi.

Mixture of Agents (MoA — Ajan Karışımı), birden fazla büyük dil modelinin aynı sorunu bağımsız olarak yanıtladığı, ardından özel bir "aggregator" modelin bu yanıtları bütünleştirerek tek ve rafine bir çıktı ürettiği yapay zeka mimarisidir. Together AI tarafından 2024 yılında önerilen bu yaklaşım, tekil model yerine model topluluğu kullanarak AlpacaEval 2.0 kıyaslamasında GPT-4 Turbo'yu geride bırakan sonuçlar elde etmiştir. MoA'nın temel döngüsü iki rol üzerine kuruludur. Birinci katmandaki "proposer" modeller — örneğin Llama, Qwen, Mistral veya Gemma — aynı kullanıcı sorgusunu birbirinden bağımsız biçimde yanıtlar. İkinci aşamadaki "aggregator" modeli ise bu yanıtların tamamını bağlamına alarak çelişkili noktaları ortadan kaldırır, ortak doğruları pekiştirir ve tutarlı bir nihai metin üretir. Bu iki katman ihtiyaca göre tekrarlanabilir; her çevrim bir önceki aggregation çıktısını yeniden iyileştiren ek bir filtre katmanı olarak işlev görür. MoA mimarisi, Mixture of Experts (MoE) kavramıyla sıklıkla karıştırılır. MoE, Mixtral-8x7B örneğinde olduğu gibi, tek bir modelin içindeki uzman alt-ağları token bazlı olarak dinamik biçimde aktive eder. MoA ise ayrı ve bağımsız çalışan birden fazla modeli dışarıdan birleştiren bir topluluk (ensemble) çerçevesidir; her model kendi ağırlıklarını ve bağlamını bağımsız olarak işler. Maliyet açısından değerlendirildiğinde, proposer katmanında küçük ve ekonomik açık kaynaklı modeller kullanılabilirken aggregator katmanında daha büyük bir model tercih edilebilir. Bu asimetrik yapı düşük işletim maliyetiyle yüksek çıktı kalitesini bir arada sunar. Bununla birlikte, her katman ek gecikme (latency) ve token maliyeti doğurduğundan katman sayısının uygulamanın gecikme toleransına göre dengelenmesi gerekir. Pratik kullanım alanları arasında karmaşık soru yanıtlama, kod üretimi, hukuki ve tıbbi metin analizi gibi yüksek doğruluk gerektiren görevler öne çıkar. Together AI'ın açık kaynak deposu "togethercomputer/moa-gpt-4o", birden fazla LLM'i sıralı katmanlar halinde birleştiren referans bir uygulama sunmaktadır. LangGraph ve LangChain gibi çerçeveler de MoA benzeri çok-ajan akışlar için hazır orkestrasyon altyapısı sunar.

hub MoA Nasıl Çalışır?

Mixture of Agents mimarisi iki katmanlı bir yapı üzerine kurulur: **Proposers** (öneri yapan modeller) ve **Aggregator** (birleştirici model). Birden fazla LLM aynı soruyu bağımsız olarak yanıtlar; ardından başka bir model (veya aynı modelin ikinci geçişi) bu yanıtları sentezleyerek tek ve tutarlı bir çıktı üretir. Katmanlar birden fazla olabilir: ilk katman proposer'lar yanıt üretir, ikinci katman bu yanıtları birleştirir, üçüncü katman daha da rafine eder. Together AI'ın MoA uygulaması bu yaklaşımla AlpacaEval 2.0'da GPT-4 Turbo'yu geride bırakan puanlar elde etmiştir.

MoA vs. Tekil LLM

groups Çeşitlilik Avantajı

Farklı modeller farklı bilgi ve stillerle yanıt verir; birleştirme aşaması en iyi unsurları seçer.

fact_check Hata Azaltma

Bir modelin ürettiği yanıt diğerleri tarafından örtük olarak doğrulanır; yanlış bilgiler azalır.

speed Maliyet Dengesi

Proposer katmanında küçük/ucuz modeller kullanılabilir; yalnızca aggregator aşamasında büyük model çalıştırılır.

expand Bağlam Genişletme

Her proposer yanıtı aggregator'ın bağlamına eklenir; bu uzun-bağlam modelleme olmadan bilgi genişliği artırır.

settings MoA'nın Temel Özellikleri

  • check_circle Çoklu LLM Desteği: Llama, Qwen, Mistral, Gemma gibi farklı açık kaynaklı modeller aynı anda proposer olarak kullanılabilir.
  • check_circle Katmanlı Mimari: Birden fazla aggregation katmanı uygulanabilir; her katman bir öncekinin çıktısını iyileştirir.
  • check_circle Açık Kaynak Uygulamalar: Together AI'ın togethercomputer/moa-gpt-4o deposu MoA'yı açık kaynak olarak sunmaktadır.
  • check_circle Model Agnostik: OpenAI, Anthropic veya açık kaynaklı herhangi bir modeli proposer veya aggregator olarak entegre etmek mümkündür.

compare_arrows MoA ile Mixture of Experts (MoE) Farkı

MoA ve MoE isimleri benzer görünse de temel mimarileri farklıdır. **Mixture of Experts (MoE):** Tek bir modelin içindeki uzman ağ katmanlarından her token için yalnızca bir alt küme aktive edilir. Mixtral-8x7B gibi modeller bu yaklaşımla hem hız hem de parametre verimliliği kazanır; model monolitik bir yapıda çalışır. **Mixture of Agents (MoA):** Birden fazla bağımsız model paralel olarak sorgulanır ve yanıtlar dış bir aggregation adımıyla birleştirilir. Model sınırları korunur; her proposer kendi ağırlıklarını ve bağlamını ayrı ayrı işler. LLM-Blender (2023) bu fikrin öncü akademik çalışmasıdır.

rocket_launch Kullanım Alanları ve Araçlar

  • check_circle Yüksek Doğruluk Gerektiren Görevler: Hukuki belge analizi, tıbbi triage, kod güvenlik denetimi — tek modelin yanıtlarındaki hatalar MoA ile bastırılır.
  • check_circle Maliyet Optimizasyonu: Proposer olarak Llama-3.1-8B, aggregator olarak GPT-4o kullanmak kalitenin önemli bölümünü düşük maliyetli modele devreder.
  • check_circle LangGraph ile Entegrasyon: LangGraph'ın StateGraph mimarisi, birden fazla LLM'in paralel çalıştırıldığı, ardından birleştirici bir düğüme yönlendirilen MoA akışlarını kolayca modellemeyi sağlar.
  • check_circle Çok Dilli Senaryolar: Her proposer farklı bir dilde eğitilmiş model olabilir; aggregator çok dilli sentezi gerçekleştirir.

quiz Sık Sorulan Sorular

  • check_circle Mixture of Agents (MoA) nedir?: MoA, birden fazla büyük dil modelinin aynı sorunu bağımsız olarak yanıtladığı, ardından bir aggregator modelin bu yanıtları sentezleyerek tek bir çıktı ürettiği yapay zeka mimarisidir.
  • check_circle MoA ile MoE arasındaki fark nedir?: MoE, tek bir modelin içindeki uzman ağları aktive eden bir mimaridir (Mixtral gibi). MoA ise birden fazla ayrı modeli dışarıdan birleştiren bir topluluk çerçevesidir; model sınırları korunur.
  • check_circle MoA pahalı bir mimari midir?: Her proposer çağrısı ayrı bir API maliyeti doğurur. Ancak proposer olarak küçük/ucuz modeller seçilirse maliyet dengesi kurulabilir; aggregator katmanında tek bir güçlü model yeterlidir.
  • check_circle MoA'yı hangi çerçevelerle uygulayabilirim?: Together AI'ın togethercomputer/moa-gpt-4o deposu hazır bir uygulama sunar. LangGraph ve LangChain ile özel MoA akışları da oluşturulabilir.
  • check_circle MoA ne zaman tek modelden daha iyi çalışır?: Doğruluğun ve güvenilirliğin kritik önem taşıdığı karmaşık görevlerde MoA avantaj sunar. Hız gerektiren basit sorgular için ek gecikme maliyeti nedeniyle tekil model tercih edilebilir.