Mixture of Experts (MoE) (Uzmanların Karışımı)

Uzmanların Karışımı (Mixture of Experts — MoE), büyük dil modellerinin hesaplama verimliliğini artırmak için geliştirilmiş bir mimari yaklaşımdır. Geleneksel yoğun (dense) transformer modellerinde her girdi, ağın tüm parametrelerinden geçer; MoE mimarisinde ise her token yalnızca belirli alt ağlar tarafından işlenir. MoE'nin temel bileşeni, "uzman" adı verilen birbirinden bağımsız beslemeli ileri (feed-forward) katmanlardır. Bu uzmanlara ek olarak bir kapı (gating) ağı bulunur; kapı ağı her giriş için hangi uzmanların etkinleştirileceğine karar verir. Tipik bir MoE katmanı 8 ila 64 uzman barındırır; ancak her token için yalnızca 2–4 tanesi aktive edilir. Bu seçici aktivasyon, modelin toplam parametre sayısını büyütürken hesaplama maliyetini sabit tutar. Seyrek aktivasyon (sparse activation) olarak adlandırılan bu özellik, MoE'yi büyük ölçekte son derece çekici kılar. Örneğin Mistral'ın Mixtral 8x7B modeli, 46,7 milyar parametreye sahip olmasına karşın çıkarım sırasında yalnızca 12,9 milyar parametre kullanır; bu da onu çok daha küçük görünen 13B modeller kadar hızlı yapar. Benzer şekilde GPT-4'ün MoE tabanlı olduğu yaygın biçimde raporlanmış olup Google'ın Gemma 4 serisi de MoE mimarisini benimsemiştir. Türk yapay zeka ekipleri için MoE, özellikle bulut çıkarım maliyetleri söz konusu olduğunda kritik bir tasarruf aracıdır. Aynı kalitedeki yoğun modele kıyasla çıkarım başına daha az FLOP harcanır; bu da API maliyetlerini doğrudan düşürür. Öte yandan MoE modellerini yerel olarak çalıştırmak, tüm uzman ağırlıklarının RAM veya VRAM'e yüklenmesini gerektirdiğinden bellekte yoğun bir profil çıkarır; bu nedenle tüketici donanımında dikkatli bellek planlaması şarttır. MoE'nin temel sınırlılıkları arasında yük dengeleme güçlüğü öne çıkar: eğitim sırasında kapı ağı bazı uzmanlara aşırı yüklenebilir, diğerlerini boş bırakabilir. Bu sorunu gidermek için yardımcı kayıp (auxiliary loss) fonksiyonları kullanılır. Dağıtık çıkarım altyapısında ise farklı uzmanlara denk düşen tokenların farklı cihazlara yönlendirilmesi gerekebilir; bu da iletişim ek yükü doğurur.