tag hesaplama
Heterogeneous Computing (Heterojen Hesaplama)
Bu sayfada hesaplama (Heterogeneous Computing (Heterojen Hesaplama)) etiketi ile işaretlenmiş 2 yapay zeka kavramını bulabilirsiniz.
Heterojen hesaplama (heterogeneous computing), bir sistem içinde birden fazla farklı işlemci türünü — CPU, GPU, NPU, FPGA, DSP gibi — bir arada kullanan hesaplama mimarisidir. Bu yaklaşımın temel felsefesi, her iş yükünün doğası gereği farklı donanım özellikleri gerektirdiğidir: CPU'lar karmaşık kontrol akışları ve seri işlemler için idealken, GPU'lar binlerce çekirdeğiyle paralel matris işlemlerinde üstündür; NPU'lar ise sinir ağı çıkarımını düşük güç tüketimiyle gerçekleştirir. Yapay zeka uygulamalarında heterojen hesaplama son derece kritik hale gelmiştir. Büyük dil modellerinin (LLM) eğitimi GPU kümelerinde yapılırken, mobil cihazlarda çıkarım NPU'ların devreye girdiği hafif motor çözümleri sayesinde gerçek zamanlı ilerler. Apple M-serisi çipleri bu yaklaşımın somut örneğidir: aynı pakette yüksek performanslı CPU çekirdekleri, entegre GPU ve 16 çekirdekli Neural Engine birlikte çalışır; tüm bu birimler birleşik bellek mimarisi üzerinden veri alışverişi yapar ve kopyalama gecikmelerini minimize eder. Qualcomm Snapdragon platformu da benzer bir yapıya sahiptir: Kryo CPU çekirdekleri, Adreno GPU ve Hexagon DSP/Tensor Accelerator aynı SoC içinde yer alır. Veri merkezi tarafında ise NVIDIA Grace Hopper, 72 çekirdekli Arm CPU'yu H100 GPU ile yüksek bant genişlikli NVLink üzerinden birleştirerek LLM servis iş yüklerinde saniyede milyonlarca token işlem kapasitesi sunar. Heterojen hesaplamanın temel zorlukları programlama karmaşıklığı, bellek yönetimi ve veri taşıma yüküdür. Farklı işlemcilerin iş birliği yapabilmesi için OpenCL, SYCL, CUDA, HIP veya Intel oneAPI gibi programlama modelleri kullanılır. PCIe Gen 5 aracılığıyla CPU ile ayrık GPU arasında yaklaşık 32 GB/sn bant genişliği sağlanırken, NVIDIA NVLink bu değeri 900 GB/sn'ye taşır; ancak her iki durumda da bellek aktarım gecikmesi bir performans darboğazı oluşturabilir. Günümüzde heterojen hesaplama; akıllı telefon SoC'lerinden bulut sunucu kümelerine, otonom araç bilgisayarlarından endüstriyel IoT kenar (edge) cihazlarına kadar geniş bir yelpazede uygulanmaktadır. Yapay zekanın her alana yayılmasıyla birlikte bu mimari yaklaşım, güç verimliliği ve hesaplama performansı arasındaki dengeyi kuran temel tasarım paradigması haline gelmiştir.
Heterogeneous Computing (Heterojen Hesaplama)
Heterojen hesaplama (heterogeneous computing), bir sistem içinde birden fazla farklı işlemci türünü — CPU, GPU, NPU, FPGA, DSP gibi — bir arada kullanan hesaplama mimarisidir. Bu yaklaşımın temel felsefesi, her iş yükünün doğası gereği farklı donanım özellikleri gerektirdiğidir: CPU'lar karmaşık kontrol akışları ve seri işlemler için idealken, GPU'lar binlerce çekirdeğiyle paralel matris işlemlerinde üstündür; NPU'lar ise sinir ağı çıkarımını düşük güç tüketimiyle gerçekleştirir. Yapay zeka uygulamalarında heterojen hesaplama son derece kritik hale gelmiştir. Büyük dil modellerinin (LLM) eğitimi GPU kümelerinde yapılırken, mobil cihazlarda çıkarım NPU'ların devreye girdiği hafif motor çözümleri sayesinde gerçek zamanlı ilerler. Apple M-serisi çipleri bu yaklaşımın somut örneğidir: aynı pakette yüksek performanslı CPU çekirdekleri, entegre GPU ve 16 çekirdekli Neural Engine birlikte çalışır; tüm bu birimler birleşik bellek mimarisi üzerinden veri alışverişi yapar ve kopyalama gecikmelerini minimize eder. Qualcomm Snapdragon platformu da benzer bir yapıya sahiptir: Kryo CPU çekirdekleri, Adreno GPU ve Hexagon DSP/Tensor Accelerator aynı SoC içinde yer alır. Veri merkezi tarafında ise NVIDIA Grace Hopper, 72 çekirdekli Arm CPU'yu H100 GPU ile yüksek bant genişlikli NVLink üzerinden birleştirerek LLM servis iş yüklerinde saniyede milyonlarca token işlem kapasitesi sunar. Heterojen hesaplamanın temel zorlukları programlama karmaşıklığı, bellek yönetimi ve veri taşıma yüküdür. Farklı işlemcilerin iş birliği yapabilmesi için OpenCL, SYCL, CUDA, HIP veya Intel oneAPI gibi programlama modelleri kullanılır. PCIe Gen 5 aracılığıyla CPU ile ayrık GPU arasında yaklaşık 32 GB/sn bant genişliği sağlanırken, NVIDIA NVLink bu değeri 900 GB/sn'ye taşır; ancak her iki durumda da bellek aktarım gecikmesi bir performans darboğazı oluşturabilir. Günümüzde heterojen hesaplama; akıllı telefon SoC'lerinden bulut sunucu kümelerine, otonom araç bilgisayarlarından endüstriyel IoT kenar (edge) cihazlarına kadar geniş bir yelpazede uygulanmaktadır. Yapay zekanın her alana yayılmasıyla birlikte bu mimari yaklaşım, güç verimliliği ve hesaplama performansı arasındaki dengeyi kuran temel tasarım paradigması haline gelmiştir.
Mixture of Depths (Derinlik Karışımı)
Mixture of Depths (MoD, Türkçesiyle Derinlik Karışımı), transformer tabanlı dil modellerinde her tokenin her katmandan geçmesi kuralını gevşeten, hesaplama bütçesini token ve katman bazında dinamik olarak dağıtan bir adaptif hesaplama yöntemidir. Google DeepMind araştırmacıları (Raposo ve arkadaşları) tarafından 2024 yılında yayımlanan "Mixture-of-Depths: Dynamically allocating compute in transformer-based language models" makalesiyle tanıtıldı. Çıkış noktası basit bir gözlemdir: bir dizideki tokenlerin hepsi aynı derecede zor değildir; bazı tokenler için tam dikkat ve ileri besleme hesaplaması gereksizdir. Standart transformer bu farkı görmez ve her tokene aynı miktarda hesaplama harcar. MoD'de her transformer bloğunun başında hafif bir yönlendirici (router) bulunur. Yönlendirici her token için skaler bir ağırlık üretir; en yüksek ağırlığa sahip ilk k token bloğun tam işleminden (öz-dikkat ve MLP) geçer, kalan tokenler artık bağlantı (residual connection) üzerinden değişmeden bir sonraki bloğa aktarılır. Buradaki k değeri sabit bir kapasite olarak önceden belirlenir; makalede en iyi sonuçlar her iki blokta bir yönlendirme yapıp kapasiteyi dizinin %12,5'i ile sınırlamakla elde edilmiştir. Kapasitenin sabit olması önemli bir mühendislik avantajı getirir: tensör boyutları önceden bilindiği için hesaplama grafiği statik kalır ve donanım verimliliği erken çıkış (early exit) gibi dinamik yöntemlere göre çok daha iyidir. Yöntem, Mixture of Experts (MoE) ile sık karıştırılır ama farklı bir ekseni kontrol eder. MoE bir tokenin hangi uzman ağ tarafından işleneceğini seçerken, MoD tokenin bu blokta işlenip işlenmeyeceğini seçer. İki yaklaşım birbirine dik olduğundan aynı modelde birleştirilebilir; makale bu birleşimi MoDE (Mixture of Depths and Experts) adıyla sunar. Deneysel sonuçlara göre MoD modelleri, eşit eğitim FLOPs bütçesinde temel modellerden daha düşük kayıp değerine ulaşır; eşit kalitede ise ileri geçiş başına FLOPs belirgin biçimde azalır ve örnekleme sırasında adım süresi %50'ye kadar kısalır. MoD'nin en dikkat çekici zorluğu otoregresif üretimdir. Top-k seçimi dizideki tüm tokenleri görmeyi gerektirir, oysa üretim sırasında gelecekteki tokenler henüz yoktur. Makale bunun için iki çözüm önerir: yönlendirici çıktısına eklenen yardımcı bir ikili sınıflandırma kaybı ya da tokenin ilk k'ye girip girmeyeceğini tahmin eden küçük bir yardımcı MLP. Her iki yaklaşım da kalite kaybını ihmal edilebilir düzeyde tutar. MoD günümüzde araştırma aşamasında olup çok modlu büyük modeller için γ-MoD ve p-MoD gibi türevleri yayımlanmıştır.