tag yapay zeka altyapısı

Bu sayfada yapay zeka altyapısı etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

DPU (Data Processing Unit — Veri İşleme Birimi), CPU ve GPU'nun yanında modern bilişimin üçüncü işlemci sütunu olarak konumlanan, ağ, depolama ve güvenlik altyapısını donanım düzeyinde yönetmek için tasarlanmış özel bir işlemci birimidir. NVIDIA, 2020 yılında BlueField-2 ile bu kavramı veri merkezi sektörüne kazandırdı; teknolojinin temeli ise daha önce SmartNIC ve altyapı yük boşaltma (infrastructure offload) işlemcileri olarak bilinen çözümlere dayanır. Geleneksel veri merkezlerinde ağ trafiği yönetimi, şifreleme, depolama sanallaştırma ve güvenlik duvarı gibi altyapı görevleri CPU çekirdeklerinin önemli bir bölümünü tüketir. DPU, bu görevleri altyapı bant hızında (line rate) gerçekleştiren donanım hızlandırıcılar aracılığıyla üstlenir ve CPU'nun tüm kapasitesini uygulama mantığı ile yapay zeka hesaplamaya yönlendirir. Yapay zeka kümelerinde DPU'nun rolü özellikle kritiktir. Yüzlerce veya binlerce GPU'dan oluşan ölçekli eğitim kümelerinde GPU'lar sürekli olarak gradyan senkronizasyonu, model parametresi aktarımı ve kontrol noktası (checkpoint) G/Ç işlemleri için ağı kullanır. Bu trafik, geleneksel mimaride host CPU'nun omuzlarına yüklenir; küme büyüdükçe CPU darboğazı GPU kullanım verimliliğini düşürür. DPU, RDMA ve RoCE (RDMA over Converged Ethernet) işlemlerini doğrudan kendi üzerindeki donanım motorlarında çalıştırarak bu yükü host sistemden tamamen kaldırır. NVIDIA BlueField-3, günümüzün en yaygın DPU'su olarak öne çıkar. TSMC 5 nm sürecinde üretilen BlueField-3, 22 milyar transistör barındırır, 400 Gb/sn ağ çıkışı sunar ve Arm Cortex-A78 çekirdekleri üzerinde bağımsız bir Linux işletim sistemi çalıştırır. NVIDIA'nın açıkladığına göre tek bir BlueField-3, yaklaşık 300 CPU çekirdeğinin üstlenebileceği altyapı yükünü karşılayabilmektedir. Marvell OCTEON 10 ve Intel IPU (Infrastructure Processing Unit) bu alandaki başlıca rakip çözümler arasında yer alır. Güvenlik perspektifinden DPU, host işletim sisteminden bağımsız ayrı bir koruma alanı oluşturur. Kiracı iş yükleri, DPU üzerinde çalışan ağ izleme, şifreleme veya güvenlik duvarı kurallarına müdahale edemez; bu özellik çok kiracılı bulut altyapılarında sıfır güven (zero-trust) mimarisinin donanım temelini sağlar. Enerji verimliliği boyutunda genel amaçlı bir CPU'nun altyapı görevleri için harcadığı enerji ile amaca özel DPU donanımının harcadığı enerji arasındaki fark büyüktür. Veri merkezleri fiziksel güç yoğunluk sınırlarına yaklaştıkça DPU, toplam sistem verimliliğine orantısız biçimde olumlu katkı sağlar.

developer_board

DPU (Veri İşleme Birimi)

DPU (Data Processing Unit — Veri İşleme Birimi), CPU ve GPU'nun yanında modern bilişimin üçüncü işlemci sütunu olarak konumlanan, ağ, depolama ve güvenlik altyapısını donanım düzeyinde yönetmek için tasarlanmış özel bir işlemci birimidir. NVIDIA, 2020 yılında BlueField-2 ile bu kavramı veri merkezi sektörüne kazandırdı; teknolojinin temeli ise daha önce SmartNIC ve altyapı yük boşaltma (infrastructure offload) işlemcileri olarak bilinen çözümlere dayanır. Geleneksel veri merkezlerinde ağ trafiği yönetimi, şifreleme, depolama sanallaştırma ve güvenlik duvarı gibi altyapı görevleri CPU çekirdeklerinin önemli bir bölümünü tüketir. DPU, bu görevleri altyapı bant hızında (line rate) gerçekleştiren donanım hızlandırıcılar aracılığıyla üstlenir ve CPU'nun tüm kapasitesini uygulama mantığı ile yapay zeka hesaplamaya yönlendirir. Yapay zeka kümelerinde DPU'nun rolü özellikle kritiktir. Yüzlerce veya binlerce GPU'dan oluşan ölçekli eğitim kümelerinde GPU'lar sürekli olarak gradyan senkronizasyonu, model parametresi aktarımı ve kontrol noktası (checkpoint) G/Ç işlemleri için ağı kullanır. Bu trafik, geleneksel mimaride host CPU'nun omuzlarına yüklenir; küme büyüdükçe CPU darboğazı GPU kullanım verimliliğini düşürür. DPU, RDMA ve RoCE (RDMA over Converged Ethernet) işlemlerini doğrudan kendi üzerindeki donanım motorlarında çalıştırarak bu yükü host sistemden tamamen kaldırır. NVIDIA BlueField-3, günümüzün en yaygın DPU'su olarak öne çıkar. TSMC 5 nm sürecinde üretilen BlueField-3, 22 milyar transistör barındırır, 400 Gb/sn ağ çıkışı sunar ve Arm Cortex-A78 çekirdekleri üzerinde bağımsız bir Linux işletim sistemi çalıştırır. NVIDIA'nın açıkladığına göre tek bir BlueField-3, yaklaşık 300 CPU çekirdeğinin üstlenebileceği altyapı yükünü karşılayabilmektedir. Marvell OCTEON 10 ve Intel IPU (Infrastructure Processing Unit) bu alandaki başlıca rakip çözümler arasında yer alır. Güvenlik perspektifinden DPU, host işletim sisteminden bağımsız ayrı bir koruma alanı oluşturur. Kiracı iş yükleri, DPU üzerinde çalışan ağ izleme, şifreleme veya güvenlik duvarı kurallarına müdahale edemez; bu özellik çok kiracılı bulut altyapılarında sıfır güven (zero-trust) mimarisinin donanım temelini sağlar. Enerji verimliliği boyutunda genel amaçlı bir CPU'nun altyapı görevleri için harcadığı enerji ile amaca özel DPU donanımının harcadığı enerji arasındaki fark büyüktür. Veri merkezleri fiziksel güç yoğunluk sınırlarına yaklaştıkça DPU, toplam sistem verimliliğine orantısız biçimde olumlu katkı sağlar.

arrow_forward