DPU (Veri İşleme Birimi)

#donanım #veri merkezi #NVIDIA #yapay zeka altyapısı

DPU (Veri İşleme Birimi), ağ, depolama ve güvenlik altyapısını CPU'dan devralarak yapay zeka kümelerinde GPU verimliliğini en üst düzeye çıkaran özel işlemcidir.

DPU (Data Processing Unit — Veri İşleme Birimi), CPU ve GPU'nun yanında modern bilişimin üçüncü işlemci sütunu olarak konumlanan, ağ, depolama ve güvenlik altyapısını donanım düzeyinde yönetmek için tasarlanmış özel bir işlemci birimidir. NVIDIA, 2020 yılında BlueField-2 ile bu kavramı veri merkezi sektörüne kazandırdı; teknolojinin temeli ise daha önce SmartNIC ve altyapı yük boşaltma (infrastructure offload) işlemcileri olarak bilinen çözümlere dayanır. Geleneksel veri merkezlerinde ağ trafiği yönetimi, şifreleme, depolama sanallaştırma ve güvenlik duvarı gibi altyapı görevleri CPU çekirdeklerinin önemli bir bölümünü tüketir. DPU, bu görevleri altyapı bant hızında (line rate) gerçekleştiren donanım hızlandırıcılar aracılığıyla üstlenir ve CPU'nun tüm kapasitesini uygulama mantığı ile yapay zeka hesaplamaya yönlendirir. Yapay zeka kümelerinde DPU'nun rolü özellikle kritiktir. Yüzlerce veya binlerce GPU'dan oluşan ölçekli eğitim kümelerinde GPU'lar sürekli olarak gradyan senkronizasyonu, model parametresi aktarımı ve kontrol noktası (checkpoint) G/Ç işlemleri için ağı kullanır. Bu trafik, geleneksel mimaride host CPU'nun omuzlarına yüklenir; küme büyüdükçe CPU darboğazı GPU kullanım verimliliğini düşürür. DPU, RDMA ve RoCE (RDMA over Converged Ethernet) işlemlerini doğrudan kendi üzerindeki donanım motorlarında çalıştırarak bu yükü host sistemden tamamen kaldırır. NVIDIA BlueField-3, günümüzün en yaygın DPU'su olarak öne çıkar. TSMC 5 nm sürecinde üretilen BlueField-3, 22 milyar transistör barındırır, 400 Gb/sn ağ çıkışı sunar ve Arm Cortex-A78 çekirdekleri üzerinde bağımsız bir Linux işletim sistemi çalıştırır. NVIDIA'nın açıkladığına göre tek bir BlueField-3, yaklaşık 300 CPU çekirdeğinin üstlenebileceği altyapı yükünü karşılayabilmektedir. Marvell OCTEON 10 ve Intel IPU (Infrastructure Processing Unit) bu alandaki başlıca rakip çözümler arasında yer alır. Güvenlik perspektifinden DPU, host işletim sisteminden bağımsız ayrı bir koruma alanı oluşturur. Kiracı iş yükleri, DPU üzerinde çalışan ağ izleme, şifreleme veya güvenlik duvarı kurallarına müdahale edemez; bu özellik çok kiracılı bulut altyapılarında sıfır güven (zero-trust) mimarisinin donanım temelini sağlar. Enerji verimliliği boyutunda genel amaçlı bir CPU'nun altyapı görevleri için harcadığı enerji ile amaca özel DPU donanımının harcadığı enerji arasındaki fark büyüktür. Veri merkezleri fiziksel güç yoğunluk sınırlarına yaklaştıkça DPU, toplam sistem verimliliğine orantısız biçimde olumlu katkı sağlar.

DPU Nedir? Veri Merkezinin Üçüncü Beyni

Modern bilişim mimarisi uzun yıllar iki temel işlemci üzerine inşa edildi: genel amaçlı işlemleri yürüten CPU ve paralel hesaplama gerektiren görevler için GPU. Ancak yapay zeka kümelerinin ve hiperölçekli veri merkezlerinin ortaya çıkmasıyla bu iki işlemcinin yetişemediği bir boşluk belirdi: ağ trafiği, depolama G/Ç ve güvenlik altyapısının yönetimi. DPU (Data Processing Unit — Veri İşleme Birimi), tam olarak bu boşluğu doldurmak için tasarlandı. DPU, ağdan gelen ve ağa giden tüm veriyi hat hızında (line rate) işleyebilen, bu işlem sırasında CPU'nun tek bir döngüsünü tüketmeyen, bağımsız bir işletim sistemi çalıştırabilen programlanabilir bir yonga kompleksidir. NVIDIA, 2020 yılında BlueField-2'yi piyasaya sürerken 'DPU' terimini yaygınlaştırdı; bugün CPU, GPU ve DPU, büyük veri merkezlerinin üç temel işlemci kategorisi olarak kabul görüyor.

CPU, GPU ve DPU: Temel Farklar

Üç işlemci ailesi farklı problem uzayları için optimize edilmiştir. CPU, sıralı mantık, işletim sistemi görevleri ve uygulama kontrolü için tasarlanmış genel amaçlı bir işlemcidir; az çekirdekli ama her çekirdek son derece güçlüdür. GPU ise binlerce küçük çekirdekle kayan nokta matematiğini paralel yürütür; yapay zeka eğitimi, grafik ve HPC bu işlemcinin ana hedefidir. DPU, ne sıralı mantık ne de kayan nokta matematiği için optimize edilmiştir; onun uzmanlığı veri hareketini düzenlemektir. Paket işleme, şifreleme, sıkıştırma, depolama sanallaştırma ve ağ politikasını donanım motorlarıyla gerçekleştirir. Örneğin 400 Gb/sn trafiği yazılımda işlemek için onlarca CPU çekirdeği gerekir. Aynı işi BlueField-3 donanım hızında, sıfır CPU döngüsüyle yapar. Bu fark büyük ölçekli yapay zeka kümelerinde GPU başına hesaplamalı verimlilik üzerinde doğrudan etkiye sahiptir.

Yapay Zeka Kümelerinde DPU'nun Kritik Rolü

Büyük dil modellerinin eğitiminde yüzlerce veya binlerce GPU sürekli iletişim halindedir. AllReduce, AllGather ve AllToAll gibi topluluk iletişim operasyonları, her GPU'nun diğerleriyle gradyan tensörlerini paylaşmasını gerektirir. Bu iletişim RDMA (Remote Direct Memory Access) ve RoCE protokolleri üzerinden gerçekleşir. Geleneksel mimaride bu ağ trafiği host CPU'dan geçer; küme büyüdükçe CPU giderek daha fazla iletişim yönetimiyle meşgul olur ve GPU'ların yarattığı hesaplama potansiyelini kısmen boşa çıkarır. DPU bu döngüyü kırar: RDMA ve RoCE işlemleri doğrudan DPU'nun donanım motorlarında çalışır, host CPU tamamen işin dışında kalır. Sonuç olarak küme büyüklüğünden bağımsız olarak GPU kullanım oranı yüksek kalır ve hesaplama verimliliği korunur.

Öncü DPU Ürünleri

  • check_circle NVIDIA BlueField-3: 5 nm TSMC sürecinde 22 milyar transistör; 400 Gb/sn ağ çıkışı; Arm Cortex-A78 çekirdekleri; bağımsız Linux OS; DOCA yazılım çerçevesi. NVIDIA, tek birimin yaklaşık 300 CPU çekirdeği eşdeğeri altyapı yükü taşıyabileceğini belirtmektedir.
  • check_circle NVIDIA BlueField-4: 2026'da geniş kullanıma girmesi beklenen nesil; 800 Gb/sn çıkış — BlueField-3'ün 2 katı; BlueField-3'e kıyasla 6 kat hesaplama kapasitesi. NVIDIA'nın Vera Rubin AI altyapısı platformunun temel bileşeni.
  • check_circle Marvell OCTEON 10: 5 nm TSMC, Arm Neoverse N2 sunucu çekirdekleri, 400 Gb/sn çıkış; OCTEON 9'a kıyasla %50 daha düşük güç tüketimi. Telekomünikasyon, bulut ve kurumsal depolama pazarlarında güçlü.
  • check_circle Intel IPU (Infrastructure Processing Unit): Intel'in FPGA tabanlı altyapı yük boşaltma ürün ailesi; 25 GbE'den 100 GbE'ye uzanan konfigürasyonlar. Hyperscale bulut sağlayıcıları için özelleştirilmiş dağıtımlara yönelik.

Güvenlik ve Sıfır Güven Mimarisi

DPU'nun güvenlik mimarisindeki en önemli özelliği host sistemden tam bağımsızlığıdır. DPU üzerinde çalışan güvenlik duvarı, şifreleme motoru veya ağ izleme bileşenleri, host işletim sistemi ya da kiracı uygulamalar tarafından okunamaz veya değiştirilemez. Bu mimari ayrım sıfır güven (zero-trust) güvenlik modelinin donanım düzeyinde uygulanmasını mümkün kılar. Çok kiracılı bulut ortamlarında bu özellik kritik önem taşır: ağ politikaları, TLS sonlandırma, IPsec şifreleme ve mikro-segmentasyon DPU'nun izole alanında çalışır; kiracı iş yükleri bu bileşenlere erişemez. Böylece ortak donanım üzerinde çalışan farklı müşterilerin verileri hem güvenli hem de uyumluluk standartlarına uygun biçimde ayrılır.

Enerji Verimliliği ve Geleceğe Bakış

Veri merkezleri, fiziksel enerji yoğunluğu sınırlarına hızla yaklaşmaktadır. Bu ortamda amaca özel donanım olan DPU, genel amaçlı CPU'ya kıyasla aynı altyapı işini çok daha az enerjiyle gerçekleştirir. Sonuç olarak toplam veri merkezi tüketiminin büyük bölümü gerçek hesaplamaya yönlendirilebilir. NVIDIA, BlueField serisini 'AI fabrikası' altyapı çerçevesine entegre ederek geliştirmeye devam etmektedir. Önümüzdeki dönemde DPU ile GPU arasındaki sınır daha da bulanıklaşabilir; bazı analistler DPU'nun yakında GPU'nun host arabirimi işlevini tamamen üstleneceğini öngörmektedir.

Sık Sorulan Sorular

  • check_circle DPU ile SmartNIC arasındaki fark nedir?: SmartNIC, ağ G/Ç'yi boşaltan daha dar kapsamlı bir karttır. DPU, SmartNIC'in üst kümesidir: bağımsız bir işletim sistemi, programlanabilir hesaplama çekirdekleri ve depolama/güvenlik hızlandırıcıları da içerir. Her DPU bir SmartNIC görevi yapabilir; ancak her SmartNIC, DPU sayılmaz.
  • check_circle Her yapay zeka kümesine DPU gerekli mi?: Küçük çaplı (8-64 GPU) kümelerde CPU darboğazı genellikle belirgin değildir. Yüzlerce veya binlerce GPU'nun yer aldığı büyük ölçekli kümelerde ise DPU; GPU kullanım oranını, ağ verimini ve güvenlik izolasyonunu doğrudan etkiler.
  • check_circle DPU, GPU'nun işini yapabilir mi?: Hayır. DPU, veri hareketi ve altyapı yönetimi için optimize edilmiştir; kayan nokta yoğun yapay zeka eğitimi veya çıkarım (inference) hesaplamalarını GPU'nun yerini alarak gerçekleştiremez. İkisi tamamlayıcı birimledir.
  • check_circle DOCA nedir?: NVIDIA DOCA (Data-center Infrastructure-on-a-Chip Architecture), BlueField DPU'ları için geliştirme çerçevesidir. Ağ, depolama ve güvenlik servislerini DPU üzerinde programlamak için API'ler ve örnek uygulamalar sunar.
  • check_circle DPU ile NPU'yu neden karıştırmamak gerekir?: NPU (Neural Processing Unit), matris/tensör hesaplamalarını hızlandıran bir yapay zeka çıkarım işlemcisidir ve genellikle mobil veya uç cihazlara gömülüdür. DPU ise veri merkezinde ağ/depolama altyapısını yönetir; nöral ağ hesabı yapmaz.