tag yapay-zeka-cip

Bu sayfada yapay-zeka-cip etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

Intel Gaudi, Intel'in 2019 yılında yaklaşık 2 milyar dolara satın aldığı İsrailli yapay zeka çip firması Habana Labs tarafından geliştirilen AI hızlandırıcı serisidir. Seri, derin öğrenme modellerinin eğitimi ve büyük dil modellerinin çıkarımı (inference) için özel olarak tasarlanmıştır. Gaudi 3, serinin en güncel neslidir. TSMC'nin 5 nm süreci üzerinde üretilmektedir. 64 Tensör İşlem Çekirdeği (TPC) ve 8 Matris Çarpma Motoru (MME) barındırır. Bellek tarafında 128 GB HBM2E ve 3,7 TB/s bant genişliği sunar. Ağ bağlantısı için 24 adet 200 GbE bağlantı noktası entegre edilmiş olup küme düzeyinde 9,6 Tbps çift yönlü bant genişliği sağlar. BF16/FP8 operasyonlarında 1.835 TFLOPS hesaplama kapasitesi sunan Gaudi 3, NVIDIA H100 ve H200 karşısında fiyat-performans avantajıyla konumlandırılmaktadır; birim fiyatı H100'ün belirgin şekilde altındadır. Intel'in yayımladığı kıyaslama verilerine göre LLaMA ve Mistral gibi büyük dil modellerinde H100'e kıyasla 2 kat daha yüksek çıkarım hızı elde edilmektedir. Gaudi'nin önemli bir özelliği, standart Ethernet ağ mimarisini kullanmasıdır. NVLink gibi tescilli ağ çözümlerine gerek kalmadan çok düğümlü kümeler kurulmasını mümkün kılar. Yazılım ekosistemi PyTorch, TensorFlow ve Intel'in kendi SynapseAI SDK'sı üzerine kuruludur. AWS DL1 ve DL2 bulut örnekleri, IBM Cloud ve Supermicro sunucularında kullanıma sunulmuştur. Temel zorluk, NVIDIA'nın CUDA ekosistemine kıyasla mevcut yapay zeka kütüphanelerinin büyük bölümünün öncelikle CUDA için optimize edilmiş olmasıdır. Geliştiricilerin Gaudi'ye geçişte mevcut kodlarını uyarlamaları gerekmektedir. Bu durum, kurumsal benimsemede önemli bir sürtünme noktası olmayı korumaktadır.

code_blocks

Intel Gaudi (Intel Gaudi)

Intel Gaudi, Intel'in 2019 yılında yaklaşık 2 milyar dolara satın aldığı İsrailli yapay zeka çip firması Habana Labs tarafından geliştirilen AI hızlandırıcı serisidir. Seri, derin öğrenme modellerinin eğitimi ve büyük dil modellerinin çıkarımı (inference) için özel olarak tasarlanmıştır. Gaudi 3, serinin en güncel neslidir. TSMC'nin 5 nm süreci üzerinde üretilmektedir. 64 Tensör İşlem Çekirdeği (TPC) ve 8 Matris Çarpma Motoru (MME) barındırır. Bellek tarafında 128 GB HBM2E ve 3,7 TB/s bant genişliği sunar. Ağ bağlantısı için 24 adet 200 GbE bağlantı noktası entegre edilmiş olup küme düzeyinde 9,6 Tbps çift yönlü bant genişliği sağlar. BF16/FP8 operasyonlarında 1.835 TFLOPS hesaplama kapasitesi sunan Gaudi 3, NVIDIA H100 ve H200 karşısında fiyat-performans avantajıyla konumlandırılmaktadır; birim fiyatı H100'ün belirgin şekilde altındadır. Intel'in yayımladığı kıyaslama verilerine göre LLaMA ve Mistral gibi büyük dil modellerinde H100'e kıyasla 2 kat daha yüksek çıkarım hızı elde edilmektedir. Gaudi'nin önemli bir özelliği, standart Ethernet ağ mimarisini kullanmasıdır. NVLink gibi tescilli ağ çözümlerine gerek kalmadan çok düğümlü kümeler kurulmasını mümkün kılar. Yazılım ekosistemi PyTorch, TensorFlow ve Intel'in kendi SynapseAI SDK'sı üzerine kuruludur. AWS DL1 ve DL2 bulut örnekleri, IBM Cloud ve Supermicro sunucularında kullanıma sunulmuştur. Temel zorluk, NVIDIA'nın CUDA ekosistemine kıyasla mevcut yapay zeka kütüphanelerinin büyük bölümünün öncelikle CUDA için optimize edilmiş olmasıdır. Geliştiricilerin Gaudi'ye geçişte mevcut kodlarını uyarlamaları gerekmektedir. Bu durum, kurumsal benimsemede önemli bir sürtünme noktası olmayı korumaktadır.

arrow_forward