Tensor Core (Tensor Çekirdeği)
Tensor Core, NVIDIA tarafından 2017 yılında Volta mimarisinde (V100) tanıtılan ve sonraki GPU nesillerinde (Turing, Ampere, Hopper, Ada Lovelace) kapsamlı biçimde geliştirilen özel donanım birimleridir. Bu birimler, derin öğrenme modellerinin eğitimi ve çıkarımı sırasında merkezi bir rol oynayan matris çarpma-biriktirme (Matrix Multiply-Accumulate, MMA: D = A × B + C) operasyonlarını son derece verimli biçimde gerçekleştirmek amacıyla tasarlanmıştır.
Klasik CUDA çekirdekleri genel amaçlı skaler ve vektör işlemler için tasarlanmışken, Tensor Core'lar tek bir saat döngüsünde 4×4 matris boyutunda çarpma ve biriktirme yapabilir. Bu yapı, yapay sinir ağlarının ileri ve geri yayılım hesaplamalarında kullanılan devasa matris çarpmalarını dramatik biçimde hızlandırır. Bir warp (32 iş parçacığı), wmma (warp-level matrix multiply-accumulate) API'si aracılığıyla 16×16 boyutundaki matrisleri Tensor Core bloklarında işler; bu paralel mod, FP32 CUDA çekirdeklerine kıyasla teorik tepe performansını yaklaşık bir ordem büyüklüğünde artırır.
Tensor Core'ların en kritik özelliği karma hassasiyet hesaplamayı (mixed-precision) desteklemeleridir: çarpma işlemleri FP16 ya da BF16 gibi daha kısa bitli formatlarda gerçekleştirilir, biriktirme ise FP32 ile yapılır. Bu tasarım sayesinde bellek bant genişliği kullanımı yarıya iner ve eğitim hızı önemli ölçüde artar; model doğruluğu ise büyük ölçüde korunur.
Nesil bazında gelişime bakıldığında: Volta'da FP16 desteğiyle başlayan Tensor Core'lar Turing'de INT8 ve INT4 desteği kazandı, Ampere (A100) ile TF32 ve BF16 ve yapısal seyreklik (structured sparsity) desteği eklendi, Hopper (H100) ile FP8 desteği ve Transformer Engine entegrasyonu getirilerek A100'e kıyasla yaklaşık 6 kat daha yüksek verim elde edildi. PyTorch'ta torch.cuda.amp.autocast(), TensorFlow'da tf.keras.mixed_precision aracılığıyla bu donanım şeffaf biçimde kullanılır.