TPU Mimarisi

TPU Mimarisi (Tensor Processing Unit Architecture), Google tarafından matris çarpımı ve lineer cebir işlemlerini maksimum verimlilikle gerçekleştirmek için özel olarak tasarlanan donanım işlemci mimarisini ifade eder. GPU ve CPU'nun aksine genel amaçlı hesaplama için değil, özellikle derin öğrenme modellerinin eğitimi ve çıkarımı (inference) için optimize edilmiş olan TPU, ilk olarak 2016 yılında Google veri merkezlerinde kullanılmaya başlanmıştır. TPU mimarisinin temel yapı taşı sistolik dizi (systolic array) adı verilen ve binlerce çarpma-toplama (multiply-accumulate) biriminin birbirine doğrudan bağlı olduğu matris yapısıdır. Bu mimaride veri bir kez bellekten yüklenir ve dizi boyunca akarak defalarca yeniden kullanılır; böylece bellek bant genişliği talebi dramatik biçimde düşürülür. TPU v1, 700 MHz saat hızında 65.536 çarpma-toplama işlemini eş zamanlı gerçekleştirebilir ve saniyede 92 trilyon 8-bit işlem kapasitesine sahipken yalnızca 40 watt güç tüketir. Her TPU TensorCore birimi; matris çarpımı birimi (MXU), vektör birimi ve skaler birimden oluşur. TPU v5 ve sonraki nesillerde MXU boyutu 256×256'ya çıkarılmış, HBM (High Bandwidth Memory) kullanımıyla bant genişliği daha da artırılmıştır. Yeni nesil TPU'lar eğitim (TPU 8t) ve çıkarım (TPU 8i) için ayrı varyantlar olarak sunulmakta; bu sayede farklı hesaplama gereksinimlerine özgü donanım optimizasyonu sağlanmaktadır. Google'ın TPU'ları günümüzde Google Cloud üzerinden TPU VM ve TPU Pod yapılandırmaları şeklinde erişilebilmektedir. Bir TPU Pod, binlerce TPU çekirdeğini yüksek hızlı ara bağlantılarla birleştirerek eksa-ölçek hesaplama kapasitesi sunar. ChatGPT, Gemini ve benzeri büyük dil modellerinin eğitiminde kullanılan en kritik donanım altyapılarından birini oluşturan TPU mimarisi, NVIDIA GPU'larına alternatif en güçlü yapay zeka hızlandırıcı platformu konumundadır.