NPU (Neural Processing Unit) (Nöral İşlem Birimi (Yapay Zeka Çipi))

#Donanim #EdgeAI #MobilCihazlar #Apple #NPU

NPU (Nöral İşlem Birimi), akıllı telefonlarımızın ve yeni nesil ince dizüstü bilgisayarlarımızın ana işlemcilerinin (SoC) içine yerleştirilen, fotoğraf netleştirme, yüz tanıma veya sesten metne çeviri gibi yapay zeka görevlerini cihazın şarjını bitirmeden, buluta (internete) bağlanmadan cihazın içinde anında (Edge AI) gerçekleştirmek için ayrılmış donanım motorudur.

NPU (Nöral İşlem Birimi), akıllı telefonlarımızın ve yeni nesil ince dizüstü bilgisayarlarımızın ana işlemcilerinin (SoC) içine yerleştirilen, fotoğraf netleştirme, yüz tanıma veya sesten metne çeviri gibi yapay zeka görevlerini cihazın şarjını bitirmeden, buluta (internete) bağlanmadan cihazın içinde anında (Edge AI) gerçekleştirmek için ayrılmış donanım motorudur.

battery_charging_full Neden Telefondaki CPU Yetmiyor?

Telefonun kamerasını açıp arkaplanı bulanıklaştıran (Portre Modu) yapay zekayı kullandığınızda, bunu telefonun ana işlemcisine (CPU) yaptırırsanız cihaz aşırı ısınır ve pili 15 dakikada biter. Apple (Neural Engine), Samsung ve Qualcomm cihazın içine ayrı bir minik yapay zeka çipi (NPU) koyar. NPU, saniyede trilyonlarca işlemi (TOPS) bir ampulden bile az enerji harcayarak yaptığı için yapay zekayı cebimizde taşıyabiliriz.

Gelecek: AI PC Dönemi

  • check_circle Windows Copilot+ PC: Artık Windows bilgisayarlarda NPU donanımı zorunlu hale gelmektedir. Böylece cihaz, siz oyun oynarken veya ofiste çalışırken arka planda interneti kullanmadan devasa yerel modelleri (Local LLM) NPU üzerinden çalıştırabilecektir.

NPU Mimarisi ve Tasarım Prensipleri

  • check_circle Matris Çarpımı Donanımı: Sinir ağı çıkarımının büyük çoğunluğu matris çarpımından oluşur. NPU'lar bu işlem için özel systolic array veya tensor çekirdeği içerir. CPU'dan 10-100× daha verimli; GPU'ya kıyasla çok daha az güç. Apple Neural Engine: her A/M çipinde 16-38 TOPS kapasiteli NPU.
  • check_circle Bellek Bant Genişliği Optimizasyonu: NPU'lar veri hareketi minimuma indirecek şekilde tasarlanır. On-chip SRAM: sık kullanılan aktivasyon ve ağırlıklar yerel bellekte tutulur. Tiling ve fusion: büyük matris işlemi küçük parçalara bölünür; gereksiz bellek transferi önlenir.
  • check_circle Güç Verimliliği: Mobil NPU: 1-5W ile çalışır; GPU'nun 1/20'si güç tüketimi. Veri merkezi NPU: Google TPU, AWS Trainium/Inferentia. INT8/INT4 native destekle FP32'den 4-8× verimli çıkarım. Mobil cihazlarda pil ömrü için kritik: kamera AI, sesli asistan, yüz tanıma NPU'da çalışır.

Önde Gelen NPU Ürünleri

Apple Neural Engine (ANE): A11 Bionic (2017) ile başladı; M4 çipinde 38 TOPS kapasitesiyle sektörün en güçlülerinden. Qualcomm Hexagon NPU: Snapdragon serisi; Android AI işlemleri. Google Tensor G3: Pixel telefonların NPU'su; ses tanıma ve fotoğraf işleme optimize. Samsung Moblier NPU: Exynos'ta gömülü. Veri merkezi: Google TPU v5, AWS Inferentia2, Intel Gaudi. Microsoft Copilot+ PC: NPU sertifikasyonu için minimum 40 TOPS şartı. Yazılım ekosistemi: Core ML (Apple), QNN SDK (Qualcomm), OpenVINO (Intel) NPU desteği sunar.