NPU (Neural Processing Unit) (Nöral İşlem Birimi (Yapay Zeka Çipi))

#Donanim #EdgeAI #MobilCihazlar #Apple #NPU

Sinir ağı çıkarımı için özelleşmiş, düşük güçlü ve yüksek verimli donanım işlem birimi.

NPU (Nöral İşlem Birimi — Neural Processing Unit), yapay zeka modellerinin çıkarım (inference) hesaplamalarını CPU ve GPU'ya kıyasla çok daha verimli şekilde yürütmek için tasarlanmış özel amaçlı bir donanım birimidir. Modern akıllı telefonlardan dizüstü bilgisayarlara ve veri merkezi hızlandırıcılarına kadar geniş bir yelpazeye entegre edilmektedir. Sinir ağı hesaplamaları özünde yoğun matris çarpımına dayanır. Genel amaçlı CPU bu işlemleri sıralı biçimde yürütürken, GPU binlerce çekirdekle paralel hesaplama sağlar; NPU ise bu matris çarpımlarını gerçekleştirmek için özel systolic array veya tensor çekirdeği içerir. Bu yapı, CPU'dan 10-100 kat, GPU'ya kıyasla ise çok daha düşük güç tüketimiyle çıkarım yapmasını mümkün kılar. Apple, Neural Engine adını verdiği NPU birimini 2017'deki A11 Bionic çipiyle cihazlarına entegre etti. Günümüzde M4 çipindeki Neural Engine 38 TOPS (saniyede trilyon işlem) kapasitesine ulaşmıştır. Qualcomm Hexagon NPU Android ekosisteminin bel kemiğini oluştururken, Google Tensor serisindeki NPU Pixel cihazlarında ses tanıma ve fotoğraf işlemeyi optimize eder. Edge AI kavramı NPU'nun en kritik kullanım alanıdır: veri buluta gönderilmeden, internet bağlantısı olmadan, pili koruyarak cihazın içinde gerçek zamanlı yapay zeka çalışır. Portre modu kamera efektleri, wake word tespiti, yüz tanıma ve gerçek zamanlı çeviri bu sayede mümkün olmaktadır. Microsoft, Copilot+ PC sertifikasyonu için NPU'da en az 40 TOPS performans şartı koymuştur. Bu gelişme, NPU'yu mobil dünyadan PC platformuna taşıyan önemli bir dönüm noktasıdır. Yazılım tarafında Apple Core ML, Qualcomm QNN SDK, Intel OpenVINO ve Windows ML çerçeveleri NPU'dan yararlanmak isteyen geliştiricilere API erişimi sunar. Türk yazılım geliştiricileri için NPU fırsatı şudur: yerel AI modelleri (Local LLM) artık bulut maliyeti olmadan son kullanıcı cihazında çalışabilir; bu da gizlilik hassas uygulamalar ve düşük gecikme gereksinimi olan senaryolar için bulut alternatifleri doğurur.

NPU Neden Gerekli? CPU ve GPU'dan Farkı

CPU az çekirdekle sıralı hesaplama yapar; sinir ağı matris çarpımı için son derece yavaş. GPU binlerce çekirdekle paralel çalışır ama yüksek güç tüketimi (100-400W) mobil kullanımı imkânsız kılar. NPU matris çarpımına özelleşmiş systolic array veya tensor çekirdeği içerir; 1-5W ile çalışarak CPU/GPU'dan 10-100× daha verimli çıkarım sağlar. Üç birimi birden içeren SoC (System on Chip) tasarımı, bir iş yükünü en uygun donanıma yönlendirir.

Öne Çıkan NPU Ürünleri

Apple Neural Engine: A11 Bionic (2017) ile başladı; M4'te 38 TOPS. Qualcomm Hexagon NPU: Snapdragon 8 Gen serisi; Android ekosisteminin temeli. Google Tensor G3: Pixel telefonlarda ses ve fotoğraf işleme. Samsung Moblier NPU: Exynos SoC'ta entegre. Veri merkezi: Google TPU v5 (Pod başına 100+ PFLOPS), AWS Inferentia2, Intel Gaudi 3. Microsoft Copilot+ PC: minimum 40 TOPS NPU zorunluluğu.

Edge AI: İnternetsiz Yapay Zeka

NPU'nun yarattığı en kritik paradigma değişikliği Edge AI'dır: model çıkarımı buluta taşınmadan uç cihazda gerçekleşir. Avantajları: gizlilik (veri cihazı terk etmez), düşük gecikme (ağ round-trip yok), çevrimdışı çalışma, pil tasarrufu. Uygulama örnekleri: Face ID, portre modu kamera, gerçek zamanlı çeviri, sesli asistan wake word, Stable Diffusion mobil çalıştırma, yerel LLM (Llama, Phi) inference.

Geliştirici Perspektifi: NPU'dan Nasıl Yararlanılır?

Apple platformu: Core ML modeli oluşturup coremltools ile dönüştürerek Neural Engine'e yönlendirin. Android: QNN SDK (Qualcomm) veya NNAPI aracılığıyla Hexagon NPU. Windows: Windows ML veya DirectML ile Copilot+ PC NPU. Evrensel: ONNX Runtime'ın NPU execution provider'ı birden fazla platformu destekler. Dikkat: NPU genellikle INT8/INT4 hassasiyetini destekler; FP32 modelleri nicemleme (quantization) gerektirebilir.

NPU ile AI Hızlandırma Senaryoları

Cihaz Üzeri Asistan

Siri, Bixby gibi sesli asistanlar NPU üzerinde çalışarak pil tüketimini minimumda tutar.

Gerçek Zamanlı Fotoğraf AI

Çekim anında sahne tanıma, HDR işleme ve portre modu bulanıklaştırma NPU hızlanmasıyla gerçekleşir.

Yüz Kimlik Doğrulama

Face ID ve benzeri sistemler NPU'daki güvenli bölgede model çalıştırarak gizlilik korur.

Yerel LLM Çıkarımı

Apple Neural Engine gibi NPU'lar cihazda küçük dil modeli çalıştırarak bulut bağımlılığını azaltır.

Sık Sorulan Sorular

  • check_circle NPU, GPU ve CPU arasındaki temel fark nedir? CPU sıralı gene: NPU, GPU ve CPU arasındaki temel fark nedir? CPU sıralı genel hesaplama için; GPU paralel grafik ve AI eğitimi için yüksek güç tüketimiyle; NPU ise sinir ağı çıkarımı için düşük güçte özelleşmiş donanımdır. Mobil ve edge senaryolarında NPU tartışmasız kazanır.
  • check_circle TOPS ne anlama gelir? Saniyede Trilyon İşlem (Tera Operations Per Second): NPU'nun ham işlem kapasitesini ölçer. M4 Neural Engine 38 TOPS sunarken Snapdragon 8 Gen 3 45 TOPS ile öne çıkar.
  • check_circle Telefonumdaki NPU hangi uygulamalar tarafından kullanılıyor? Telefonumdaki NPU hangi uygulamalar tarafından kullanılıyor? Kamera (portre, gece modu), yüz tanıma/kilit açma, sesli asistan, gerçek zamanlı çeviri uygulamaları ve modern fotoğraf düzenleme araçları NPU'dan doğrudan yararlanır.
  • check_circle Copilot+ PC nedir ve NPU ile ilişkisi ne? Microsoft'un yeni: Copilot+ PC nedir ve NPU ile ilişkisi ne? Microsoft'un yeni PC kategorisi; minimum 40 TOPS NPU içermesi zorunlu. Recall, Live Captions ve Cocreator gibi yerel AI özelliklerini mümkün kılar.
  • check_circle NPU'yu kullanan model geliştirmek için ne öğrenmem gerekir? NPU'yu kullanan model geliştirmek için ne öğrenmem gerekir? Core ML Tools (Apple), QNN SDK (Qualcomm) veya ONNX Runtime NPU backend birini öğrenmek yeterlidir. Nicemleme (INT8/INT4) konusunda temel bilgi gereklidir.
  • check_circle NPU eğitim (training) için de kullanılabilir mi? Hayır; NPU: NPU eğitim (training) için de kullanılabilir mi? Hayır; NPU yalnızca çıkarım (inference) için optimize edilmiştir. Model eğitimi GPU gerektirmeye devam eder; NPU bu süreçte kullanılmaz.