tag edge-ai

AI Hızlandırıcı (Yapay Zeka Hızlandırıcısı)

Bu sayfada edge-ai (AI Hızlandırıcı (Yapay Zeka Hızlandırıcısı)) etiketi ile işaretlenmiş 17 yapay zeka kavramını bulabilirsiniz.

AI Hızlandırıcı (İng. AI Accelerator), derin öğrenme ve makine öğrenimi iş yüklerini geleneksel merkezi işlem birimlerine (CPU) kıyasla çok daha verimli ve hızlı işlemek amacıyla geliştirilmiş özel amaçlı donanım birimleridir. Yapay zeka modellerinin eğitim ve çıkarım (inference) aşamalarında milyarlarca matris çarpımı, vektör toplama ve aktivasyon fonksiyonu hesabı gerçekleştirilir; bu işlemler genel amaçlı CPU mimarilerinde ciddi darboğazlar oluşturur. AI hızlandırıcılar, sinir ağı operasyonlarına doğrudan optimize edilmiş paralel işlem birimleri ve özel bellek mimarileriyle bu sorunu çözer. Bu alanda en yaygın kullanılan türler şunlardır: GPU (Grafik İşlem Birimi) — binlerce küçük çekirdeğiyle yüksek paralel işlem kapasitesi sunan ilk popüler AI hızlandırıcı; TPU (Tensör İşlem Birimi) — Google'ın TensorFlow iş yükleri için geliştirdiği özel ASIC; NPU (Sinirsel İşlem Birimi) — akıllı telefon ve IoT cihazlarına entegre, düşük güçte çıkarım yapan çip; FPGA (Sahaya Programlanabilir Kapı Dizisi) — yeniden yapılandırılabilir mimarisiyle esnek optimizasyon imkânı sunan donanım; ASIC (Uygulamaya Özel Entegre Devre) — tek bir iş yükü için tasarlanmış, en yüksek verimlilik oranına ulaşan çip. Hızlandırıcıların performansı; saniyede gerçekleştirilebilen kayan noktalı işlem sayısı (TFLOPS), yüksek bant genişlikli bellek (HBM) kapasitesi, bellek bant genişliği ve chip-to-chip iletişim hızı (NVLink, InfiniBand) gibi metriklerle ölçülür. Enerji verimliliği FLOPS/Watt biriminde ifade edilir ve veri merkezi işletme maliyetlerini doğrudan etkiler. Büyük dil modelleri (LLM) trilyonlarca parametreye ulaştıkça yüzlerce ila binlerce hızlandırıcının NVLink veya InfiniBand ile birbirine bağlandığı kümeler (accelerator clusters) ortaya çıkmıştır. NVIDIA H100/H200 Hopper ve Blackwell serileri, Google Trillium (TPU v6), AWS Trainium2 ve Groq LPU günümüz yapay zeka altyapısının bel kemiğini oluşturmaktadır. Öte yandan uç yapay zeka (edge AI) alanında NPU'lar akıllı telefon, güvenlik kamerası ve araç içi sistemlere gömülerek bulut bağlantısı gerektirmeden gerçek zamanlı çıkarım yapabilmektedir. Bu iki eğilim — bulut kümelerindeki devasa ölçek ve uçtaki düşük güçlü çıkarım — modern AI hızlandırıcı ekosisteminin iki kutbunu tanımlamaktadır.

developer_board

AI Hızlandırıcı (Yapay Zeka Hızlandırıcısı)

AI Hızlandırıcı (İng. AI Accelerator), derin öğrenme ve makine öğrenimi iş yüklerini geleneksel merkezi işlem birimlerine (CPU) kıyasla çok daha verimli ve hızlı işlemek amacıyla geliştirilmiş özel amaçlı donanım birimleridir. Yapay zeka modellerinin eğitim ve çıkarım (inference) aşamalarında milyarlarca matris çarpımı, vektör toplama ve aktivasyon fonksiyonu hesabı gerçekleştirilir; bu işlemler genel amaçlı CPU mimarilerinde ciddi darboğazlar oluşturur. AI hızlandırıcılar, sinir ağı operasyonlarına doğrudan optimize edilmiş paralel işlem birimleri ve özel bellek mimarileriyle bu sorunu çözer. Bu alanda en yaygın kullanılan türler şunlardır: GPU (Grafik İşlem Birimi) — binlerce küçük çekirdeğiyle yüksek paralel işlem kapasitesi sunan ilk popüler AI hızlandırıcı; TPU (Tensör İşlem Birimi) — Google'ın TensorFlow iş yükleri için geliştirdiği özel ASIC; NPU (Sinirsel İşlem Birimi) — akıllı telefon ve IoT cihazlarına entegre, düşük güçte çıkarım yapan çip; FPGA (Sahaya Programlanabilir Kapı Dizisi) — yeniden yapılandırılabilir mimarisiyle esnek optimizasyon imkânı sunan donanım; ASIC (Uygulamaya Özel Entegre Devre) — tek bir iş yükü için tasarlanmış, en yüksek verimlilik oranına ulaşan çip. Hızlandırıcıların performansı; saniyede gerçekleştirilebilen kayan noktalı işlem sayısı (TFLOPS), yüksek bant genişlikli bellek (HBM) kapasitesi, bellek bant genişliği ve chip-to-chip iletişim hızı (NVLink, InfiniBand) gibi metriklerle ölçülür. Enerji verimliliği FLOPS/Watt biriminde ifade edilir ve veri merkezi işletme maliyetlerini doğrudan etkiler. Büyük dil modelleri (LLM) trilyonlarca parametreye ulaştıkça yüzlerce ila binlerce hızlandırıcının NVLink veya InfiniBand ile birbirine bağlandığı kümeler (accelerator clusters) ortaya çıkmıştır. NVIDIA H100/H200 Hopper ve Blackwell serileri, Google Trillium (TPU v6), AWS Trainium2 ve Groq LPU günümüz yapay zeka altyapısının bel kemiğini oluşturmaktadır. Öte yandan uç yapay zeka (edge AI) alanında NPU'lar akıllı telefon, güvenlik kamerası ve araç içi sistemlere gömülerek bulut bağlantısı gerektirmeden gerçek zamanlı çıkarım yapabilmektedir. Bu iki eğilim — bulut kümelerindeki devasa ölçek ve uçtaki düşük güçlü çıkarım — modern AI hızlandırıcı ekosisteminin iki kutbunu tanımlamaktadır.

arrow_forward
code_blocks

ARM Çip (ARM Çip)

ARM (Advanced RISC Machines), Reduced Instruction Set Computing (RISC) felsefesini temel alan ve dünyada en yaygın kullanılan işlemci mimarilerinden biridir. 1990 yılında İngiliz şirketi ARM Holdings tarafından geliştirilen bu mimari, basit ama hızlı komut setleri kullanarak x86 tabanlı işlemcilere kıyasla çok daha düşük güç tüketir. Bu özellik, pil ömrünün kritik olduğu akıllı telefonlarda ARM'ı vazgeçilmez kılar: bugün piyasadaki her akıllı telefon ARM tabanlı bir işlemci kullanmaktadır. ARM Holdings, çip üretmek yerine mimarisini lisanslama modeliyle çalışır. Apple, Qualcomm, Samsung, MediaTek ve Nvidia gibi şirketler bu lisansı satın alarak kendi çiplerini tasarlar. Bu yaklaşım ekosisteme son derece geniş bir ürün yelpazesi kazandırmıştır. Apple'ın M1/M2/M3/M4 serisi ARM tabanlıdır ve entegre Neural Engine birimleri içerdiğinden makine öğrenmesi iş yüklerinde Intel ve AMD işlemcilerini performans ve enerji verimliliği açısından geride bırakmıştır. Yapay zeka açısından ARM mimarisinin önemi giderek artmaktadır. ARM Cortex-A serisi yüksek performanslı cihazlar için, Cortex-M serisi ise mikrodenetleyiciler ve kenar cihazlar için tasarlanmıştır. ARM'ın Ethos NPU (Neural Processing Unit) ailesi, büyük dil modellerinin ve görüntü tanıma algoritmalarının doğrudan cihazda (on-device) çalıştırılmasına olanak tanır; bu yaklaşım veri gizliliği, gecikme süresi ve bant genişliği açısından bulut tabanlı çözümlere kıyasla belirgin avantajlar sunar. Veri merkezlerinde de ARM dönüşümü hız kazanmaktadır. Amazon Web Services'in Graviton3 işlemcisi, aynı iş yükü için x86 sunucularına kıyasla yüzde kırk daha az enerji tüketmektedir. Ampere Altra ve Neoverse serisi gibi ARM tabanlı sunucu işlemcileri, büyük dil modeli çıkarımı (inference) ve model dağıtımı (deployment) için maliyet etkin alternatifler haline gelmiştir. Microsoft, Google ve Meta da kendi ARM tabanlı veri merkezi çiplerini geliştirmektedir. Bu dönüşüm, yapay zeka altyapısının enerji verimliliği ve sürdürülebilirlik baskıları altında ARM mimarisine yönelmesini hızlandırmaktadır.

arrow_forward
vpn_lock

Federated Learning (Birleştirilmiş Öğrenme)

Federated learning (federe öğrenme), makine öğrenmesi modellerinin ham verileri merkezi bir sunucuya göndermek yerine, verilerin bulunduğu cihazlar üzerinde doğrudan eğitilmesini mümkün kılan gizlilik odaklı bir dağıtık öğrenme paradigmasıdır. Google tarafından 2017'de tanıtılan bu yaklaşım, her istemci cihazın kendi yerel verisiyle bir model güncellemesi (gradient veya model ağırlığı değişikliği) hesaplamasını ve yalnızca bu güncellemeyi merkezi bir koordinatöre göndermesini esas alır. Geleneksel makine öğrenmesinde tüm eğitim verisi tek bir merkezi sunucuda toplanır; bu durum hem gizlilik hem de veri sızıntısı riskleri doğurur. Federated learning ise bu problemi yapısal olarak çözer: ham veri hiçbir zaman cihazı terk etmez. Koordinatör sunucu yalnızca anonim gradyanları veya model parametrelerini alır, bunları FedAvg (Federated Averaging) gibi bir toplama algoritmasıyla birleştirir ve güncellenmiş global modeli tüm istemcilere dağıtır. Federated learning'in iki temel çeşidi vardır: yatay federated learning (aynı özellik uzayı, farklı veri örnekleri — örneğin farklı hastanelerden gelen aynı formattaki hasta kayıtları) ve dikey federated learning (farklı özellik uzayları, aynı kullanıcılar — örneğin bir bankanın işlem geçmişi ile bir e-ticaret sitesinin satın alma geçmişinin birleştirilmesi). Bu yapı, GDPR ve HIPAA gibi veri koruma düzenlemelerine uyumu kolaylaştırır. Pratik uygulamalar arasında Google'ın Android klavye tahmini (Gboard), Apple'ın Siri ses tanıma kalitesi iyileştirmesi ve hastane ağlarında tıbbi görüntü analizi öne çıkar. İletişim verimliliği, heterojenik cihaz kapasiteleri (sistem heterojenliği) ve model zehirleme (model poisoning) saldırılarına karşı dayanıklılık, alanın aktif araştırma konularıdır. Diferansiyel gizlilik ve güvenli çok taraflı hesaplama teknikleri ile federated learning'in gizlilik garantisi daha da güçlendirilebilir. Bu kombinasyon, hassas sektörlerde (finans, sağlık, savunma) veri paylaşımı gerektirmeden yüksek kaliteli ortak modeller geliştirmeyi olanaklı kılmakta ve merkezileşme olmaksızın ölçeklenebilir yapay zeka ekosistemlerinin temelini atmaktadır.

arrow_forward
memory

FPGA (Yeniden Programlanabilir Kapı Dizisi)

FPGA (Field-Programmable Gate Array — Yeniden Programlanabilir Kapı Dizisi), üretim sonrasında yeniden yapılandırılabilen entegre devrelerdir. Yapay zeka uygulamalarında FPGA'lar; CPU'ların genel amaçlı esnekliğini GPU'ların yüksek paralelliğiyle birleştiren hibrit bir alternatif sunar ve özellikle çıkarım (inference) aşamasında belirgin avantajlar ortaya koyar. FPGA, temelinde binlerce veya milyonlarca programlanabilir mantık bloku (CLB — Configurable Logic Block), flip-flop, DSP dilimleri ve bellek blokları (BRAM) içerir. Bunlar, SRAM tabanlı bir yapılandırma belleği (configuration memory) aracılığıyla kullanıcı tanımlı bir devre topolojisine bağlanır. Yapay zeka iş yükleri için kritik olan DSP dilimleri, çarpma-toplama (multiply-accumulate — MAC) işlemlerini yüksek hızda ve düşük güçle yürütür; bu işlem, sinir ağı çıkarımının temel hesaplama adımıdır. GPU'larla karşılaştırıldığında FPGA'nın belirgin üstünlükleri şunlardır: birincisi, belirleyici ve ultra düşük gecikme (deterministic low latency) — FPGA, pipeline mimarisinde veriyi kayan bant hattı gibi işlediğinden tutarsız öbek (batch) bekleme süreleri ortadan kalkar; ikincisi, yüksek enerji verimliliği — Microsoft'un Brainwave projesinde tanıtılan FPGA tabanlı çıkarım sistemi, aynı performans için GPU'ya kıyasla enerji tüketimini önemli ölçüde düşürmüştür; üçüncüsü, doğrudan bellek erişimi — özel veri yolları aracılığıyla bant genişliği darboğazları azalır. Edge AI (kenar yapay zekası) senaryolarında FPGA'lar özellikle ön plana çıkar. Otonom araçlarda sensör füzyonu, tıbbi görüntülemede gerçek zamanlı sınıflandırma, endüstriyel denetimde görüntü işleme ve 5G baz istasyonlarında sinyal işleme bu kullanım alanlarının başında gelir. Xilinx (AMD) ve Intel (Altera) piyasadaki iki ana FPGA üreticisidir; her iki şirket de Vitis AI (AMD) ve OpenVINO (Intel) gibi yapay zeka geliştirme ortamları sunarak yazılım geliştiricilerin FPGA programlamasına erişimini kolaylaştırmaktadır. Quantization (niceleme) ve model pruning (budama) teknikleriyle küçültülmüş modeller FPGA üzerinde özellikle verimli çalışır; INT8 veya INT4 aritmetiği, kaynak kullanımını FP32'ye kıyasla dramatik biçimde azaltır. FPGA'ların yeniden programlanabilirlik özelliği, standart değişikliklerinin sık yaşandığı iletişim ve savunma gibi sektörlerde donanım tasarımı maliyetlerini düşürür.

arrow_forward
memory

Inference Accelerator (Çıkarım Hızlandırıcısı)

Inference Accelerator (Çıkarım Hızlandırıcısı), önceden eğitilmiş yapay zeka ve derin öğrenme modellerini üretim ortamında düşük gecikme, yüksek verim ve enerji verimliliğiyle çalıştırmak üzere tasarlanmış özel amaçlı donanım birimidir. Genel amaçlı GPU'lar model eğitimi için optimize edilirken, çıkarım hızlandırıcılar tek bir amaca odaklanır: eğitilmiş modelden mümkün olan en hızlı ve en az güç tüketen biçimde tahmin üretmek. Bu uzmanlaşmanın temelinde hassasiyet farkı yatar. Eğitim aşaması, gradyan stabilitesi için FP32 veya BF16 tam hassasiyete ihtiyaç duyar; ancak çıkarım aşamasında INT8, FP8 veya INT4 gibi düşük hassasiyetli veri tipleri modelin doğruluğunu kayda değer biçimde düşürmeden 4-8 kat daha küçük bellek alanı ve 2-4 kat daha hızlı hesaplama sağlar. Çıkarım hızlandırıcılar bu avantajı donanım düzeyinde kökten sömürür. Başlıca donanım kategorileri üç gruba ayrılır. ASIC tabanlı bulut hızlandırıcılar, transformatör mimarileri ve büyük dil modelleri için tasarlanmış özel silikon çiplerdir; Google TPU v5e, AWS Inferentia 2, Qualcomm Cloud AI 100 ve Microsoft Azure Maia 100 bu kategorinin öncü örnekleridir. GPU tabanlı çıkarım sistemleri kategorisinde NVIDIA L4, yalnızca 72 watt tüketimiyle maliyet etkin sunucu çıkarımı için optimize edilmiştir. Uç ve mobil NPU'lar ise Apple Neural Engine (M4 yonga setinde), Qualcomm Hexagon 698 ve NVIDIA Jetson Orin aracılığıyla akıllı telefon, gömülü sistem ve otonom araç uygulamalarında modelleri yerel olarak çalıştırır. Yazılım ekosistemi performansı donanım kadar belirler: NVIDIA TensorRT model grafiklerini otomatik optimize eder, Intel OpenVINO Intel işlemcilere yönelik benzer işlevi görür, ONNX Runtime farklı donanımlar arasında taşınabilirlik sağlar. Temel performans metrikleri arasında TOPS (Tera Operations Per Second), token/saniye, gecikme süresi ve TOPS/Watt enerji verimliliği yer alır. Türkiye'deki yapay zeka şirketleri ve bulut servis kullanıcıları üretim dağıtımlarında genellikle AWS inf2 örneklerini veya NVIDIA T4/L4 GPU'larını tercih etmektedir.

arrow_forward
hearing

Keyword Spotting (Anahtar Kelime Algılama)

Keyword Spotting (Anahtar Kelime Algılama), sürekli dinleme yapan bir ses tanıma alt dalı olup belirli bir tetikleyici kelime ya da ifadeyi gerçek zamanlı olarak tespit etmek amacıyla kullanılır. "Hey Siri", "OK Google" ve "Alexa" gibi uyandırma sözcükleri (wake word) en bilinen örnekleridir; ancak uygulama alanı bunların çok ötesine geçer. Keyword Spotting sistemleri, her zaman açık (always-on) bir dinleme döngüsünde son derece düşük güç tüketerek çalışır. Bu özellik, akıllı hoparlörler, giyilebilir cihazlar, akıllı telefonlar ve mikrodenetleyiciler gibi kaynak kısıtlı platformlarda kullanılmasını mümkün kılar. Sistem, belirli bir kelime ya da ifade tespit edildiğinde büyük bir konuşma tanıma motorunu ya da başka bir süreci tetikler. Teknik açıdan bakıldığında, modern Keyword Spotting modelleri Evrişimli Sinir Ağı (CNN), Yinelemeli Sinir Ağı (RNN) veya hafif Transformer tabanlı mimariler kullanır. DS-CNN (Depthwise Separable CNN) ve TC-ResNet gibi modeller, yüksek doğruluk oranlarını küçük bellek ayak izleriyle birleştirir; bu modeller genellikle 50KB ile 1MB arasında yer kaplar. Bu sayede pil ömrü kritik olan giyilebilir cihazlarda bile sürekli çalışabilirler. Gizlilik açısından değerlendirildiğinde, cihaz üzerinde (on-device) çalışan Keyword Spotting, ses verisinin buluta gönderilmesini gerektirmediğinden kullanıcı mahremiyetini korur. Yalnızca tetikleyici kelime tanındığında daha kapsamlı bir işlem süreci başlatılabilir. Bu tasarım hem gecikmeyi minimize eder hem de bant genişliği tüketimini azaltır. Google Speech Commands, Mozilla Common Voice ve LibriSpeech gibi açık kaynak veri setleri bu alanda araştırma ve geliştirmeye büyük katkı sağlamıştır. Eğitim aşamasında Yanlış Kabul Oranı (False Accept Rate — FAR) ve Yanlış Red Oranı (False Reject Rate — FRR) arasındaki denge, sistemin kullanılabilirliği açısından kritik bir performans ölçütü olarak öne çıkar.

arrow_forward
compress

Knowledge Distillation (Bilgi Damıtma)

Knowledge Distillation (Bilgi Damıtma), büyük ve güçlü bir öğretmen modelin bilgisini daha küçük ve verimli bir öğrenci modele aktarma sürecidir. Öğrenci model, doğrudan ham etiketlerden değil; öğretmenin yumuşak olasılık çıktılarından (soft labels) öğrenerek eğitim veri kümesindeki sinyallerin ötesine geçen genelleme yeteneği kazanır. Tekniğin temeli 2015 yılında Geoffrey Hinton, Oriol Vinyals ve Jeff Dean'in yayımladığı "Distilling the Knowledge in a Neural Network" başlıklı makaledir. Hinton, öğretmenin softmax çıktılarının ham etiketlere kıyasla çok daha zengin bir öğrenme sinyali taşıdığını ortaya koydu: bir görüntü sınıflandırıcısının "kedi" olasılığı %90 iken "köpek" olasılığının %7 olması, modelin sınıflar arasındaki benzerlik yapısını kodladığını gösterir ve öğrenci bu yapıyı devralır. Teknik açıdan distilasyon iki kayıp teriminin ağırlıklı toplamını minimize eder: öğrencinin öğretmen çıktılarına ne kadar yaklaştığını ölçen KL Divergence tabanlı distilasyon kaybı ve standart çapraz entropi kaybı. Sıcaklık (temperature) parametresi softmax dağılımını yumuşatarak sınıflar arası ilişkileri belirginleştirir; tipik değerler 2-5 arasındadır. Pratik uygulamalarda distilasyon, üretim ortamları için belirleyici bir teknik haline gelmiştir. DistilBERT orijinal BERT modelinin %97 performansını %40 daha küçük ve %60 daha hızlı biçimde yeniden üretir. TinyBERT hem öğretmen çıktısından hem de ara katman temsil bilgisinden öğrenir; MobileBERT ise mobil cihaz kısıtları gözetilerek tasarlanmıştır. Distilasyon çeşitleri arasında self-distillation (modelin kendisinden öğrenmesi), multi-teacher distillation (birden fazla öğretmenden bilgi sentezi) ve cross-modal distillation (görüntü modelinin bilgisinin metin modeline aktarılması) sayılabilir. LLM çağında bu teknik, 70B+ büyük modellerin bilgisini 7B veya daha küçük görev-odaklı modellere aktarmak için kritik bir role bürünmüştür. Açık ağırlıklı büyük modeller öğretmen, küçük görev-odaklı modeller öğrenci rolü üstlenir; bu yaklaşım model sıkıştırma, budama (pruning) ve kuantizasyon ile birlikte kullanılarak donanım sınırlı ortamlarda yüksek performans elde etmeye olanak tanır. 2024-2026 döneminde bilgi damıtma, küçük dil modeli (SLM) ekosisteminin merkezine oturdu. Microsoft'un Phi-3-mini'si (3.8 milyar parametre, 2024), GPT-3.5 düzeyinde performansı mobil cihazlara taşıyan ve distilasyon temelli bir veri akışıyla geliştirilen önemli bir açık kaynak modeldir. DeepSeek-R1'in Ocak 2025'te yayımlanan damıtma varyantları, 32 milyar parametreli öğrenci modelin matematik akıl yürütmede OpenAI o1-mini'yi geride bırakmasına zemin hazırladı. Bu süreçte bilgi damıtma, kuantizasyon ve budama teknikleriyle birleştirilerek çıkarım gecikmesi ile bellek tüketimi düşürülmekte; hafif modeller akıllı telefonlar ve gömülü sistemlerde çevrimdışı çalışabilir hale gelmektedir.

arrow_forward
compress

Model Sıkıştırma (Model Sıkıştırma)

Model sıkıştırma (model compression), derin öğrenme ve makine öğrenimi modellerinin boyutunu, hesaplama maliyetini ve bellek gereksinimlerini azaltmaya yönelik tekniklerin genel adıdır. Milyarlarca parametre içeren büyük yapay zeka modelleri; eğitim sürecinde muazzam donanım kaynakları tüketir ve üretim ortamında yüksek gecikme ile enerji maliyeti yaratır. Sıkıştırma teknikleri, bu ağır modelleri orijinal doğruluk değerlerine yakın tutarken çok daha küçük, hızlı ve verimli hale getirir. Temel model sıkıştırma yöntemleri dört ana başlık altında incelenir. Birincisi budama (pruning): modeldeki önemsiz ağırlıkları veya nöronları tespit edip kaldırarak bağlantılar seyreltilir; yapısal budama (structured pruning) bütün dikkat başlarını veya katmanları çıkarırken yapısal olmayan budama (unstructured pruning) bireysel bağlantıları kaldırır. Bu yöntemle %50-90 oranında parametre azaltımı elde edilebilir. İkincisi niceleme (quantization): 32-bit kayan noktalı ağırlık değerleri 8-bit, 4-bit hatta 2-bit tam sayılara dönüştürülür; bu dönüşüm bellek ayak izini 4-16 kat küçültür ve çıkarım (inference) hızını önemli ölçüde artırır. GPTQ, AWQ ve bitsandbytes bu alanda yaygın kullanılan araçlardır. Üçüncüsü bilgi damıtma (knowledge distillation): büyük bir öğretmen modelin yumuşak olasılık çıktıları küçük bir öğrenci modele aktarılarak kompakt ama güçlü modeller elde edilir; DistilBERT, TinyLLaMA ve Phi ailesi bu yaklaşımın başarılı örnekleridir. Dördüncüsü düşük ranklı ayrıştırma (low-rank factorization): büyük ağırlık matrisleri iki küçük matrisin çarpımına ayrıştırılır; LoRA ve QLoRA bu yaklaşımın modern ve son derece popüler uygulamalarıdır. Pratik ekosistemde GPTQ, AWQ, GGUF ve bitsandbytes gibi araçlar, büyük dil modellerini tüketici sınıfı GPU'larda ve hatta CPU üzerinde çalıştırılabilir hale getirmiştir. llama.cpp projesi, 70 milyar parametreli modellerin sıradan dizüstü bilgisayarlarda çalıştırılmasını mümkün kılmıştır. Model sıkıştırma; akıllı telefon tabanlı konuşma tanıma, gerçek zamanlı nesne algılama, uç cihaz (edge) yapay zekası, kaynak kısıtlı IoT sistemleri ve otonom araç yazılımları gibi kritik alanlarda belirleyici öneme sahiptir. Hesaplama demokrasisi açısından değerlendirildiğinde sıkıştırma teknikleri, güçlü yapay zeka modellerini yalnızca büyük şirketlerin değil bireysel geliştiricilerin ve küçük kuruluşların da kullanabildiği teknolojiler haline getiren en önemli etkenlerden biridir.

arrow_forward
code_blocks

Neuromorphic Computing (Nöromorfik Bilişim)

Nöromorfik Bilişim (Neuromorphic Computing), insan beyninin biyolojik yapısını ilham alarak tasarlanan; nöronları, sinapsları ve elektriksel uyarı (spike) iletimini donanım düzeyinde taklit eden hesaplama mimarisinin genel adıdır. Kavram, 1980'lerde VLSI mühendisi Carver Mead tarafından ortaya atılmış; günümüzde Intel Loihi 2, IBM NorthPole ve BrainChip Akida gibi çiplerle araştırma ve kenar-bilişim uygulamalarında hayata geçirilmektedir. Geleneksel Von Neumann mimarisinde işlemci ve bellek fiziksel olarak ayrıdır; bu ayrılık veri transferini bir darboğaza dönüştürür. Nöromorfik çipler hesaplamayı ve belleği aynı fiziksel konumda birleştirerek bu 'von Neumann darboğazı'nı ortadan kaldırır. Temel hesaplama birimi, klasik sinir ağlarının sürekli sayısal değerler üretmesinden farklı olarak biyolojik nöronu taklit eden 'fırlama nöron' (spiking neuron) modelidir: nöron yalnızca anlamlı bir uyarı eşiğini aştığında iletişim kurar; bu olay-güdümlü (event-driven) yaklaşım boşta çalışma sürelerinde neredeyse sıfır enerji tüketimi sağlar. 2026 itibarıyla nöromorfik çiplerin enerji verimliliği çarpıcı boyutlara ulaşmıştır: IBM NorthPole, görüntü tanıma görevlerinde NVIDIA H100 GPU'ya kıyasla 22-25 kat daha az enerji harcarken Intel Loihi 2, belirli uyarlamalı görevlerde geleneksel işlemcilere göre 1.000 kata kadar avantaj sunar. BrainChip Akida ve Innatera T1 gibi uç bilişim çipleri miliWatt altı güç tüketimiyle IoT sensörlerinde çalışmaktadır. Temel kısıt, standart derin öğrenme çerçeveleriyle (PyTorch, TensorFlow) doğrudan uyumsuzluktur; nöromorfik donanım, Spiking Neural Network (SNN) algoritmalarını ve özel programlama ortamlarını gerektirir. 2026 itibarıyla büyük ölçekli ticari dağıtım hâlâ araştırma ortaklarıyla sınırlıdır; bununla birlikte, sınır yapay zekası, IoT ve gerçek zamanlı otonom sistemler için en umut verici enerji-verimli hesaplama paradigması olarak konumlanmaktadır. Programlama kısıtını aşmaya yönelik olarak Intel'in açık kaynaklı Lava çerçevesi ile snnTorch kütüphanesi SNN geliştirmeyi kolaylaştırmaktadır; DARPA SYNAPSE ve Avrupa Human Brain Project gibi araştırma programları ise bu alanın uzun vadeli gelişimini destekleyen kamu finansmanı sunmaktadır.

arrow_forward
code_blocks

Nöromorfik Çip (Nöromorfik Çip)

Nöromorfik çip (neuromorphic chip), insan beyninin nörobiyolojik mimarisini taklit eden özel tasarım yapay zeka donanımıdır. Geleneksel Von Neumann mimarilerinin aksine bu çipler, anlık voltaj geçişleri (spike) ile iletişim kuran biyolojik nöronlardan esinlenen hesaplama birimleri kullanır. Intel'in Loihi serisi ve IBM'in TrueNorth çipi bu alandaki en bilinen ticari örnekler arasında yer almaktadır. Geleneksel GPU ve CPU tabanlı yapay zeka işlemcileri, matris çarpımlarını yoğun paralel hesaplama ile gerçekleştirir ve bu süreçte sürekli güç tüketir. Nöromorfik çipler ise yalnızca bir olay (spike) gerçekleştiğinde enerji harcar; bu olay güdümlü hesaplama modeli güç tüketimini dramatik biçimde azaltır. Intel Loihi 2, belirli seyrek veri kümeleri üzerinde geleneksel GPU'lara kıyasla yüzde seksen daha düşük enerji tüketimiyle çalışabilmektedir. Bu özellik, pil ömrünün kısıtlı olduğu kenar cihazları için son derece değerlidir. IoT sensörleri, giyilebilir teknoloji ve otonom araçlar bu avantajdan en fazla yararlanan platformlar arasındadır. Nöromorfik çipler, geleneksel yapay sinir ağları yerine biyo-ilhamlı hesaplama modeli olan Spiking Neural Networks (SNN) üzerinde çalışır. SNN'ler zamansal bilgiyi doğal olarak kodlar ve düşük gecikme süresiyle sürekli veri akışlarını işleyebilir; bu özellik gerçek zamanlı duyusal işleme için belirgin avantajlar sunar. Robotik sistemlerde proprioseptif geri bildirim, işitsel sahne analizi ve nöroprotetik cihazlar nöromorfik hesaplamanın öncü uygulama alanları arasında öne çıkmaktadır. Büyük ölçekli yapay zeka modellerinin enerji ayak izinin artmasıyla birlikte nöromorfik mimariler araştırma gündeminde giderek daha fazla yer bulmaktadır. Alanın önündeki temel engeller arasında SNN eğitiminin karmaşıklığı ve büyük ölçekli derin öğrenme modellerinin nöromorfik donanıma etkin biçimde aktarılamaması sayılmaktadır. Bu zorlukların aşılması, enerji verimli büyük ölçek yapay zeka donanımına geçişi hızlandıracak ve veri merkezlerinin toplam enerji tüketimini önemli ölçüde azaltacaktır.

arrow_forward
smartphone

NPU (Neural Processing Unit) (Nöral İşlem Birimi (Yapay Zeka Çipi))

NPU (Nöral İşlem Birimi — Neural Processing Unit), yapay zeka modellerinin çıkarım (inference) hesaplamalarını CPU ve GPU'ya kıyasla çok daha verimli şekilde yürütmek için tasarlanmış özel amaçlı bir donanım birimidir. Modern akıllı telefonlardan dizüstü bilgisayarlara ve veri merkezi hızlandırıcılarına kadar geniş bir yelpazeye entegre edilmektedir. Sinir ağı hesaplamaları özünde yoğun matris çarpımına dayanır. Genel amaçlı CPU bu işlemleri sıralı biçimde yürütürken, GPU binlerce çekirdekle paralel hesaplama sağlar; NPU ise bu matris çarpımlarını gerçekleştirmek için özel systolic array veya tensor çekirdeği içerir. Bu yapı, CPU'dan 10-100 kat, GPU'ya kıyasla ise çok daha düşük güç tüketimiyle çıkarım yapmasını mümkün kılar. Apple, Neural Engine adını verdiği NPU birimini 2017'deki A11 Bionic çipiyle cihazlarına entegre etti. Günümüzde M4 çipindeki Neural Engine 38 TOPS (saniyede trilyon işlem) kapasitesine ulaşmıştır. Qualcomm Hexagon NPU Android ekosisteminin bel kemiğini oluştururken, Google Tensor serisindeki NPU Pixel cihazlarında ses tanıma ve fotoğraf işlemeyi optimize eder. Edge AI kavramı NPU'nun en kritik kullanım alanıdır: veri buluta gönderilmeden, internet bağlantısı olmadan, pili koruyarak cihazın içinde gerçek zamanlı yapay zeka çalışır. Portre modu kamera efektleri, wake word tespiti, yüz tanıma ve gerçek zamanlı çeviri bu sayede mümkün olmaktadır. Microsoft, Copilot+ PC sertifikasyonu için NPU'da en az 40 TOPS performans şartı koymuştur. Bu gelişme, NPU'yu mobil dünyadan PC platformuna taşıyan önemli bir dönüm noktasıdır. Yazılım tarafında Apple Core ML, Qualcomm QNN SDK, Intel OpenVINO ve Windows ML çerçeveleri NPU'dan yararlanmak isteyen geliştiricilere API erişimi sunar. Türk yazılım geliştiricileri için NPU fırsatı şudur: yerel AI modelleri (Local LLM) artık bulut maliyeti olmadan son kullanıcı cihazında çalışabilir; bu da gizlilik hassas uygulamalar ve düşük gecikme gereksinimi olan senaryolar için bulut alternatifleri doğurur.

arrow_forward
fitness_center

Quantization (Kuantizasyon (Model Küçültme))

Quantization (niceleme), sinir agi modellerindeki parametre degerlerinin yuksek hassasiyetli sayisal formattan (genellikle 32-bit kayan nokta, float32) daha dusuk bit genisligine (8-bit tam sayi veya 4-bit gibi) donusturulme islemidir. Bu donusum model boyutunu kucultmesi, cikarim hizini artirmasi ve guc tuketimini dusurmesinin yaninda, modeli kaynak kisitli ortamlarda - ornegin akilli telefon veya kenarda calisabilen cihazlarda - calistirmaya olanak tanir. Nicelemenin temelinde bir uzlasim yatar: hassasiyet azaldikca model hafizasi ve hesaplama maliyeti duser, ancak tahmin kalitesi potansiyel olarak azalabilir. Uygulamada, ozellikle INT8 dzeyinde, bu kalite kaybi cogu gorev icin ihmal edilebilir seviyede kalir. GPTQ veya bitsandbytes gibi kutuphaneler, niceleme hatasini en aza indirmek icin kalibrasyon verisi kullanarak agirlik matrislerini yeniden optimize eder. Iki ana yaklasim mevcuttur. Post-Training Quantization (PTQ) halihazirda egitilmis bir modele uygulanir; ekstra egitim gerektirmez ve hizlidir. Quantization-Aware Training (QAT) ise niceleme etkisini eğitim dongusu icerisine dahil eder; model, daha dusuk hassasiyetle bile dogru tahmin uretmeyi ogrenir. QAT genellikle PTQ'ya kiyasla daha iyi nihai kalite sunar ama ek hesaplama maliyeti getirir. Buyuk dil modellerinin (LLM) giderek buyumesiyle quantization zorunlu bir pratik haline gelmistir. GPT-3 seviyesinde bir model tam hassasiyetle yuzlerce gigabayt RAM gerektirir; INT4 nicelemeyle bu rakam onlarca gigabayta iner ve ticarette satilan bir laptopla calistirmak mumkun olur. llama.cpp projesi ve GGUF formati, bu olasiligi genis bir topluluga acmistir: Q4_K_M, Q5_K_S gibi semboller bit genisligi ile kalite stratejisini kodlar. Donanim ekosistemi de nicelemeyi etkin sekilde destekler. NVIDIA'nin Tensor Core mimarisi INT8 ve FP8 cikarimini donanim katmaninda hizlandirir; bu sayede veri merkezi GPU'larinda ayni enerji butcesiyle cok daha yuksek islem hacmi elde edilir. Apple Silicon'un Unified Memory mimarisi ise CPU ve GPU'nun ayni bellek havuzunu paylasmasina izin vererek quantized LLM'lerin tuketu cihazlarda akici calismasi icin dogal bir avantaj sunar. **Sik Sorulan Sorular** **INT8 ile INT4 niceleme arasinda kalite farki buyuk mudur?** INT8, cogulukla ihmal edilebilir kalite kaybı uretir. INT4 ise modele ve goreve bagimlidir: genel dil anlama gorevlerinde sinirli etki gorulurken kucuk modeller veya hassas gorevlerde kayip daha belirgin olabilir. **Bir modeli niceleme yapmak icin ne gereklidir?** bitsandbytes veya AutoGPTQ kutuphanesiyle birkaç satirda Python kodla herhangi bir Hugging Face modeli niceleye bilirsiniz; kalibrasyon icin kucuk bir veri kumesi onerilen uygulamalardan biridir. **Quantization modelin egitim verilerini degistirir mi?** Hayir. Niceleme yalnizca cikarim asamasini etkiler; egitim verisi veya egitim sureci degismez. **Hangi modeller niceleye en uyundur?** Buyuk, asiri parametreli modeller genellikle niceleye daha direnclidir; parametreler arasinda islevsel fazlalik bulundugu icin bazi bilgi kaybi tolere edilebilir.

arrow_forward
code_blocks

RISC-V Nedir? Açık Kaynak İşlemci Mimarisi ve Yapay Zeka (RISC-V)

RISC-V (okunuşu: risk-five), 2010 yılında Kaliforniya Üniversitesi Berkeley'de David Patterson ve Krste Asanović öncülüğünde geliştirilen açık kaynak komut seti mimarisinin (ISA) adıdır. "RISC" kısaltması İngilizce Reduced Instruction Set Computer (Azaltılmış Komut Kümeli Bilgisayar) teriminden gelir; "V" ise mimarinin beşinci nesil olduğuna işaret eder. Geleneksel işlemci mimarilerinden (Intel x86, ARM) farklı olarak RISC-V, telif hakkı veya lisans bedeli gerektirmeyen özgür bir standarttır. Bu durum, büyük ve küçük her ölçekteki şirketin kendi özel donanım çiplerini tasarlamasının önündeki maliyet engellerini ortadan kaldırmaktadır. RISC-V International, mimarinin standartlarını ve gelişimini koordine eden uluslararası yönetim kuruluşudur; üyeler arasında Google, Nvidia, Qualcomm ve onlarca üniversite bulunmaktadır. Yapay zeka uygulamalarında RISC-V'nin önemi hızla artmaktadır. Kenar bilişim (edge AI) cihazlarında, mikrodenetleyicilerden güçlü çıkarım çiplerine kadar geniş bir yelpazede RISC-V çekirdekleri tercih edilmektedir. Alibaba'nın T-Head birimi, RISC-V tabanlı XuanTie serisi çipleriyle yapay zeka iş yüklerini işlerken; Avrupa Birliği'nin Avrupa İşlemci Girişimi (EPI) projesi, teknolojik egemenlik kaygısıyla RISC-V mimarisine stratejik yatırım yapmaktadır. RISC-V ekosisteminin öne çıkan oyuncuları şunlardır: SiFive (özelleştirilmiş RISC-V çekirdekleri), StarFive (tek kart bilgisayarlar), Espressif (ESP32 ve ESP32-C serisi mikrodenetleyiciler), GreenWaves Technologies (GAP9 yapay zeka işlemcisi) ve Kendryte (K210 kenar çıkarım çipi). Her biri, mimarinin özelleştirilebilirliğini farklı uygulama alanlarına taşımaktadır. RISC-V'nin yapay zeka iş yükleri için güçlü yönleri arasında özelleştirilebilir vektör uzantıları (RISC-V Vector Extension, RVV), sıfır lisans maliyeti, düşük güç tüketimi ve şeffaf güvenlik denetimi yer almaktadır. RVV uzantısı, SIMD işlemlerini destekleyerek makine öğrenimi çıkarım görevlerini çok daha verimli hale getirir. Kısıtlamaları ise ARM ve x86 ile kıyaslandığında görece sınırlı yazılım ekosistemi ve araç zincirlerinin olgunlaşma sürecinde olmasıdır. Açık kaynak donanım hareketi yapay zeka çip tasarımını demokratikleştirme potansiyeli taşıdığından, RISC-V önümüzdeki yıllarda kritik bir altyapı bileşeni haline gelecektir.

arrow_forward
device_hub

Edge Computing (Uç Bilişim)

Edge Computing (Uç Bilişim), veri işleme ve hesaplama görevlerini merkezi veri merkezlerinden uzaklaştırarak veriyi üreten kaynaklara —sensörler, IoT cihazları, akıllı kameralar ve mobil aygıtlar— yakın noktalara taşıyan dağıtık bilişim paradigmasıdır. Geleneksel bulut bilişimde tüm veriler uzak sunuculara gönderilir ve işleme orada gerçekleşir; edge computing ise bu hesaplamaların büyük bölümünü ağın "ucunda" (edge), yani verinin üretildiği yere en yakın noktada gerçekleştirir. Bu yaklaşım birkaç temel avantaj sunar. İlk olarak gecikme (latency) dramatik biçimde azalır: otonom araçlar, endüstriyel robotlar ve gerçek zamanlı görüntü analiz sistemleri, kararların milisaniyeler içinde verilmesini gerektirir. Buluta gidiş-dönüş süresi bu gecikmeyi karşılayamaz; edge işlem ise kararı neredeyse anında verebilir. İkinci olarak bant genişliği kullanımı düşer: bir fabrikadaki yüzlerce kamera ham video akışını merkeze göndermek yerine yalnızca analiz sonuçlarını buluta iletir. Üçüncüsü veri gizliliği ve güvenlik artar; hassas veriler yerel olarak işlenir, merkezi bir konuma aktarılmaz. Yapay zeka uygulamaları açısından edge computing, Edge AI kavramını doğurmuştur: eğitilmiş modeller doğrudan edge cihazlarda çalıştırılır. Bu amaçla NPU, ASIC ve özel işlemciler geliştirilmiş; model sıkıştırma teknikleri (quantization, pruning) kritik önem kazanmıştır. Akıllı şehirler, endüstri 4.0, sağlık teknolojileri ve otonom sistemler edge computing'in en yaygın uygulama alanlarıdır. 5G altyapısının yaygınlaşmasıyla birlikte edge computing kapasitesi ve benimsenmesi küresel ölçekte hızla artmaktadır. Robotik, sağlık izleme ve endüstriyel otomasyon gibi kritik sektörler bu dönüşümün merkezindedir. Mimari olarak edge computing üç katmanda incelenir: cihaz katmanı (sensörler, kameralar), edge katmanı (yerel gateway ve mikro veri merkezleri) ve bulut katmanı (uzun vadeli depolama ve toplu analiz). Bu hiyerarşi, hesaplamayı iş yükünün gerektirdiği yere yönlendiren esnek bir altyapı sunar. Bu mimari dönüşüm, gerçek zamanlı yapay zeka uygulamalarının temel altyapısını oluşturmaktadır.

arrow_forward
code_blocks

Model Pruning Nedir? Sinir Ağlarında Budama (Model Budama)

Model budama (model pruning), milyarlarca parametreye sahip büyük sinir ağlarında performansı en az etkileyen ağırlıkları veya yapısal bileşenleri belirleyip kaldıran bir model optimizasyon yöntemidir. Temel fikir basittir: iyi eğitilmiş bir ağda parametrelerin önemli bir bölümü tahmin kalitesine minimum katkı sağlar ve bu parametreler olmadan model neredeyse aynı doğrulukla çalışmaya devam edebilir. **Budama Türleri** Yapısal budama (structured pruning), nöron, filtre veya katman gibi tüm yapısal birimleri kaldırır. Bu yaklaşım, standart CPU/GPU donanımında doğrudan bellek ve hız kazanımı sağlar; karmaşık özel donanım gerekmez. Buna karşın yapısal olmayan budama (unstructured pruning), bireysel ağırlıkları sıfırlayarak seyrek (sparse) bir matris üretir. Sıkıştırma oranı çok yüksek olabilir ancak bu seyrekliği işlemek için özel seyrek matris donanımı ya da yazılım desteği gerekir. **Büyüklük Tabanlı Budama** En yaygın yöntem büyüklük tabanlı (magnitude-based) budamadır: mutlak değerleri eşik değerin altındaki ağırlıklar sıfırlanır. Uygulaması kolaydır ve pek çok durumda yeterli sonuç verir. Daha gelişmiş gradyan tabanlı yaklaşımlar ise ağırlığın kayıp fonksiyonuna katkısını (saliency) hesaplayarak gerçekten önemsiz olanları seçer. **Yinelemeli Budama ve Lottery Ticket Hipotezi** Tek adımda agresif budama doğruluğu düşürebilir. Bu nedenle pratikte "budama, ince ayar (fine-tune) ve tekrar budama" döngüsü tercih edilir. 2019'da Frankle ve Carlin tarafından öne sürülen Lottery Ticket Hipotezi, büyük sinir ağlarında küçük ama etkili alt ağlar (winning tickets) gizlendiğini; bu alt ağların sıfırdan aynı doğrulukla eğitilebildiğini ileri sürer. Bu hipotez, budamanın neden bu kadar iyi çalıştığını teorik olarak açıklar. **Pratik Kullanım Alanları** Model budama özellikle kenar cihazlarda (akıllı telefon, IoT sensörü, gömülü sistem) büyük modelleri çalıştırmak için kritik önem taşır. GPT, LLaMA gibi büyük dil modellerini mobil uygulamalarda kullanılabilir hale getiren yöntemlerin başında gelir. Niceleme (quantization) ve bilgi damıtma (knowledge distillation) ile birlikte kullanıldığında model boyutu ve çıkarım gecikme süresi dramatik biçimde azaltılabilir.

arrow_forward
memory

NPU Mimarisi Nedir? Sinir Ağı İşlemci Tasarımı (NPU Mimarisi)

NPU mimarisi (Nöral İşlem Birimi Mimarisi), yapay zeka ve derin öğrenme iş yüklerini işlemek için CPU veya GPU'dan bağımsız olarak tasarlanmış özel bir donanım bileşenidir. CPU'ların genel amaçlı sıralı hesaplama mimarisinden ve GPU'ların büyük ölçekli paralel grafik işlem özelliğinden farklı olarak NPU'lar, sinir ağlarında en sık kullanılan matris çarpımı, konvolüsyon ve aktivasyon fonksiyonu hesaplamalarını doğrudan donanım düzeyinde gerçekleştirmek için özelleştirilmiştir. Bir NPU'nun temel yapısal bileşenleri şunlardır: çok sayıda sistematik biçimde düzenlenmiş çarpma-toplama (MAC, Multiply-Accumulate) birimi, aktivasyon fonksiyonları için tasarlanmış özel devreler, düşük bant genişliği sorununu gidermek için entegre on-chip bellek tamponları ve modelden modele değişen veri akışlarını destekleyen yeniden yapılandırılabilir veri yolları. Çoğu modern NPU ayrıca INT8, FP16 ya da BF16 gibi düşük hassasiyetli sayı formatlarını destekler; bu sayede güç tüketimini önemli ölçüde azaltırken işlem kapasitesini artırır. Kullanım senaryosu açısından NPU'lar özellikle uç cihazlarda öne çıkmaktadır. Apple'ın M4 çipindeki Neural Engine (38 TOPS), Qualcomm Snapdragon serisi Hexagon NPU'su ve Intel'in Meteor Lake serilerindeki NPU modülleri (40+ TOPS) doğrudan tüketici donanımında çalışan güçlü AI ivedilendiricilerine örnek gösterilebilir. Microsoft'un Copilot+ PC sertifikasyonu da en az 40 TOPS NPU kapasitesini zorunlu kılmaktadır. NPU mimarisi, AI iş yüklerinin giderek artan yoğunluğuna karşı güç-verimlilik (TOPS/Watt) dengesini en üst düzeye çıkarmak amacıyla tasarlanmış, modern SoC tasarımının vazgeçilmez bir bileşenidir. NPU tasarımında öne çıkan bir diğer boyut, yazılım ekosistemidir. Bir NPU ne kadar yüksek TOPS sunsa da üzerinde çalışan yapay zeka çerçevelerinin (TensorFlow Lite, ONNX Runtime, Core ML gibi) o donanımı verimli biçimde kullanabilmesi gerekir. Bu nedenle donanım üreticileri, NPU'larını popüler ML çerçeveleriyle entegre eden sürücü ve derleyici katmanlarına büyük yatırım yapar. Qualcomm'un AI Engine Direct SDK'sı, Apple'ın Core ML'i ve Intel'in OpenVINO araç seti bu ekosistem katmanlarının somut örnekleridir. Dataflow mimarisi açısından ise NPU'lar genellikle sistolic array düzenini benimser: her MAC birimi hesapladığı kısmi sonucu komşu birimine iletir ve bu zincirleme yapı dış bellek erişimini minimuma indirir. Bu tasarım, transformer modellerinin dikkat mekanizmasındaki büyük matris çarpımlarını ve konvolüsyonel ağların filtre uygulamalarını özellikle verimli biçimde işlemesini mümkün kılar. Gelecekte harmanlanmış hassasiyet (mixed precision) ve dinamik bit genişliği desteği, NPU'ların büyük dil modellerini uç cihazlarda çalıştırma kapasitesini daha da genişletecektir.

arrow_forward
memory

TinyML (TinyML)

TinyML (Tiny Machine Learning), eğitilmiş makine öğrenmesi modellerini mikrodenetleyiciler, sensörler ve gömülü sistemler gibi milivat düzeyinde güç tüketen cihazlarda çalıştırmayı mümkün kılan yazılım-donanım disiplinidir. Terim, "tiny" (küçük) ve "machine learning" (makine öğrenmesi) kelimelerinin birleşiminden oluşur; hedefi sunucu altyapısı olmadan, düzinelerce kilobayt bellek ve yüz milivat altında güçle gerçek zamanlı çıkarım yapmaktır. Geleneksel yapay zeka modelleri GPU'lu sunucularda çalışırken TinyML modelleri bir pul kadar küçük devre kartlarında — ARM Cortex-M serisi işlemciler, Arduino, ESP32, STM32 veya Nordic nRF52840 — koşar. Bu "uç çıkarım" (edge inference) yaklaşımı üç kritik avantaj sunar: gizlilik (ham veri buluta gitmez), gecikme (internet bağlantısı gerekmez, yanıt milisaniye mertebesindedir) ve enerji verimliliği (pil ömrü yıllara uzayabilir). Model küçültme teknolojisi TinyML'in bel kemiğidir. Kuantizasyon (quantization), ağırlıkları 32-bit kayan noktalı sayıdan 8-bit ya da 4-bit tamsayıya indirerek model boyutunu 4-8× küçültür ve bellek bant genişliği gereksinimini düşürür. Budama (pruning), düşük katkılı nöronları kaldırarak seyrek (sparse) ağlar oluşturur. Bilgi damıtma (knowledge distillation) ise büyük öğretmen modelinin davranışını küçük öğrenci modeline aktarır. Bu yöntemlerin bileşimi çoğu zaman yüz kilobaytın altında, doğruluğu kabul edilebilir modeller üretir. Başlıca framework'ler TensorFlow Lite Micro (TFLM), Edge Impulse ve Arduino'nun TensorFlow kütüphanesidir. TFLM, TensorFlow modellerini FlatBuffer formatına dönüştürerek C++ runtime'ı aracılığıyla doğrudan mikrodenetleyicide çalıştırır. Edge Impulse bulut tabanlı bir eğitim ve dağıtım platformu sunarak sensör verisi toplamayı, model eğitimini ve hedef cihaza aktarımı tek çatı altında birleştirir. Uygulama alanları geniştir: akıllı termostatlar konuşma komutu tanır; endüstriyel sensörler titreşim analizi yaparak arıza öngörüsü üretir; tıbbi giyilebilir cihazlar kalp ritmi anomalisi saptarken baterya şarjını haftalarca korur; tarımsal IoT düğümleri görüntü işleme ile zararlı böcekleri tespit eder. Türkiye'de akıllı tarım, enerji izleme ve sağlık sensörü projelerinde TinyML bileşenleri artan sıklıkla kullanılmaktadır. 2026 itibarıyla RISC-V tabanlı AI hızlandırıcılar ve analog hesaplama bu alanın sınırlarını genişletmektedir. Öte yandan model doğruluğu, veri setinin temsil sorunu ve karmaşık donanım ekosistemi başlıca açık araştırma sorunları olarak kalmaktadır.

arrow_forward