tag edge ai

AI Hızlandırıcı (Yapay Zeka Hızlandırıcısı)

Bu sayfada edge ai (AI Hızlandırıcı (Yapay Zeka Hızlandırıcısı)) etiketi ile işaretlenmiş 16 yapay zeka kavramını bulabilirsiniz.

AI Hızlandırıcı (İng. AI Accelerator), derin öğrenme ve makine öğrenimi iş yüklerini geleneksel merkezi işlem birimlerine (CPU) kıyasla çok daha verimli ve hızlı işlemek amacıyla geliştirilmiş özel amaçlı donanım birimleridir. Yapay zeka modellerinin eğitim ve çıkarım (inference) aşamalarında milyarlarca matris çarpımı, vektör toplama ve aktivasyon fonksiyonu hesabı gerçekleştirilir; bu işlemler genel amaçlı CPU mimarilerinde ciddi darboğazlar oluşturur. AI hızlandırıcılar, sinir ağı operasyonlarına doğrudan optimize edilmiş paralel işlem birimleri ve özel bellek mimarileriyle bu sorunu çözer. Bu alanda en yaygın kullanılan türler şunlardır: GPU (Grafik İşlem Birimi) — binlerce küçük çekirdeğiyle yüksek paralel işlem kapasitesi sunan ilk popüler AI hızlandırıcı; TPU (Tensör İşlem Birimi) — Google'ın TensorFlow iş yükleri için geliştirdiği özel ASIC; NPU (Sinirsel İşlem Birimi) — akıllı telefon ve IoT cihazlarına entegre, düşük güçte çıkarım yapan çip; FPGA (Sahaya Programlanabilir Kapı Dizisi) — yeniden yapılandırılabilir mimarisiyle esnek optimizasyon imkânı sunan donanım; ASIC (Uygulamaya Özel Entegre Devre) — tek bir iş yükü için tasarlanmış, en yüksek verimlilik oranına ulaşan çip. Hızlandırıcıların performansı; saniyede gerçekleştirilebilen kayan noktalı işlem sayısı (TFLOPS), yüksek bant genişlikli bellek (HBM) kapasitesi, bellek bant genişliği ve chip-to-chip iletişim hızı (NVLink, InfiniBand) gibi metriklerle ölçülür. Enerji verimliliği FLOPS/Watt biriminde ifade edilir ve veri merkezi işletme maliyetlerini doğrudan etkiler. Büyük dil modelleri (LLM) trilyonlarca parametreye ulaştıkça yüzlerce ila binlerce hızlandırıcının NVLink veya InfiniBand ile birbirine bağlandığı kümeler (accelerator clusters) ortaya çıkmıştır. NVIDIA H100/H200 Hopper ve Blackwell serileri, Google Trillium (TPU v6), AWS Trainium2 ve Groq LPU günümüz yapay zeka altyapısının bel kemiğini oluşturmaktadır. Öte yandan uç yapay zeka (edge AI) alanında NPU'lar akıllı telefon, güvenlik kamerası ve araç içi sistemlere gömülerek bulut bağlantısı gerektirmeden gerçek zamanlı çıkarım yapabilmektedir. Bu iki eğilim — bulut kümelerindeki devasa ölçek ve uçtaki düşük güçlü çıkarım — modern AI hızlandırıcı ekosisteminin iki kutbunu tanımlamaktadır.

developer_board

AI Hızlandırıcı (Yapay Zeka Hızlandırıcısı)

arrow_forward code_blocks

ARM Çip (ARM Çip)

ARM (Advanced RISC Machines), Reduced Instruction Set Computing (RISC) felsefesini temel alan ve dünyada en yaygın kullanılan işlemci mimarilerinden biridir. 1990 yılında İngiliz şirketi ARM Holdings tarafından geliştirilen bu mimari, basit ama hızlı komut setleri sayesinde x86 tabanlı işlemcilere kıyasla çok daha düşük güç tüketir. Bu özellik, pil ömrünün kritik olduğu akıllı telefonlarda ARM'ı vazgeçilmez kılar: bugün piyasadaki her akıllı telefon ARM tabanlı bir işlemci kullanmaktadır. ARM Holdings, çip üretmek yerine mimarisini lisanslama modeliyle çalışır. Apple, Qualcomm, Samsung, MediaTek ve Nvidia gibi şirketler bu lisansı satın alarak kendi çiplerini tasarlar. Bu yaklaşım, ARM ekosisteminin son derece geniş ve çeşitli bir ürün yelpazesi oluşturmasını sağlamıştır. Apple'ın M1/M2/M3/M4 serisi ARM tabanlıdır ve özel Neural Engine birimleri içerdiğinden makine öğrenmesi görevlerinde Intel ve AMD işlemcilerini geride bırakmıştır. Yapay zeka açısından ARM'ın önemi giderek artmaktadır. ARM Cortex-A serisi yüksek performanslı cihazlar için, Cortex-M serisi ise mikrodenetleyiciler ve kenar cihazlar için tasarlanmıştır. ARM'ın Ethos NPU (Neural Processing Unit) ailesi, büyük dil modellerinin ve görüntü tanıma algoritmalarının doğrudan cihazda (on-device) çalıştırılmasına olanak tanır; bu da veri gizliliği, gecikme süresi ve bant genişliği açısından bulut çözümlerine göre önemli avantajlar sunar. Veri merkezlerinde de ARM dönüşümü yaşanmaktadır. Amazon Web Services'in Graviton3 işlemcisi, aynı iş yükü için x86 sunucularına kıyasla yüzde kırk daha az enerji tüketmektedir. Bu gelişme, büyük dil modeli çıkarımı (inference) ve model kenar cihazlara dağıtımı (edge deployment) için ARM mimarisini stratejik bir tercih haline getirmektedir.

arrow_forward vpn_lock

Federated Learning (Birleştirilmiş Öğrenme)

Federated learning (federe öğrenme), makine öğrenmesi modellerinin ham verileri merkezi bir sunucuya göndermek yerine, verilerin bulunduğu cihazlar üzerinde doğrudan eğitilmesini mümkün kılan gizlilik odaklı bir dağıtık öğrenme paradigmasıdır. Google tarafından 2017'de tanıtılan bu yaklaşım, her istemci cihazın kendi yerel verisiyle bir model güncellemesi (gradient veya model ağırlığı değişikliği) hesaplamasını ve yalnızca bu güncellemeyi merkezi bir koordinatöre göndermesini esas alır. Geleneksel makine öğrenmesinde tüm eğitim verisi tek bir merkezi sunucuda toplanır; bu durum hem gizlilik hem de veri sızıntısı riskleri doğurur. Federated learning ise bu problemi yapısal olarak çözer: ham veri hiçbir zaman cihazı terk etmez. Koordinatör sunucu yalnızca anonim gradyanları veya model parametrelerini alır, bunları FedAvg (Federated Averaging) gibi bir toplama algoritmasıyla birleştirir ve güncellenmiş global modeli tüm istemcilere dağıtır. Federated learning'in iki temel çeşidi vardır: yatay federated learning (aynı özellik uzayı, farklı veri örnekleri — örneğin farklı hastanelerden gelen aynı formattaki hasta kayıtları) ve dikey federated learning (farklı özellik uzayları, aynı kullanıcılar — örneğin bir bankanın işlem geçmişi ile bir e-ticaret sitesinin satın alma geçmişinin birleştirilmesi). Bu yapı, GDPR ve HIPAA gibi veri koruma düzenlemelerine uyumu kolaylaştırır. Pratik uygulamalar arasında Google'ın Android klavye tahmini (Gboard), Apple'ın Siri ses tanıma kalitesi iyileştirmesi ve hastane ağlarında tıbbi görüntü analizi öne çıkar. İletişim verimliliği, heterojenik cihaz kapasiteleri (sistem heterojenliği) ve model zehirleme (model poisoning) saldırılarına karşı dayanıklılık, alanın aktif araştırma konularıdır. Diferansiyel gizlilik ve güvenli çok taraflı hesaplama teknikleri ile federated learning'in gizlilik garantisi daha da güçlendirilebilir. Bu kombinasyon, hassas sektörlerde (finans, sağlık, savunma) veri paylaşımı gerektirmeden yüksek kaliteli ortak modeller geliştirmeyi olanaklı kılmakta ve merkezileşme olmaksızın ölçeklenebilir yapay zeka ekosistemlerinin temelini atmaktadır.

arrow_forward memory

FPGA (Yeniden Programlanabilir Kapı Dizisi)

FPGA (Field-Programmable Gate Array — Yeniden Programlanabilir Kapı Dizisi), üretim sonrasında yeniden yapılandırılabilen entegre devrelerdir. Yapay zeka uygulamalarında FPGA'lar; CPU'ların genel amaçlı esnekliği, GPU'ların yüksek paralel hesap gücü ve özel ASIC çiplerin maksimum verimliliği arasında benzersiz bir denge noktası oluşturur. Donanımın yazılım gibi değiştirilebildiği bu yapı, belirli sinir ağı modellerine veya makine öğrenimi iş yüklerine göre özelleştirilmiş devreler tasarlamayı mümkün kılar. Yapay zeka çıkarım görevlerinde FPGA'lar birçok avantaj sunar: GPU'lara kıyasla belirgin biçimde daha düşük enerji tüketimi, mikrosaniye düzeyinde gecikme süreleri ve batch processing yerine gerçek zamanlı tek örnek çıkarımda üstün performans. Intel Agilex ve AMD Xilinx Versal gibi modern FPGA platformları, AI motoru bloklarını donanım düzeyinde entegre ederek nöral ağ hesaplamalarını doğrudan silikon üzerinde gerçekleştirir. Microsoft'un Project Catapult projesi, Bing arama altyapısında FPGA'ları kullanarak hem gecikmeyi düşürmüş hem de enerji verimliliğini artırmıştır. Kenar bilişim (edge AI) alanında ise FPGA'lar; güç bütçesinin kritik olduğu otonom araçlar, sanayi robotları ve medikal görüntüleme cihazları gibi gömülü sistemlerde tercih edilen donanım hızlandırıcısı konumundadır. FPGA programlaması geleneksel olarak VHDL veya Verilog gibi donanım tanımlama dilleriyle (HDL) yapılırken, günümüzde Intel OneAPI ve Xilinx Vitis AI gibi Yüksek Seviyeli Sentez (HLS) araçları PyTorch ve TensorFlow modellerini doğrudan FPGA bitstream formatına dönüştürmektedir. INT8 veya INT4 gibi düşük hassasiyetli sayısal formatlar kullanılarak sinir ağı çıkarımı optimize edilebilir; bu sayede hem bellek bant genişliği hem de toplam güç tüketimi önemli ölçüde azalır.

arrow_forward hearing

Keyword Spotting (Anahtar Kelime Algılama)

Keyword Spotting (Anahtar Kelime Algılama), sürekli dinleme yapan bir ses tanıma alt dalı olup belirli bir tetikleyici kelime ya da ifadeyi gerçek zamanlı olarak tespit etmek amacıyla kullanılır. "Hey Siri", "OK Google" ve "Alexa" gibi uyandırma sözcükleri (wake word) en bilinen örnekleridir; ancak uygulama alanı bunların çok ötesine geçer. Keyword Spotting sistemleri, her zaman açık (always-on) bir dinleme döngüsünde son derece düşük güç tüketerek çalışır. Bu özellik, akıllı hoparlörler, giyilebilir cihazlar, akıllı telefonlar ve mikrodenetleyiciler gibi kaynak kısıtlı platformlarda kullanılmasını mümkün kılar. Sistem, belirli bir kelime ya da ifade tespit edildiğinde büyük bir konuşma tanıma motorunu ya da başka bir süreci tetikler. Teknik açıdan bakıldığında, modern Keyword Spotting modelleri Evrişimli Sinir Ağı (CNN), Yinelemeli Sinir Ağı (RNN) veya hafif Transformer tabanlı mimariler kullanır. DS-CNN (Depthwise Separable CNN) ve TC-ResNet gibi modeller, yüksek doğruluk oranlarını küçük bellek ayak izleriyle birleştirir; bu modeller genellikle 50KB ile 1MB arasında yer kaplar. Bu sayede pil ömrü kritik olan giyilebilir cihazlarda bile sürekli çalışabilirler. Gizlilik açısından değerlendirildiğinde, cihaz üzerinde (on-device) çalışan Keyword Spotting, ses verisinin buluta gönderilmesini gerektirmediğinden kullanıcı mahremiyetini korur. Yalnızca tetikleyici kelime tanındığında daha kapsamlı bir işlem süreci başlatılabilir. Bu tasarım hem gecikmeyi minimize eder hem de bant genişliği tüketimini azaltır. Google Speech Commands, Mozilla Common Voice ve LibriSpeech gibi açık kaynak veri setleri bu alanda araştırma ve geliştirmeye büyük katkı sağlamıştır. Eğitim aşamasında Yanlış Kabul Oranı (False Accept Rate — FAR) ve Yanlış Red Oranı (False Reject Rate — FRR) arasındaki denge, sistemin kullanılabilirliği açısından kritik bir performans ölçütü olarak öne çıkar.

arrow_forward compress

Knowledge Distillation (Bilgi Damıtma)

Knowledge Distillation (Bilgi Damıtma), büyük ve güçlü bir öğretmen modelin bilgisini daha küçük ve verimli bir öğrenci modele aktarma sürecidir. Öğrenci model, doğrudan ham etiketlerden değil; öğretmenin yumuşak olasılık çıktılarından (soft labels) öğrenerek eğitim veri kümesindeki sinyallerin ötesine geçen genelleme yeteneği kazanır. Tekniğin temeli 2015 yılında Geoffrey Hinton, Oriol Vinyals ve Jeff Dean'in yayımladığı "Distilling the Knowledge in a Neural Network" başlıklı makaledir. Hinton, öğretmenin softmax çıktılarının ham etiketlere kıyasla çok daha zengin bir öğrenme sinyali taşıdığını ortaya koydu: bir görüntü sınıflandırıcısının "kedi" olasılığı %90 iken "köpek" olasılığının %7 olması, modelin sınıflar arasındaki benzerlik yapısını kodladığını gösterir ve öğrenci bu yapıyı devralır. Teknik açıdan distilasyon iki kayıp teriminin ağırlıklı toplamını minimize eder: öğrencinin öğretmen çıktılarına ne kadar yaklaştığını ölçen KL Divergence tabanlı distilasyon kaybı ve standart çapraz entropi kaybı. Sıcaklık (temperature) parametresi softmax dağılımını yumuşatarak sınıflar arası ilişkileri belirginleştirir; tipik değerler 2-5 arasındadır. Pratik uygulamalarda distilasyon, üretim ortamları için belirleyici bir teknik haline gelmiştir. DistilBERT orijinal BERT modelinin %97 performansını %40 daha küçük ve %60 daha hızlı biçimde yeniden üretir. TinyBERT hem öğretmen çıktısından hem de ara katman temsil bilgisinden öğrenir; MobileBERT ise mobil cihaz kısıtları gözetilerek tasarlanmıştır. Distilasyon çeşitleri arasında self-distillation (modelin kendisinden öğrenmesi), multi-teacher distillation (birden fazla öğretmenden bilgi sentezi) ve cross-modal distillation (görüntü modelinin bilgisinin metin modeline aktarılması) sayılabilir. LLM çağında bu teknik, 70B+ büyük modellerin bilgisini 7B veya daha küçük görev-odaklı modellere aktarmak için kritik bir role bürünmüştür. Açık ağırlıklı büyük modeller öğretmen, küçük görev-odaklı modeller öğrenci rolü üstlenir; bu yaklaşım model sıkıştırma, budama (pruning) ve kuantizasyon ile birlikte kullanılarak donanım sınırlı ortamlarda yüksek performans elde etmeye olanak tanır.

arrow_forward compress

Model Sıkıştırma (Model Sıkıştırma)

Model sıkıştırma (model compression), derin öğrenme ve makine öğrenimi modellerinin boyutunu, hesaplama maliyetini ve bellek gereksinimlerini azaltmaya yönelik tekniklerin genel adıdır. Milyarlarca parametre içeren büyük yapay zeka modelleri; eğitim sürecinde muazzam donanım kaynakları tüketir ve üretim ortamında yüksek gecikme ile enerji maliyeti yaratır. Model sıkıştırma, bu ağır modelleri orijinal doğruluk değerlerine yakın tutarken çok daha küçük, hızlı ve verimli hale getirir. Temel model sıkıştırma yöntemleri dört ana başlık altında incelenir. Birincisi budama (pruning): modeldeki önemsiz ağırlıkları veya nöronları tespit edip kaldırarak bağlantılar seyreltilir; bu yöntemle %50-90 oranında parametre azaltımı elde edilebilir. İkincisi niceleme (quantization): 32-bit kayan noktalı ağırlık değerleri 8-bit veya 4-bit tam sayılara dönüştürülür; böylece hem bellek hem de çıkarım (inference) süresi 2-8 kat iyileştirilebilir. Üçüncüsü bilgi damıtma (knowledge distillation): büyük bir öğretmen modelin yümuşak olasılık çıktıları küçük bir öğrenci modele aktarılarak kompakt ama güçlü modeller elde edilir. Dördüncüsü ise düşük ranklı ayrıştırma (low-rank factorization): büyük ağırlık matrisleri iki küçük matrisin çarpımına ayrıştırılır; LoRA ve QLoRA bu yaklaşımın modern uygulamalarıdır. Pratik ekosistemde GPTQ, AWQ, GGUF ve bitsandbytes gibi araçlar, büyük dil modellerini tüketici sınıfı GPU'larda ve hatta CPU üzerinde çalıştırılabilir hale getirmiştir. llama.cpp projesi sayesinde 70 milyar parametreli modeller sıradan dizüstü bilgisayarlarda bile çalışabilmektedir. Model sıkıştırma; akıllı telefon tabanlı konuşma tanıma, gerçek zamanlı nesne algılama, uç cihaz (edge) yapay zekası ve kaynak kısıtlı IoT sistemleri gibi alanlarda kritik önem taşımaktadır.

arrow_forward code_blocks

Nöromorfik Çip (Nöromorfik Çip)

Nöromorfik çip (neuromorphic chip), insan beyninin nörobiyolojik mimarisini taklit eden özel tasarım tümleşik devrelerdir. Geleneksel von Neumann mimarisinde bellek ve işlemci ayrı bileşenler olarak çalışırken, nöromorfik çiplerde her hesaplama birimi (yapay nöron) hem yerel bellek hem de işlem kapasitesine sahiptir; bu sayede veri yolu darboğazı (memory wall) büyük ölçüde ortadan kalkar. Çalışma prensibi biyolojik nöronların "spike" adı verilen elektriksel atımlarını modellemektedir. Olaya dayalı (event-driven) bu mimari sayesinde yalnızca aktif nöronlar güç harcar; pasif nöronlar enerji tüketmez. Bu özellik, geleneksel GPU'lara kıyasla 100–1000 kat daha düşük güç tüketimi sağlar. Öne çıkan örnekler arasında Intel Loihi 2 (1 milyon nöron, gerçek zamanlı duyusal işleme), IBM TrueNorth (4096 çekirdek, 256 nöron/çekirdek, 70mW güç), Manchester Üniversitesi'nin SpiNNaker sistemi ve Avrupa Human Brain Project kapsamındaki BrainScaleS wafer ölçekli mimarisi yer alır. Uygulama alanları arasında edge AI çıkarımı, IoT sensör füzyonu, robotik algı sistemleri ve sürekli öğrenme (continual learning) senaryoları bulunur. Düşük gecikme ve pil dostu çalışma özellikleriyle otonom araçlar, akıllı kameralar ve giyilebilir tıbbi cihazlarda tercih edilmektedir. Nöromorfik çipler, Spiking Neural Network (SNN) modellerini verimli biçimde çalıştıran tek donanım mimarisini temsil eder. Biyomimetik hesaplama alanındaki bu yaklaşım, büyük dil modellerinin yüksek enerji talebine karşı uzun vadeli bir alternatif olarak araştırma gündeminde önemli yer tutmaktadır.

arrow_forward smartphone

NPU (Neural Processing Unit) (Nöral İşlem Birimi (Yapay Zeka Çipi))

NPU (Nöral İşlem Birimi — Neural Processing Unit), yapay zeka modellerinin çıkarım (inference) hesaplamalarını CPU ve GPU'ya kıyasla çok daha verimli şekilde yürütmek için tasarlanmış özel amaçlı bir donanım birimidir. Modern akıllı telefonlardan dizüstü bilgisayarlara ve veri merkezi hızlandırıcılarına kadar geniş bir yelpazeye entegre edilmektedir. Sinir ağı hesaplamaları özünde yoğun matris çarpımına dayanır. Genel amaçlı CPU bu işlemleri sıralı biçimde yürütürken, GPU binlerce çekirdekle paralel hesaplama sağlar; NPU ise bu matris çarpımlarını gerçekleştirmek için özel systolic array veya tensor çekirdeği içerir. Bu yapı, CPU'dan 10-100 kat, GPU'ya kıyasla ise çok daha düşük güç tüketimiyle çıkarım yapmasını mümkün kılar. Apple, Neural Engine adını verdiği NPU birimini 2017'deki A11 Bionic çipiyle cihazlarına entegre etti. Günümüzde M4 çipindeki Neural Engine 38 TOPS (saniyede trilyon işlem) kapasitesine ulaşmıştır. Qualcomm Hexagon NPU Android ekosisteminin bel kemiğini oluştururken, Google Tensor serisindeki NPU Pixel cihazlarında ses tanıma ve fotoğraf işlemeyi optimize eder. Edge AI kavramı NPU'nun en kritik kullanım alanıdır: veri buluta gönderilmeden, internet bağlantısı olmadan, pili koruyarak cihazın içinde gerçek zamanlı yapay zeka çalışır. Portre modu kamera efektleri, wake word tespiti, yüz tanıma ve gerçek zamanlı çeviri bu sayede mümkün olmaktadır. Microsoft, Copilot+ PC sertifikasyonu için NPU'da en az 40 TOPS performans şartı koymuştur. Bu gelişme, NPU'yu mobil dünyadan PC platformuna taşıyan önemli bir dönüm noktasıdır. Yazılım tarafında Apple Core ML, Qualcomm QNN SDK, Intel OpenVINO ve Windows ML çerçeveleri NPU'dan yararlanmak isteyen geliştiricilere API erişimi sunar. Türk yazılım geliştiricileri için NPU fırsatı şudur: yerel AI modelleri (Local LLM) artık bulut maliyeti olmadan son kullanıcı cihazında çalışabilir; bu da gizlilik hassas uygulamalar ve düşük gecikme gereksinimi olan senaryolar için bulut alternatifleri doğurur.

arrow_forward fitness_center

Quantization (Kuantizasyon (Model Küçültme))

Quantization (niceleme), sinir agi modellerindeki parametre degerlerinin yuksek hassasiyetli sayisal formattan (genellikle 32-bit kayan nokta, float32) daha dusuk bit genisligine (8-bit tam sayi veya 4-bit gibi) donusturulme islemidir. Bu donusum model boyutunu kucultmesi, cikarim hizini artirmasi ve guc tuketimini dusurmesinin yaninda, modeli kaynak kisitli ortamlarda - ornegin akilli telefon veya kenarda calisabilen cihazlarda - calistirmaya olanak tanir. Nicelemenin temelinde bir uzlasim yatar: hassasiyet azaldikca model hafizasi ve hesaplama maliyeti duser, ancak tahmin kalitesi potansiyel olarak azalabilir. Uygulamada, ozellikle INT8 dzeyinde, bu kalite kaybi cogu gorev icin ihmal edilebilir seviyede kalir. GPTQ veya bitsandbytes gibi kutuphaneler, niceleme hatasini en aza indirmek icin kalibrasyon verisi kullanarak agirlik matrislerini yeniden optimize eder. Iki ana yaklasim mevcuttur. Post-Training Quantization (PTQ) halihazirda egitilmis bir modele uygulanir; ekstra egitim gerektirmez ve hizlidir. Quantization-Aware Training (QAT) ise niceleme etkisini eğitim dongusu icerisine dahil eder; model, daha dusuk hassasiyetle bile dogru tahmin uretmeyi ogrenir. QAT genellikle PTQ'ya kiyasla daha iyi nihai kalite sunar ama ek hesaplama maliyeti getirir. Buyuk dil modellerinin (LLM) giderek buyumesiyle quantization zorunlu bir pratik haline gelmistir. GPT-3 seviyesinde bir model tam hassasiyetle yuzlerce gigabayt RAM gerektirir; INT4 nicelemeyle bu rakam onlarca gigabayta iner ve ticarette satilan bir laptopla calistirmak mumkun olur. llama.cpp projesi ve GGUF formati, bu olasiligi genis bir topluluga acmistir: Q4_K_M, Q5_K_S gibi semboller bit genisligi ile kalite stratejisini kodlar. Donanim ekosistemi de nicelemeyi etkin sekilde destekler. NVIDIA'nin Tensor Core mimarisi INT8 ve FP8 cikarimini donanim katmaninda hizlandirir; bu sayede veri merkezi GPU'larinda ayni enerji butcesiyle cok daha yuksek islem hacmi elde edilir. Apple Silicon'un Unified Memory mimarisi ise CPU ve GPU'nun ayni bellek havuzunu paylasmasina izin vererek quantized LLM'lerin tuketu cihazlarda akici calismasi icin dogal bir avantaj sunar. **Sik Sorulan Sorular** **INT8 ile INT4 niceleme arasinda kalite farki buyuk mudur?** INT8, cogulukla ihmal edilebilir kalite kaybı uretir. INT4 ise modele ve goreve bagimlidir: genel dil anlama gorevlerinde sinirli etki gorulurken kucuk modeller veya hassas gorevlerde kayip daha belirgin olabilir. **Bir modeli niceleme yapmak icin ne gereklidir?** bitsandbytes veya AutoGPTQ kutuphanesiyle birkaç satirda Python kodla herhangi bir Hugging Face modeli niceleye bilirsiniz; kalibrasyon icin kucuk bir veri kumesi onerilen uygulamalardan biridir. **Quantization modelin egitim verilerini degistirir mi?** Hayir. Niceleme yalnizca cikarim asamasini etkiler; egitim verisi veya egitim sureci degismez. **Hangi modeller niceleye en uyundur?** Buyuk, asiri parametreli modeller genellikle niceleye daha direnclidir; parametreler arasinda islevsel fazlalik bulundugu icin bazi bilgi kaybi tolere edilebilir.

arrow_forward code_blocks

RISC-V Nedir? Açık Kaynak İşlemci Mimarisi ve Yapay Zeka (RISC-V)

RISC-V (okunuşu: risk-five), 2010 yılında Kaliforniya Üniversitesi Berkeley'de David Patterson ve Krste Asanović öncülüğünde geliştirilen açık kaynak komut seti mimarisinin (ISA) adıdır. "RISC" kısaltması İngilizce Reduced Instruction Set Computer (Azaltılmış Komut Kümeli Bilgisayar) teriminden gelir; "V" ise mimarinin beşinci nesil olduğuna işaret eder. Geleneksel işlemci mimarilerinden (Intel x86, ARM) farklı olarak RISC-V, telif hakkı veya lisans bedeli gerektirmeyen özgür bir standarttır. Bu durum, büyük ve küçük her ölçekteki şirketin kendi özel donanım çiplerini tasarlamasının önündeki maliyet engellerini ortadan kaldırmaktadır. Yapay zeka uygulamalarında RISC-V'nin önemi hızla artmaktadır. Kenar bilişim (edge AI) cihazlarında, mikrodenetleyicilerden güçlü çıkarım çiplerine kadar geniş bir yelpazede RISC-V çekirdekleri tercih edilmektedir. Alibaba'nın T-Head birimi RISC-V tabanlı XuanTie serisi çipleriyle yapay zeka iş yüklerini işlerken; Avrupa Birliği'nin Avrupa İşlemci Girişimi (EPI) projesi, teknolojik egemenlik kaygısıyla RISC-V mimarisine yatırım yapmaktadır. Öne çıkan RISC-V ekosistem oyuncuları şunlardır: SiFive (özelleştirilmiş RISC-V çekirdekleri), StarFive (tek kart bilgisayarlar), Espressif (ESP32 mikrodenetleyiciler), GreenWaves Technologies (GAP9 yapay zeka işlemcisi) ve Kendryte (K210 kenar çıkarım çipi). RISC-V International, mimarinin standartlarını ve gelişimini koordine eden uluslararası yönetim kuruluşudur. RISC-V'nin yapay zeka iş yükleri için güçlü yönleri arasında özelleştirilebilir vektör uzantıları (RISC-V Vector Extension, RVV), sıfır lisans maliyeti, düşük güç tüketimi ve açık kaynak donanımın getirdiği şeffaf güvenlik denetimi yer almaktadır. Kısıtlamaları ise ARM ve x86 ile kıyaslandığında görece sınırlı yazılım ekosistemi ve araç zincirlerinin olgunlaşma sürecinde olmasıdır. Açık kaynak donanım hareketi yapay zeka çip tasarımını demokratikleştirme potansiyeli taşıdığından, RISC-V önümüzdeki yıllarda kritik bir altyapı bileşeni hâline gelebilir.

arrow_forward 🧠

Spiking Neural Network (SNN) Nedir? (Atlayan Sinir Ağı)

Spiking Neural Network (SNN), beyin biyolojisinden ilham alınarak tasarlanmış üçüncü nesil yapay sinir ağı mimarisidir. Klasik derin öğrenme modellerinde nöronlar sürekli kayan noktalı aktivasyon değerleri iletirken, SNN'lerde nöronlar yalnızca yeterli uyarı biriktiğinde kısa süreli elektriksel atışlar (spike) gönderir. Bu olay tabanlı, seyrek hesaplama paradigması biyolojik nöronların çalışma prensibini yansıtır ve nöromorhik donanımlarda klasik GPU'lara kıyasla dramatik enerji tasarrufu sağlar.

arrow_forward device_hub

Edge Computing (Uç Bilişim)

Edge Computing (Uç Bilişim), veri işleme ve hesaplama görevlerini merkezi veri merkezlerinden uzaklaştırarak veriyi üreten kaynaklara —sensörler, IoT cihazları, akıllı kameralar ve mobil aygıtlar— yakın noktalara taşıyan dağıtık bilişim paradigmasıdır. Geleneksel bulut bilişimde tüm veriler uzak sunuculara gönderilir ve işleme orada gerçekleşir; edge computing ise bu hesaplamaların büyük bölümünü ağın "ucunda" (edge), yani verinin üretildiği yere en yakın noktada gerçekleştirir. Bu yaklaşım birkaç temel avantaj sunar. İlk olarak gecikme (latency) dramatik biçimde azalır: otonom araçlar, endüstriyel robotlar ve gerçek zamanlı görüntü analiz sistemleri, kararların milisaniyeler içinde verilmesini gerektirir. Buluta gidiş-dönüş süresi bu gecikmeyi karşılayamaz; edge işlem ise kararı neredeyse anında verebilir. İkinci olarak bant genişliği kullanımı düşer: bir fabrikadaki yüzlerce kamera ham video akışını merkeze göndermek yerine sadece analiz sonuçlarını (örneğin hata tespiti uyarıları) buluta iletir. Üçüncüsü veri gizliliği ve güvenlik artar; hassas veriler yerel olarak işlenir, merkezi bir konuma aktarılmaz. Yapay zeka uygulamaları açısından edge computing, Edge AI kavramını doğurmuştur: eğitilmiş modeller doğrudan edge cihazlarda çalıştırılır. Bu amaçla NPU, ASIC ve özel işlemciler geliştirilmiş; model sıkıştırma teknikleri (quantization, pruning) kritik önem kazanmıştır. Akıllı şehirler, endüstri 4.0, sağlık teknolojileri ve otonom sistemler edge computing'in en yaygın uygulama alanlarıdır. 5G altyapısının yaygınlaşmasıyla birlikte edge computing kapasitesi ve benimsenmesi küresel ölçekte hızla artmaktadır. Robotik, sağlık izleme ve endüstriyel otomasyon gibi kritik sektörler bu dönüşümün merkezindedir.

arrow_forward code_blocks

Model Pruning Nedir? Sinir Ağlarında Budama (Model Budama)

Model budama (model pruning), milyarlarca parametreye sahip büyük sinir ağlarında performansı en az etkileyen ağırlıkları veya yapısal bileşenleri belirleyip kaldıran bir model optimizasyon yöntemidir. Temel fikir basittir: iyi eğitilmiş bir ağda parametrelerin önemli bir bölümü tahmin kalitesine minimum katkı sağlar ve bu parametreler olmadan model neredeyse aynı doğrulukla çalışmaya devam edebilir. **Budama Türleri** Yapısal budama (structured pruning), nöron, filtre veya katman gibi tüm yapısal birimleri kaldırır. Bu yaklaşım, standart CPU/GPU donanımında doğrudan bellek ve hız kazanımı sağlar; karmaşık özel donanım gerekmez. Buna karşın yapısal olmayan budama (unstructured pruning), bireysel ağırlıkları sıfırlayarak seyrek (sparse) bir matris üretir. Sıkıştırma oranı çok yüksek olabilir ancak bu seyrekliği işlemek için özel seyrek matris donanımı ya da yazılım desteği gerekir. **Büyüklük Tabanlı Budama** En yaygın yöntem büyüklük tabanlı (magnitude-based) budamadır: mutlak değerleri eşik değerin altındaki ağırlıklar sıfırlanır. Uygulaması kolaydır ve pek çok durumda yeterli sonuç verir. Daha gelişmiş gradyan tabanlı yaklaşımlar ise ağırlığın kayıp fonksiyonuna katkısını (saliency) hesaplayarak gerçekten önemsiz olanları seçer. **Yinelemeli Budama ve Lottery Ticket Hipotezi** Tek adımda agresif budama doğruluğu düşürebilir. Bu nedenle pratikte "budama, ince ayar (fine-tune) ve tekrar budama" döngüsü tercih edilir. 2019'da Frankle ve Carlin tarafından öne sürülen Lottery Ticket Hipotezi, büyük sinir ağlarında küçük ama etkili alt ağlar (winning tickets) gizlendiğini; bu alt ağların sıfırdan aynı doğrulukla eğitilebildiğini ileri sürer. Bu hipotez, budamanın neden bu kadar iyi çalıştığını teorik olarak açıklar. **Pratik Kullanım Alanları** Model budama özellikle kenar cihazlarda (akıllı telefon, IoT sensörü, gömülü sistem) büyük modelleri çalıştırmak için kritik önem taşır. GPT, LLaMA gibi büyük dil modellerini mobil uygulamalarda kullanılabilir hale getiren yöntemlerin başında gelir. Niceleme (quantization) ve bilgi damıtma (knowledge distillation) ile birlikte kullanıldığında model boyutu ve çıkarım gecikme süresi dramatik biçimde azaltılabilir.

arrow_forward memory

NPU Mimarisi Nedir? Sinir Ağı İşlemci Tasarımı (NPU Mimarisi)

NPU mimarisi (Nöral İşlem Birimi Mimarisi), yapay zeka ve derin öğrenme iş yüklerini işlemek için CPU veya GPU'dan bağımsız olarak tasarlanmış özel bir donanım bileşenidir. CPU'ların genel amaçlı sıralı hesaplama mimarisinden ve GPU'ların büyük ölçekli paralel grafik işlem özelliğinden farklı olarak NPU'lar, sinir ağlarında en sık kullanılan matris çarpımı, konvolüsyon ve aktivasyon fonksiyonu hesaplamalarını doğrudan donanım düzeyinde gerçekleştirmek için özelleştirilmiştir. Bir NPU'nun temel yapısal bileşenleri şunlardır: çok sayıda sistematik biçimde düzenlenmiş çarpma-toplama (MAC, Multiply-Accumulate) birimi, aktivasyon fonksiyonları için tasarlanmış özel devreler, düşük bant genişliği sorununu gidermek için entegre on-chip bellek tamponları ve modelden modele değişen veri akışlarını destekleyen yeniden yapılandırılabilir veri yolları. Çoğu modern NPU ayrıca INT8, FP16 ya da BF16 gibi düşük hassasiyetli sayı formatlarını destekler; bu sayede güç tüketimini önemli ölçüde azaltırken işlem kapasitesini artırır. Kullanım senaryosu açısından NPU'lar özellikle uç cihazlarda öne çıkmaktadır. Apple'ın M4 çipindeki Neural Engine (38 TOPS), Qualcomm Snapdragon serisi Hexagon NPU'su ve Intel'in Meteor Lake serilerindeki NPU modülleri (40+ TOPS) doğrudan tüketici donanımında çalışan güçlü AI ivedilendiricilerine örnek gösterilebilir. Microsoft'un Copilot+ PC sertifikasyonu da en az 40 TOPS NPU kapasitesini zorunlu kılmaktadır. NPU mimarisi, AI iş yüklerinin giderek artan yoğunluğuna karşı güç-verimlilik (TOPS/Watt) dengesini en üst düzeye çıkarmak amacıyla tasarlanmış, modern SoC tasarımının vazgeçilmez bir bileşenidir.

arrow_forward code_blocks

SoC (System-on-Chip) (Sistem Üzeri Çip)

SoC (System-on-Chip / Sistem Üzeri Çip), işlemci (CPU), grafik birimi (GPU), sinir işlemcisi (NPU), bellek kontrolcüsü ve G/Ç birimlerini tek bir silikon yonga üzerinde entegre eden devre mimarisidir. Yapay zeka uygulamalarında SoC'ler, birleşik bellek mimarisi (Unified Memory Architecture) sayesinde bant genişliği darboğazını ortadan kaldırır; uç cihazlarda (edge AI) düşük güç tüketimiyle yüksek hızlı çıkarım (inference) yapılmasına olanak tanır.

arrow_forward