Local AI (Yerel Yapay Zeka)

#YerelAI #LocalAI #Ollama #LLM

AI modellerini bulut yerine kendi cihazınızda çalıştırma yaklaşımı; gizlilik, çevrimdışı kullanım ve maliyet için tercih edilir.

Yerel Yapay Zeka (Local AI), bir yapay zeka modelinin uzak bir veri merkezi yerine kullanıcının kendi cihazında — dizüstü bilgisayar, masaüstü, telefon, gömülü sistem veya kurum içi sunucu — çalıştırılması yaklaşımını tanımlar. Bu yaklaşım; veri gizliliği, çevrimdışı çalışma, düşük gecikme ve maliyet kontrolü gibi gereksinimlerin öne çıktığı senaryolarda tercih edilir. Yerel AI'nin günümüzdeki yaygınlaşmasını mümkün kılan üç temel gelişme vardır. Birincisi, Llama, Mistral, Gemma ve Phi gibi açık ağırlıklı modellerin yayımlanmasıdır; ikincisi, GGUF gibi quantization formatları ile 7B–70B parametreli modellerin tüketici donanımında verimli çalışabilmesidir; üçüncüsü ise Ollama, LM Studio, llama.cpp ve Open WebUI gibi kullanım kolaylığı yüksek araçların gelmesidir. Apple Silicon'ın birleşik bellek mimarisi ve NVIDIA'nın tüketici GPU'ları, yerel çıkarımı daha da pratik hâle getirmiştir. Yerel AI'nin tipik kullanım alanları arasında kurum içi kod asistanları, hassas sağlık ve hukuk metinlerinin işlenmesi, kişisel notlar üzerinde RAG, çevrimdışı görüntü tanıma ve gömülü ses asistanları yer alır. Verinin cihazdan ayrılmaması, KVKK ve GDPR gibi düzenlemelere uyum için belirgin bir avantaj sunar. Bununla birlikte yerel AI'nin sınırları vardır: en büyük amiral modeller bugün hâlâ bulut tarafında çalışır ve tüketici donanımına sığmaz. Donanım yatırımı, model güncellemesi, performans ayarı ve güvenlik yamaları kullanıcının kendi sorumluluğundadır. Pratikte birçok ekip; hassas görevleri yerelde, ağır akıl yürütmeyi ise bulut LLM servislerinde çalıştıran hibrit mimariler tercih eder. 7B model için minimum 8 GB VRAM, 13B için 16 GB, 70B için 48 GB ve üzeri GPU belleği ya da birleşik bellek gerekir; quantization (GGUF Q4/Q5/Q8) bu gereksinimleri iki ila dört kat azaltabilir. On-device AI çipleri (Apple Neural Engine, Qualcomm AI 100) ise yerel yapay zekayı mobil cihazlara taşıma yolunda hız kazanmaktadır.

Yerel Yapay Zeka Neden Tercih Edilir?

Bulut tabanlı yapay zeka servislerinde veriler uzak sunuculara gönderilir; hassas kişisel, tıbbi veya ticari belgeler bu süreçte üçüncü tarafların erişimine açık kalabilir. Yerel AI bu riski köklü biçimde ortadan kaldırır: metin, görüntü veya ses verisi cihazdan hiç ayrılmaz, KVKK ve GDPR gibi düzenlemelere uyum doğal olarak gerçekleşir. İkinci temel gerekçe maliyettir; OpenAI veya Anthropic API'lerine yapılan token bazlı ödemeler yoğun kullanımda önemli rakamlara ulaşabilirken yerel çalışan modeller tek seferlik donanım yatırımının ötesinde ek bir ücret gerektirmez. Çevrimdışı kullanım — kötü internet bağlantısına sahip bölgelerde saha çalışması, uçuş modundaki çalışma veya kurumsal güvenlik politikaları gereği hava boşluklu sistemler — yerel AI'ı vazgeçilmez kılan üçüncü etkendir. Son olarak gecikme (latency): uzak API roundtrip süresi ortadan kalktığında yerel çıkarım gerçek zamanlı uygulamalarda belirgin hız avantajı sunar.

Nasıl Çalışır: Quantization ve Çıkarım

Yerel AI'ın tüketici donanımında çalışabilmesi büyük ölçüde quantization (nicemleme) teknolojisine dayanır. llama.cpp projesiyle yaygınlaşan GGUF formatı, model ağırlıklarını 32 bit kayan nokta yerine 4 veya 5 bit tam sayı olarak depolar; bu sayede 7B parametreli bir modelin disk boyutu 4 GB'ın altına düşer. Çıkarım sırasında model VRAM yerine kısmen sistem RAM'inde de çalışabilir; bu 'offloading' modu daha yavaş olmakla birlikte geniş bellek gereksinimini erişilebilir kılar. Apple Silicon M serisi çipler, birleşik bellek (unified memory) mimarisiyle yerel AI için belirgin avantaj taşır: GPU ve CPU aynı bellek havuzunu paylaşır, M3 Max 128 GB, M3 Ultra ise 192 GB paylaşımlı belleğe erişir. NVIDIA RTX 4090 (24 GB VRAM) yüksek işlem hızıyla tercih edilen seçenekler arasındadır. Quantization derecesi arttıkça (Q8 → Q4 → Q2) bellek gereksinimi düşer; Q4_K_M formatı çoğu senaryo için kalite-hız dengesini iyi tutar.

Yerel Yapay Zeka Araçları ve Çerçeveleri

  • check_circle Ollama: Yerel LLM'leri tek komutla indirip çalıştırmayı kolaylaştıran araç. LLaMA, Mistral, Phi, Qwen gibi modelleri terminal üzerinden yönetir; REST API ile yerel entegrasyon imkânı sunar.
  • check_circle LM Studio: GGUF formatındaki modelleri grafiksel arayüzle yönetip çalıştırmak için kullanılan masaüstü uygulaması. ChatGPT benzeri arayüz ve OpenAI uyumlu yerel API sunar.
  • check_circle llama.cpp: C/C++ ile yazılmış, CPU dahil çok çeşitli donanımda LLM çıkarımını mümkün kılan temel kütüphane. GGUF formatının referans implementasyonudur; diğer araçların büyük bölümü üzerine kuruludur.
  • check_circle MLX (Apple Silicon): Apple'ın M serisi çipler için optimize edilmiş makine öğrenimi çerçevesi. Birleşik bellek mimarisi ile GPU ve CPU arasında kopyasız bellek paylaşımı yaparak yerel çıkarımı hızlandırır.
  • check_circle Jan.ai: Çevrimdışı çalışan, açık kaynaklı ChatGPT alternatifi masaüstü uygulaması. Birden fazla model ve yerel RAG desteği içerir; gizlilik odaklı kullanıcılar için tasarlanmıştır.
  • check_circle AnythingLLM: Yerel modeller ve belge tabanlarıyla kişisel RAG sistemi kurulmasını sağlayan açık kaynaklı platform. Ollama veya LM Studio ile entegre çalışır.
  • check_circle Open WebUI: Ollama üzerinde çalışan, ChatGPT benzeri web arayüzü. Çok kullanıcılı, çok model destekli yerel AI sunucu ortamları için tasarlanmıştır.

Yerel AI Kullanım Alanları

  • check_circle Kod Asistanı (Kurumsal Gizlilik): IP koruması gerektiren kod tabanlarında Continue.dev, Cursor veya Aider ile Qwen2.5-Coder veya Codestral modeli entegrasyonu; kaynak kod bulut API'lerine gönderilmez.
  • check_circle Hassas Belge Analizi: Tıbbi, hukuki ve finansal belgeler yerel RAG mimarisiyle buluta çıkmadan işlenir; KVKK ve GDPR uyumu doğal olarak karşılanır.
  • check_circle Kişisel Verimlilik Asistanı: Özel notlar, günlükler ve kişisel bilgi tabanı üzerinde tamamen özel bir AI asistan olarak kullanılır; hiçbir veri üçüncü tarafa aktarılmaz.
  • check_circle Eğitim ve Araştırma: İnternet erişimi kısıtlı ortamlarda veya araştırma verilerinin gizliliğinin zorunlu olduğu akademik projelerde tercih edilir.
  • check_circle Gömülü ve Endüstriyel Sistemler: Endüstriyel kontrol panelleri, tıbbi cihazlar ve otonom araçlarda ağa güvenilemeyecek ortamlarda çevrimdışı AI çıkarımı için kullanılır.

Yerel AI'ın Sınırları ve Bulut ile Hibrit Kullanım

Yerel yapay zeka gizlilik, maliyet kontrolü ve çevrimdışı kullanım açısından güçlü avantajlar sunar; ancak pratikte çeşitli sınırlamalarla yüzleşmek gerekir. Donanım kısıtı en temel faktördür: 7B model için 8GB, 13B model için 16GB, 70B model için 48GB+ VRAM gerekmektedir. Apple Silicon M3 Ultra gibi birleşik bellek mimarili sistemler 128GB–192GB paylaşımlı bellek sunarak bu bariyeri önemli ölçüde düşürmüştür. Performans açısından yerel modeller, frontier bulut modellerine genel olarak geride kalsa da bant genişliği sınırlı, kodlama veya belirli alan görevleri için ince ayarlı yerel modeller rekabetçi sonuçlar verebilir. Pratik bir hibrit yaklaşım: hassas belgeler yerel modelle işlenirken genel sorular bulut API'sine yönlendirilir. Kuantizasyon (GGUF Q4, Q5, Q8) model boyutunu 2–4× küçültür; bu sayede 7B model 4GB VRAM'de çalışabilir hâle gelir. On-device AI çipleri (Apple Neural Engine, Qualcomm AI 100) ise yerel yapay zekayı mobil cihazlara taşıma yolunda hız kazanmaktadır.

terminal Ollama ile ilk model: adım adım komutlar

macOS ve Windows'ta kurulum, indirilen paketi çalıştırmakla biter. Linux'ta tek satır yeterli: curl -fsSL https://ollama.com/install.sh | sh

Kurulum sonrası arka planda 11434 portunda bir servis çalışır. İlk modeli indirip sohbete başlamak için ollama run llama3.2 yazın. 3B'lik bu model yaklaşık 2 GB iner ve 8 GB RAM'li makinelerde bile açılır. Türkçe kalitesi daha önemliyse ollama run qwen2.5:7b iyi bir başlangıç; dosya boyutu 4,7 GB civarındadır.

Günlük komutlar kısa: ollama list indirilmiş modelleri gösterir, ollama ps o an bellekte olanları, ollama rm model-adi yer açar, ollama pull model-adi günceller.

API yereldir ve kimlik doğrulama istemez: curl http://localhost:11434/api/generate -d '{"model":"llama3.2","prompt":"Merhaba"}'. OpenAI uyumlu uç da açıktır; istemcinizin base_url değerini http://localhost:11434/v1 yapıp api_key alanına herhangi bir metin yazmanız yeterli. Grafik arayüz isteyenler aynı servisin üstüne Open WebUI kurabilir, terminalle uğraşmak istemeyenler LM Studio ile başlayabilir.

memory Donanımınıza göre model seçimi

  • check_circle 8 GB RAM, harici GPU yok: 3B ve altı modeller, 4 bit nicelemeyle. Llama 3.2 3B veya Qwen 2.5 3B yaklaşık 2 GB yer kaplar. Özetleme, yeniden yazma ve basit soru cevap için yeter; karmaşık kod üretiminde zorlanır.
  • check_circle 16 GB RAM veya 8 GB VRAM: 7B ve 8B sınıfı modellerin Q4_K_M sürümleri buraya oturur, dosya boyutu 4,5-5 GB bandındadır. Günlük sohbet, çeviri ve orta zorlukta kod tamamlama için en dengeli aralık budur.
  • check_circle 24 GB VRAM (RTX 3090 veya 4090): 14B modeller rahat çalışır, 32B modellerin 4 bit sürümü (yaklaşık 20 GB) sınırda durur. Bağlam penceresini 8K civarında tutmazsanız bellek dolar ve model sistem RAM'ine taşar.
  • check_circle Apple Silicon Mac: Birleşik bellek sayesinde 16 GB'lık bir Mac 7B-8B, 32 GB'lık bir Mac 14B-32B, 64 GB ve üzeri 70B modellerin 4 bit sürümünü kaldırır. GPU'ya varsayılan olarak toplam belleğin yaklaşık dörtte üçü ayrılır; üst sınırı zorlarken bunu hesaba katın.
  • check_circle Bağlam uzunluğu ayrı bellek ister: Model dosyasının boyutu tek başına yetmez. 8K yerine 32K bağlamla çalışmak modele göre 1-3 GB ek bellek götürür. Uzun PDF özetleyecekseniz bir üst kademe donanım planlayın.
  • check_circle Sadece CPU ile: Çalışır ama yavaştır. Modern 8 çekirdekli bir işlemcide 7B Q4 model saniyede yaklaşık 5-10 token üretir, yani uzun yanıtlar dakikaları bulur. Arka planda çalışan toplu işler için sorun değil, canlı sohbet için yorucu.

payments Yerel donanım mı bulut API mi: başa baş hesabı

Karar duygusal değil aritmetik. Bulut tarafında token başına ödersiniz, yerel tarafta kart, elektrik ve zaman ödersiniz.

Basit bir örnek: ayda 20 milyon token işleyen küçük bir ekip, 1 milyon token başına 1 dolar alan orta segment bir modelde ayda 20 dolar öder. Aynı iş için 24 GB'lık ikinci el bir kart artı güç kaynağı ve kasa yükseltmesi 1.000 doların üzerindedir, yani başa baş noktası yıllarca uzaktadır. Hacim büyüdüğünde tablo tersine döner: günde milyonlarca token işleyen bir üründe kart saatlerce dolu çalışır ve birim maliyet bulut fiyatının altına inebilir.

Elektriği de hesaba katın. Yük altında 300-450 W çeken bir kart günde 8 saat çalıştığında ayda 70-110 kWh eder; üstüne soğutma ve arıza riski gelir. Buna karşılık yerel kurulumun bulutta olmayan iki getirisi var: veri makineden çıkmaz ve istek başına ücret olmadığı için deneme yapmaktan çekinmezsiniz.

Çoğu ekip sonunda ortada buluşuyor: hassas belgeler ve yüksek hacimli rutin işler yerelde, zor muhakeme isteyen az sayıda istek bulut API'sinde. Hangi işin nereye gideceğini baştan yazılı bir kurala bağlayın, yoksa hem donanım hem fatura büyür.

Sık Sorulan Sorular

  • check_circle Yerel yapay zeka nedir? Bir yapay zeka modelinin internet bağlantısı veya bulut sunucusu olmadan kullanıcının kendi cihazında — dizüstü, masaüstü, telefon veya sunucu — çalıştırılması yaklaşımıdır. Ollama, LM Studio ve llama.cpp bu amaçla kullanılan başlıca araçlardır.
  • check_circle Yerel AI için ne kadar donanım gerekir? 7B model için 8GB VRAM (minimum), 13B için 16GB, 70B için 48GB+ GPU belleği veya 64GB+ birleşik bellek gerekir. GGUF quantization (Q4/Q5) bu gereksinimleri 2-4× azaltır; örneğin 7B Q4 modeli 4GB VRAM'de çalışır.
  • check_circle Ollama ile nasıl başlanır? ollama.ai adresinden kurulum yapılır, ardından terminalde ollama run llama3.2 komutu modeli indirir ve çalıştırır. API varsayılan olarak localhost:11434 adresinde erişilebilir olur.
  • check_circle Yerel AI bulut kadar iyi mi? Genel amaçlı görevlerde frontier bulut modelleri (GPT-4o, Claude Opus) hâlâ üstündür. Ancak belirli görevler için ince ayarlı yerel modeller veya gizlilik kısıtlamaları olan ortamlarda yerel AI en iyi seçenektir.
  • check_circle Yerel AI kullanmak güvenli mi? Veriler cihazdan çıkmadığı için gizlilik açısından güçlüdür. Ancak güvenlik için: çalıştırılan araçları (Ollama, LM Studio) güncel tutun, API endpoint'lerini güvence altına alın ve hassas ortamlarda ağ portlarını minimize edin.
  • check_circle Türkçe için hangi yerel modeller önerilir? Qwen 2.5-7B ve Llama 3.1'in çok dilli versiyonları Türkçe'de kabul edilebilir kalite sunar. Kod görevleri için Qwen2.5-Coder-7B önerilir. Hugging Face'de Türkçe veri setiyle ince ayar yapılmış küçük modeller de mevcuttur.
  • check_circle Yerel yapay zeka ücretsiz mi? Yazılım tarafı ücretsiz. Ollama, LM Studio ve llama.cpp bedava; açık ağırlıklı modellerin çoğu ticari kullanıma da izin veren lisanslarla dağıtılır. Masraf donanımda ve elektrikte çıkar. Yeterli RAM'i olan bir dizüstü bilgisayarda 3B-7B modeller için ek maliyet yok denecek kadar azdır.
  • check_circle GPU olmadan sadece CPU ile yerel AI çalışır mı? Evet. llama.cpp tabanlı araçlar 4 bit nicelenmiş modelleri CPU üzerinde çalıştırır; 8 çekirdekli modern bir işlemcide 7B model saniyede yaklaşık 5-10 token üretir. Kısa yanıtlar ve arka plan işleri için yeterli, uzun kod üretimi için sabır ister. Bellek darsa 3B modellerle başlayın.
  • check_circle Ollama ile LM Studio arasındaki fark nedir? Ollama komut satırı ve yerel API odaklıdır; arka planda servis olarak çalışır ve başka uygulamaların bağlanması için tasarlanmıştır. LM Studio grafik arayüzlü bir masaüstü uygulamasıdır, model aramak ve ayarları denemek isteyenler için daha kolaydır. İkisi de aynı GGUF modellerini kullanır ve aynı makinede birlikte durabilir.
  • check_circle Yerel yapay zeka internetsiz çalışır mı? Model bir kez indirildikten sonra evet. Çıkarım tamamen cihazda olduğu için uçak modunda bile yanıt alırsınız. İnternet sadece yeni model indirirken, aracı güncellerken veya web araması gibi dış eklentileri kullanırken gerekir.