İnternetsiz ve Ücretsiz: Bilgisayara Yerel Yapay Zeka (Ollama) Nasıl Kurulur?

Bir an düşünün: Aylık abonelik ödemiyorsunuz, hiçbir sunucuya veri göndermiyor ve WiFi sinyalinin kötü olduğu bir yerde bile yapay zekaya soru sorabiliyorsunuz. Bu senaryo bir hayal değil; Ollama ile bugün, şu an, kendi bilgisayarınızda kurabilirsiniz.

Bulut tabanlı yapay zeka servislerine her ay para dökmek, yazıp gönderdiğiniz her mesajın şirket sunucularında işlendiğini düşünmek ya da API rate limit hataları almak artık mecburiyet değil. 2026 itibarıyla open-source yapay zeka modelleri o kadar güçlendi ki Llama 3, Mistral, Qwen ve Phi gibi modeller, kullanım senaryolarının büyük çoğunluğunda ticari alternatifleriyle başa baş yarışıyor.

Bu rehber sizi adım adım götürecek: Kurulum dosyasını indirmekten terminalde ilk modeli çalıştırmaya, oradan da tarayıcı tabanlı bir arayüzle ChatGPT’yi andıran bir deneyim yaşamaya kadar her şeyi kapsıyor.

Solda: Verileriniz bulut sunucularına gidip geliyor. Sağda: Tüm işlem kendi makinenizde, dışarıya sıfır veri.

Yerel Yapay Zeka (Local LLM) Nedir?

“Yerel yapay zeka” dediğimizde kastettiğimiz şey basit: Modelin ağırlık dosyalarının (weights) tamamen sizin sabit diskinizde oturması ve çıkarımın (inference), yani modelin soruya cevap üretmesi sürecinin, kendi işlemciniz ya da ekran kartınız tarafından yapılması.

Karşılaştırma yaparsak: ChatGPT’ye bir mesaj yazdığınızda, o metin OpenAI’ın veri merkezlerine gidiyor, oradaki büyük GPU kümelerinde işleniyor ve sonuç size geri dönüyor. Tüm bu süreçte verileriniz üçüncü taraf altyapıda işleniyor.

Yerel modelde ise trafiğin tamamı loopback (127.0.0.1) üzerinden, kendi makineniz içinde kalıyor. Hassas bir müşteri verisini, şirket iç belgesini veya kişisel notlarınızı analiz ettirmek istediğinizde bu fark hayati önem taşıyor.

Yapay zeka teknolojisinin lokal kullanımı aynı zamanda şu avantajları da beraberinde getiriyor:

• Sıfır gecikme sorunu yok: Model kendi RAM’inizde yüklü olduğundan yanıt süresi yalnızca donanımınıza bağlıdır, ağ gecikmesi devrede değildir.
• Sınırsız kullanım: API’larda yaygın olan dakikada X istek gibi kısıtlamalar tamamen ortadan kalkar.
• Sürekli erişim: Uçakta, dağda, internet olmayan herhangi bir ortamda bile modeliniz çalışır.
• Maliyet sıfır: Model bir kez indirilir, sonrası tamamen ücretsizdir.

Donanım Kontrolü: Bilgisayarınız Yerel AI İçin Hazır mı?

Bu sorunun güzel cevabı şu: Muhtemelen evet. Yüksek parametreli modelleri tam performansla çalıştırmak için güçlü bir donanım gerekse de küçük ve orta ölçekli modeller için standart bir dizüstü bilgisayar yeterlidir.

Aşağıdaki tablo, model boyutuna göre minimum ve önerilen gereksinimleri özetliyor:

GPU olmadan çalışır mı? Kesinlikle. Ollama, ekran kartı bulunmadığında modeli otomatik olarak CPU moduna alır. Hız düşer ama çalışır. 8B parametreli bir modelde yaklaşık 10-15 token/saniye hız beklentisiyle gidebilirsiniz; bu da okunabilir bir yanıt akışı için yeterlidir.

Apple Silicon avantajı: M1/M2/M3/M4 çipli Mac’lerde durum çok daha avantajlı. Unified Memory mimarisi ile sistem RAM’i doğrudan GPU belleği olarak da kullanılabildiğinden, 16 GB RAM’e sahip bir MacBook, pek çok 13B modeli oldukça akıcı çalıştırabilir.

Makine öğrenmesi sürecinde modeller, eğitim aşamasında trilyonlarca token üzerinde parameterlerini ayarlar. Bu devasa ağırlık dosyaları yerel donanımda çalıştırılırken bellekte (RAM veya VRAM) tutulur ve her token üretiminde milyarlarca kez matris çarpımı yapılır. NVIDIA GPU’ların bu işlemde bu kadar etkili olmasının nedeni, binlerce CUDA çekirdeğinin bu çarpımları paralel yapabilmesidir.

Llama 3 çalışırken sistem kaynakları: CPU %65, GPU VRAM 6.2 GB/8 GB, RAM 14 GB/16 GB. Tüm işlem yerel.

Adım 1: Ollama Kurulumu Nasıl Yapılır?

Ollama, 2023’te küçük bir bağımsız proje olarak başladı ve bugün milyonlarca kullanıcıyla açık kaynak dünyasının en sevilen araçlarından biri haline geldi. Tek komutla model indirip çalıştırmanıza olanak tanıyan minimalist tasarımı, teknik olmayan kullanıcılar için de erişilebilir kılıyor.

ollama.com indirme sayfası: Tek tıkla işletim sisteminize uygun paketi alıyorsunuz.

macOS’ta Kurulum

macOS kullanıcıları için en kolay yol doğrudan .dmg paketi:

1. ollama.com adresine gidin.
2. “Download for macOS” butonuna tıklayın, site Apple Silicon mi yoksa Intel mi kullandığınızı otomatik algılar.
3. İndirilen Ollama.dmg dosyasını açın ve uygulamayı Applications klasörüne sürükleyin.
4. Uygulamayı başlatın. Menü çubuğunda küçük bir lama ikonu belirir, bu, arka plan servisinin çalıştığını gösterir.

Homebrew kullananlar için tek satır yeterli:

brew install ollama

Windows’ta Kurulum

Windows 10 ve 11 tam olarak destekleniyor. NVIDIA veya AMD GPU’nuz varsa sürücülerinizin güncel olduğundan emin olun.

1. ollama.com adresinden Windows kurulum dosyasını (OllamaSetup.exe) indirin.
2. Dosyayı çalıştırın ve kurulum sihirbazını tamamlayın.
3. Ollama sistem tepsisinde (system tray) otomatik olarak başlar.

Not: NVIDIA GPU hızlandırması için bilgisayarınızda CUDA 11.8 veya üzeri kurulu olmalıdır. Bunu NVIDIA GeForce Experience ya da manuel sürücü güncellemesiyle sağlayabilirsiniz.

Linux’ta Kurulum

Linux için tek satırlık resmi kurulum betiği her şeyi hallediyor:

curl -fsSL https://ollama.com/install.sh | sh

Bu komut, sisteminizi algılar, uygun paketi indirir ve ollama servisini systemd altında otomatik başlatacak şekilde yapılandırır. Kurulum tamamlandıktan sonra servis durumunu kontrol etmek için:

systemctl status ollama

Adım 2: İlk Yapay Zeka Modelinizi İndirin ve Çalıştırın

Ollama kuruluysa artık en heyecan verici kısma geldik. Bir terminal açın (Windows’ta PowerShell veya Komut İstemi) ve aşağıdaki komutu yazın:

ollama run llama3

Bu kadar. Ollama, Meta’nın Llama 3 modelini (varsayılan olarak 8B parametre versiyonu, ~4.7 GB) resmi kütüphanesinden indirir ve doğrudan etkileşimli sohbet moduna geçer. İndirme bir kez yapılır; sonrasında model disk üzerinde kalır ve her çalıştırmada anında hazır olur.

Model indirildi, sohbet başladı, tüm bunlar tek bir terminal komutundan ibaret.

Popüler Modeller ve Komutları

Ollama’nın kütüphanesinde yüzlerce model var. 2026 itibarıyla öne çıkan seçenekler şunlar:

# Meta'nın amiral gemisi — genel amaçlı kullanım için mükemmel
ollama run llama3.1:8b

# Mistral AI — Fransız yapımı, kod ve analiz konusunda güçlü
ollama run mistral

# Microsoft'un hafif ama yetenekli modeli — düşük RAM'li cihazlar için ideal
ollama run phi3:mini

# Alibaba'nın çok dilli modeli — Türkçe desteği güçlü
ollama run qwen2.5:7b

# Google'ın Gemma serisinin açık ağırlıklı versiyonu
ollama run gemma3:4b

# Kod yazmak için optimize edilmiş model
ollama run codellama:7b

Model Boyutu Seçimi

Aynı modelin birden fazla parametre versiyonu olabilir. Boyut belirtmezseniz Ollama genellikle en makul versiyonu seçer, ama elle de belirtebilirsiniz:

# 8B parametre — dengeli seçim
ollama run llama3.1:8b

# 70B parametre — maksimum güç, yüksek donanım gerektirir
ollama run llama3.1:70b

# Quantize edilmiş (sıkıştırılmış) versiyon — daha az RAM'e sığar
ollama run llama3.1:8b-instruct-q4_K_M

Faydalı Terminal Komutları

# İndirilen tüm modelleri listele
ollama list

# Belirli bir modeli sil (disk alanı açmak için)
ollama rm mistral

# Arka planda API sunucusu olarak başlat (model indirmeksizin)
ollama serve

# Modeli etkileşimli mod yerine tek seferlik sorgu ile kullan
ollama run llama3 "Türkçe olarak haiku yazar mısın?"

Adım 3: Görsel Bir Arayüz Ekleme (Open WebUI Kurulumu)

Terminal komutları yeterince güçlü, ama her gün kullanacaksanız daha zengin bir deneyim istemeniz son derece doğal. Sohbet geçmişi, dosya yükleme, birden fazla model arasında geçiş yapma ve çok daha fazlasını sunan Open WebUI, bu ihtiyacı karşılamak için tasarlandı.

Open WebUI: Sohbet geçmişi, model seçici, kod blokları ve dosya yükleme, tamamen yerel, tamamen gizli.

Docker ile Kurulum (Önerilen)

En temiz ve taşınabilir kurulum yöntemi Docker. Docker Desktop yüklü değilse docker.com adresinden indirin.

Ollama ve Open WebUI’yi birlikte başlatmak için:

docker run -d \
  -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

Komut çalıştıktan sonra tarayıcınızda http://localhost:3000 adresine gidin. İlk girişte bir admin hesabı oluşturmanız istenecek, bu hesap yalnızca yerel makinenizde geçerlidir, dışarıya hiçbir veri gönderilmez.

NVIDIA GPU’lu Sistemler için

GPU hızlandırmasından tam olarak yararlanmak isteyenler için CUDA destekli versiyon:

docker run -d \
  -p 3000:8080 \
  --gpus all \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:cuda

Docker Kullanmadan Kurulum (pip ile)

Python 3.11+ yüklü kullanıcılar Docker olmadan da kurabilir:

pip install open-webui
open-webui serve

Open WebUI’nin Öne Çıkan Özellikleri

Arayüze girdiğinizde ChatGPT’den aşina olduğunuz pek çok şeyi burada da göreceksiniz, ama bazıları çok daha ileri:

• Çoklu model desteği: Tek arayüzden Llama 3, Mistral, Qwen ve daha fazlasına geçiş yapabilirsiniz.
• Sohbet geçmişi: Tüm konuşmalar yerel veritabanında saklanır, buluta gitmez.
• Dosya yükleme (RAG): PDF, TXT veya web sayfası URL’si yükleyerek modelin bu içerikler üzerinden sorularınızı yanıtlamasını sağlayabilirsiniz.
• Sistem promptu özelleştirme: Her sohbet için veya global olarak varsayılan bir sistem mesajı tanımlayabilirsiniz.
• Kullanıcı yönetimi: Birden fazla kullanıcı için hesap açılabilir, yetki seviyeleri belirlenebilir.
• API uyumluluğu: OpenAI API formatını taklit eder, yani OpenAI entegrasyonu olan üçüncü taraf uygulamalarınızı (VSCode eklentileri, otomasyonlar vb.) bu yerel sunucuya yönlendirebilirsiniz.

Sıkça Sorulan Sorular (FAQ)

İnternet olmadan gerçekten çalışır mı?

Evet, tamamen çalışır. Model ağırlık dosyaları bir kez indirildikten sonra disk üzerinde kalır ve hiçbir ağ bağlantısı olmadan çalışır. Ollama’nın runtime’ı da internet gerektirmez. Uçak modunda, elektriği olan ama interneti olmayan bir yerde, hatta Faraday kafesi içinde bile çalışır.

Ekran kartım olmadan sadece CPU ile yerel AI çalıştırabilir miyim?

Evet, ancak hız farkı belirgindir. CPU modunda 7-8B parametreli bir model saniyede yaklaşık 3-15 token üretir (işlemciye göre değişir), bu da hâlâ okunabilir bir hız demektir. Bir NVIDIA RTX 3060 gibi orta sınıf bir ekran kartında aynı model saniyede 40-80 token üretebilir. CPU only çalışma seçeneği özellikle iMac, Mac mini veya entegre ekran kartlı laptoplar için gayet kullanışlıdır.

Modeller bilgisayarımda ne kadar yer kaplar?

Quantization (sayısal sıkıştırma) seviyesine bağlı olarak değişir:

İndirdiğiniz modeller varsayılan olarak şu konumlara kaydedilir:

• macOS/Linux: ~/.ollama/models/
• Windows: C:\Users\<kullanıcı>\.ollama\models\

Birden fazla model aynı anda çalışır mı?

Ollama varsayılan olarak tek bir model aktif tutar. Yeni bir modele geçtiğinizde önceki modelin ağırlıkları bellekten boşaltılır. Birden fazla modeli eş zamanlı çalıştırmak teorik olarak mümkün olmakla birlikte yeterli RAM gerektirir ve OLLAMA_MAX_LOADED_MODELS ortam değişkeniyle ayarlanabilir.

Verilerim gerçekten dışarı çıkmıyor mu, nasıl emin olabilirim?

Bir ağ izleme aracıyla (örneğin macOS için Little Snitch veya Linux için nethogs) Ollama sürecinin ağ trafiğini izleyebilirsiniz. Modeli ollama serve olarak başlattığınızda dışarıya herhangi bir bağlantı kurmadığını gözlemlersiniz. Model güncellemesi yoksa hiçbir dışa giden istek olmaz. Şüpheciyseniz, model indirildikten sonra bilgisayarı tamamen internet bağlantısından kesin, sistem sorunsuz çalışmaya devam eder.

Sonuç: Yapay Zekayı Geri Almak

Yapay zeka tarihinin bu kadar hızlı ilerlediği 2026 yılında, “lokal çalışan model” artık hobicilerin deneysel projesi değil, binlerce profesyonelin günlük iş akışının parçası. Hukuk ofisleri hassas belgeleri yerel modellere sorduruyor, yazılım şirketleri kod tabanlarını buluta göndermeksizin analiz ettiriyor, araştırmacılar veri gizliliği kaygısı taşımadan deneyler yapıyor.

Bu rehberde gördüğünüz gibi, teknik eşiği şaşırtıcı derecede alçak. Ollama’yı kurmak; bir uygulama indirmekten ve tek bir terminal komutu yazmaktan ibaretti. Open WebUI entegrasyonu ise sizi terminale mahkum olmaktan kurtarıyor.

Bundan sonra atacağınız adımlar tamamen merakınıza ve ihtiyacınıza bağlı: Farklı modelleri karşılaştırmak, özel bir sistem promptuyla kişiselleştirilmiş asistan oluşturmak, Python ile Ollama API’sini entegre ederek otomasyon geliştirmek ya da RAG (Retrieval-Augmented Generation) ile kendi belgelerinizden beslenen bir bilgi sistemi kurmak.

Başka pratik rehberler, open-source araç incelemeleri ve yapay zeka dünyasındaki güncel gelişmeler için yapayzekasozluk.tr/blog adresini takipte kalın. Her hafta yeni içerikler ekleniyor.