Ollama (Yerel LLM Çalıştırıcı)

#Ollama #YerelLLM #OpenSource #Llama #Gizlilik #GGUF

Yerel makinede LLM çalıştırmayı kolaylaştıran açık kaynak araç; Llama, Mistral ve Gemma gibi modelleri tek komutla yönetir.

Ollama, açık ağırlıklı büyük dil modellerini (Llama 3, Mistral, Gemma, Phi gibi) internet bağlantısı gerektirmeden kendi bilgisayarınızda çalıştırmanızı sağlayan açık kaynaklı bir araçtır. Tek satır komutla modeli indirir, GPU/CPU optimizasyonunu otomatik ayarlar ve yerel bir REST API sunar.

terminal Ollama Nasıl Kurulur ve Kullanılır?

MacOS, Linux ve Windows'ta çalışan Ollama'yı kurmak için resmi siteden yükleyici indirilir. Ardından terminale `ollama run llama3` yazıldığında model otomatik indirilir ve sohbet başlar. `ollama serve` komutu ise `localhost:11434` adresinde OpenAI uyumlu bir REST API başlatır; böylece mevcut uygulamalar kolayca yerel modele yönlendirilebilir.

Ollama'nın Avantajları

lock Gizlilik

Veriler sunucuya gönderilmez; tüm işlemler yerel makinede gerçekleşir.

money_off Maliyet Sıfır

API ücreti yoktur; donanım maliyetinin dışında ek harcama gerekmez.

wifi_off Çevrimdışı Çalışma

İnternet bağlantısı kesilse bile model çalışmaya devam eder.

Ollama ile Neler Yapılabilir? Kullanım Senaryoları

  • check_circle Gizliliğe Duyarlı Yerel Chatbot: Hassas iş verisi, sağlık bilgisi veya kişisel içerik bulut API'sine göndermek istenmiyor mu? Ollama ile tüm işlem yerel makinede gerçekleşir; internet bağlantısı kesilse bile çalışır. Hukuki, finans ve sağlık sektörlerindeki veri gizlilik gereksinimleri için güçlü çözüm.
  • check_circle Yerel Kod Asistanı: CodeLlama, DeepSeek-Coder ve Qwen2.5-Coder gibi programlama için optimize edilmiş modeller Ollama ile saniyeler içinde kurulabilir. Continue veya Aider gibi VS Code eklentileri Ollama API'sine bağlanarak yerel kod tamamlama, refactoring ve hata ayıklama asistanı sağlar.
  • check_circle Uygulama Geliştirme ve Prototipleme: Ollama, OpenAI uyumlu REST API sunar (`http://localhost:11434`). Python, JavaScript veya Go ile yazılmış uygulamalar OpenAI kütüphanesinin base_url'ini değiştirerek yerel Ollama modeline kolayca bağlanabilir. API maliyeti olmadan sonsuz istek yapılabilir.
  • check_circle RAG ve LangChain Entegrasyonu: LangChain ve LlamaIndex, Ollama'yı yerel LLM sağlayıcı olarak destekler. ChromaDB veya Qdrant ile birlikte kullanılarak tamamen yerel, sıfır maliyet RAG sistemi kurulabilir. Belge analizi, şirket içi bilgi tabanı sorgu ve yerel soru-cevap botları bu kombinasyonla oluşturulabilir.

Ollama API ve Uygulama Entegrasyonu

Ollama, `http://localhost:11434` adresinde REST API sunar. Temel endpoint'ler: `POST /api/chat` — OpenAI chat completion formatıyla sohbet; `POST /api/generate` — tek seferlik metin üretimi; `GET /api/tags` — kurulu modellerin listesi. OpenAI uyumluluğu: `openai` Python kütüphanesiyle `base_url='http://localhost:11434/v1'` ve herhangi bir API anahtarı (Ollama anahtarı doğrulamaz) ayarlanarak mevcut OpenAI kodu doğrudan kullanılabilir. Streaming desteği: `stream: true` parametresiyle token bazlı akış sağlanır; gerçek zamanlı kullanıcı arayüzleri için idealdir. Model özelleştirme: Modelfile ile temel model, sistem promptu ve parametreler tanımlanarak özel model versiyonları oluşturulur. Uzak erişim: `OLLAMA_HOST=0.0.0.0` ortam değişkeniyle yerel ağdaki diğer cihazlara veya konteyner ortamına Ollama erişimi açılabilir.

quiz Sık Sorulan Sorular

  • check_circle Hangi modeller destekleniyor?: Llama 3, Mistral, Gemma, Phi-3, Qwen, DeepSeek ve GGUF formatındaki tüm modeller desteklenir.
  • check_circle GPU olmadan çalışır mı?: Evet, CPU modunda da çalışır; ancak GPU (özellikle Apple Silicon) yanıt süresini önemli ölçüde kısaltır.
  • check_circle Ollama nedir?: Ollama, büyük dil modellerini yerel bilgisayarda çalıştırmayı tek komuta indirgeyen açık kaynaklı araçtır. `ollama run llama3.2` gibi tek bir komutla model indirilir ve sohbet başlar. macOS, Linux ve Windows'u destekler; GPU ve CPU hızlandırma sağlar.
  • check_circle Ollama hangi modelleri destekler?: Ollama Hub'ında LLaMA 3.x, Mistral, Gemma, Phi-3, Qwen, DeepSeek, CodeLlama, Llava (görsel), Whisper (ses) ve yüzlerce model bulunur. `ollama list` kurulu modelleri, `ollama pull <model>` yeni model indirir. Hugging Face Hub'daki GGUF formatındaki herhangi bir model Modelfile ile eklenebilir.