Ollama (Ollama (Yerel LLM Çalıştırıcı))

#Ollama #YerelLLM #OpenSource #Llama #Gizlilik #GGUF

Yerel makinede LLM çalıştırmayı kolaylaştıran açık kaynak araç; Llama, Mistral ve Gemma gibi modelleri tek komutla yönetir.

Ollama, açık ağırlıklı büyük dil modellerini (Llama 3, Mistral, Gemma, Phi gibi) internet bağlantısı gerektirmeden kendi bilgisayarınızda çalıştırmanızı sağlayan açık kaynaklı bir araçtır. Tek satır komutla modeli indirir, GPU/CPU optimizasyonunu otomatik ayarlar ve yerel bir REST API sunar.

terminal Ollama Nasıl Kurulur ve Kullanılır?

MacOS, Linux ve Windows'ta çalışan Ollama'yı kurmak için resmi siteden yükleyici indirilir. Ardından terminale `ollama run llama3` yazıldığında model otomatik indirilir ve sohbet başlar. `ollama serve` komutu ise `localhost:11434` adresinde OpenAI uyumlu bir REST API başlatır; böylece mevcut uygulamalar kolayca yerel modele yönlendirilebilir.

Ollama'nın Avantajları

lock Gizlilik

Veriler sunucuya gönderilmez; tüm işlemler yerel makinede gerçekleşir.

money_off Maliyet Sıfır

API ücreti yoktur; donanım maliyetinin dışında ek harcama gerekmez.

wifi_off Çevrimdışı Çalışma

İnternet bağlantısı kesilse bile model çalışmaya devam eder.

quiz Sık Sorulan Sorular

  • check_circle Hangi modeller destekleniyor?: Llama 3, Mistral, Gemma, Phi-3, Qwen, DeepSeek ve GGUF formatındaki tüm modeller desteklenir.
  • check_circle GPU olmadan çalışır mı?: Evet, CPU modunda da çalışır; ancak GPU (özellikle Apple Silicon) yanıt süresini önemli ölçüde kısaltır.