tag Ollama
Bu sayfada Ollama etiketi ile işaretlenmiş 3 yapay zeka kavramını bulabilirsiniz.
Ollama, büyük dil modellerini yerel bilgisayarda tek komutla indirip çalıştırmayı sağlayan açık kaynaklı bir araçtır. Docker'ın konteyner mantığını yapay zeka modellerine uyarlayan Ollama, karmaşık Python ortamı veya GPU sürücüsü kurulumu gerektirmeksizin `ollama run llama3` gibi sade bir komutla model çıkarımını başlatır. Ollama, GGUF formatını birincil model formatı olarak benimseyerek CPU ve Apple Silicon (Metal API) üzerinde optimize çalışma sağlar. Llama 3, Mistral, Phi-3, Qwen 2.5, Gemma 2 ve DeepSeek-R1 dahil onlarca modelin resmi ve topluluk sürümleri Ollama model kütüphanesinde mevcuttur. `ollama pull` komutuyla istenen model otomatik olarak indirilir ve çalışmaya hazır hale gelir. Ollama'nın önemli özelliklerinden biri yerel OpenAI uyumlu REST API sunmasıdır. `http://localhost:11434/v1/chat/completions` adresi üzerinden OpenAI istemci kütüphaneleri, LangChain ve Open WebUI gibi araçlar doğrudan yerel modele yönlendirilebilir; bu da mevcut uygulamaların bulut AI'dan yerel AI'ya minimum kod değişikliğiyle geçişini mümkün kılar. Gizlilik açısından Ollama, verilerin hiçbir zaman dış sunuculara gönderilmediği garantisini sağlar. Tıbbi kayıtlar, hukuki belgeler veya şirket içi hassas verilerle çalışan kullanıcılar için bu özellik kritik bir avantajdır. Ayrıca internet bağlantısı kesildiğinde bile model çalışmaya devam eder. Modelfile sistemi ile modeller özelleştirilebilir: sistem promptu, sıcaklık ve bağlam penceresi gibi parametreler Dockerfile benzeri bir sözdizimle tanımlanır ve özel ağırlık setleriyle birleştirilerek paylaşılabilir özel modeller oluşturulur.
GGUF (Model Formatı)
GGUF (GPT-Generated Unified Format), büyük dil modellerini tek bir dosyada verimli biçimde depolayan ve CPU üzerinde çalıştırmaya optimize edilmiş bir model formatıdır. llama.cpp kütüphanesi tarafından 2023 yılında GGML formatının yerini almak üzere geliştirilmiştir. GGUF'un temel özelliği, model ağırlıklarını, tokenizer bilgisini, hiperparametreleri ve meta verileri tek bir dosyada birleştirmesidir. Bu tasarım, kullanıcıların ek yapılandırma dosyaları veya bağımlılıklar olmadan modeli tek adımda yüklemesine olanak tanır. Önceki GGML formatında bu bilgiler dağınık biçimde saklanıyordu ve uyumsuzluk sorunları sıkça yaşanıyordu. Kantizasyon (quantization), GGUF'un belleği küçültme ve CPU hızını artırma yöntemidir. 32-bit kayan noktalı ağırlıkları 4-bit veya 8-bit tamsayıya dönüştürerek model boyutunu üçte birine kadar küçültür. Q4_K_M, Q5_K_M ve Q8_0 gibi farklı kantizasyon seviyeleri, model kalitesi ile bellek kullanımı arasındaki dengeyi ayarlar. Llama 3, Mistral, Phi ve Qwen gibi popüler açık kaynaklı modellerin GGUF sürümleri Hugging Face üzerinde yaygın olarak paylaşılmaktadır. Ollama ve LM Studio gibi yerel çalıştırma araçları da GGUF'u birincil format olarak benimsemiştir. GGUF, GPU olmayan tüketici donanımında yerel yapay zeka kullanımını demokratize etmiş ve bulut bağımlılığını azaltma yolunda önemli bir araç haline gelmiştir. 7 milyar parametreli modeller, 8GB RAM ile sorunsuz çalışabilmekte ve giderek daha geniş bir kullanıcı kitlesine ulaşmaktadır.
Ollama (Yerel LLM Çalıştırıcı)
Ollama, büyük dil modellerini yerel bilgisayarda tek komutla indirip çalıştırmayı sağlayan açık kaynaklı bir araçtır. Docker'ın konteyner mantığını yapay zeka modellerine uyarlayan Ollama, karmaşık Python ortamı veya GPU sürücüsü kurulumu gerektirmeksizin `ollama run llama3` gibi sade bir komutla model çıkarımını başlatır. Ollama, GGUF formatını birincil model formatı olarak benimseyerek CPU ve Apple Silicon (Metal API) üzerinde optimize çalışma sağlar. Llama 3, Mistral, Phi-3, Qwen 2.5, Gemma 2 ve DeepSeek-R1 dahil onlarca modelin resmi ve topluluk sürümleri Ollama model kütüphanesinde mevcuttur. `ollama pull` komutuyla istenen model otomatik olarak indirilir ve çalışmaya hazır hale gelir. Ollama'nın önemli özelliklerinden biri yerel OpenAI uyumlu REST API sunmasıdır. `http://localhost:11434/v1/chat/completions` adresi üzerinden OpenAI istemci kütüphaneleri, LangChain ve Open WebUI gibi araçlar doğrudan yerel modele yönlendirilebilir; bu da mevcut uygulamaların bulut AI'dan yerel AI'ya minimum kod değişikliğiyle geçişini mümkün kılar. Gizlilik açısından Ollama, verilerin hiçbir zaman dış sunuculara gönderilmediği garantisini sağlar. Tıbbi kayıtlar, hukuki belgeler veya şirket içi hassas verilerle çalışan kullanıcılar için bu özellik kritik bir avantajdır. Ayrıca internet bağlantısı kesildiğinde bile model çalışmaya devam eder. Modelfile sistemi ile modeller özelleştirilebilir: sistem promptu, sıcaklık ve bağlam penceresi gibi parametreler Dockerfile benzeri bir sözdizimle tanımlanır ve özel ağırlık setleriyle birleştirilerek paylaşılabilir özel modeller oluşturulur.
Open WebUI (Open WebUI)
Open WebUI, Ollama ve OpenAI uyumlu API'ler aracılığıyla yerel büyük dil modellerine erişmek için kendi sunucunuzda barındırabileceğiniz açık kaynaklı bir web arayüzüdür. ChatGPT benzeri bir deneyimi tamamen özel ortamda sunan Open WebUI; konuşma geçmişi, model yönetimi, RAG pipeline desteği ve çoklu kullanıcı özellikleriyle öne çıkar. Açık kaynak yapay zeka araçlarının popülerleşmesiyle birlikte kullanıcılar, verilerini üçüncü taraf bulut servislerine göndermeden güçlü dil modellerinden yararlanmak istemeye başladı. Open WebUI bu ihtiyaca yanıt veren en kapsamlı self-hosted çözümlerden biridir. Proje, 2023 yılında başlayarak kısa sürede GitHub'da on binlerce yıldız topladı ve aktif bir topluluk desteğiyle gelişmeye devam etmektedir. Teknik açıdan Open WebUI; Docker konteyneri olarak çalışır ve Ollama aracılığıyla Llama, Mistral, Gemma gibi yerel modellere; OpenAI API anahtarıyla da GPT serilerine bağlanabilir. Arayüz; sohbet geçmişini yerel veritabanında saklar, farklı modeller arasında anlık geçiş yapılmasına izin verir ve kullanıcı başına ayrı profil yönetimi sunar. Bunlara ek olarak, PDF ve web sayfalarını bilgi tabanına ekleyerek model yanıtlarını zenginleştiren bir RAG (Retrieval-Augmented Generation) motoru da yerleşik olarak gelir. Veri gizliliği açısından Open WebUI kritik bir avantaj taşır: tüm sohbet içerikleri ve belgeler kullanıcının kendi altyapısında kalır. Türkiye'deki şirketler, KVKK kapsamında kişisel veri içeren sorguları bulut tabanlı yapay zeka servislerine göndermekten kaçınmak için Open WebUI gibi yerel çözümlere yönelmektedir. Özellikle hukuk, sağlık ve finans sektöründe bu tür gizlilik gereksinimleri belirleyici olmaktadır. Kurulum açısından bakıldığında, Docker yüklü herhangi bir Linux sunucusu veya macOS makinesi üzerinde tek bir komutla çalıştırılabilmesi Open WebUI'yi erişilebilir kılar. GPU desteği isteğe bağlıdır; CPU üzerinde çalışan küçük modeller düşük donanımlı ortamlarda da kullanılabilir. Bu esneklik, bireylerin kişisel bilgisayarlarından kurumsal veri merkezlerine kadar geniş bir dağıtım yelpazesini kapsar.