vLLM

vLLM, büyük dil modellerini üretim ölçeğinde sunmak için tasarlanmış yüksek performanslı bir çıkarım (inference) motorudur. UC Berkeley'de geliştirilen vLLM, PagedAttention adlı özgün bellek yönetim yaklaşımıyla GPU belleğinin israfını engellerken continuous batching ile çok sayıda eş zamanlı isteği verimli biçimde işler. OpenAI uyumlu API arayüzü, mevcut uygulamalara kolayca entegre edilmesini sağlar.

Geleneksel LLM çıkarımında KV cache (anahtar-değer önbelleği) her token üretildiğinde büyür ve GPU'da ardışık bellek bloğu gerektirir. Bu durum parçalanmaya (fragmentation) yol açar ve gerçek kapasiteden çok daha az istek işlenebilir. PagedAttention, KV cache'i işletim sistemlerindeki sayfalı bellek (paged memory) mantığıyla yönetir: sabit boyutlu sayfalara böler, dinamik olarak tahsis eder ve farklı istekler arasında paylaştırır. Bu yaklaşım GPU belleğini ~%90 verimlilikle kullanılabilir hale getirir.

Klasik statik batching'de bir grup istek aynı anda işlenir ve en uzun yanıtın bitmesi beklenir; bu kısa istekler için GPU'yu boş bırakır. Continuous (sürekli) batching ise her adımda hangi isteğin bir sonraki tokeni almaya hazır olduğunu kontrol eder ve boşlukları derhal yeni isteklerle doldurur. Bu dinamik zamanlama, toplam throughput'u önemli ölçüde artırır ve gecikme dağılımını düzleştirir.

vLLM, pip ile tek komutta kurulur. Temel kullanım için CUDA uyumlu bir GPU ve NVIDIA sürücüsü gerekir. Sunucu başlatıldığında --model parametresiyle HuggingFace model kimliği verilir; vLLM modeli indirir, yükler ve OpenAI uyumlu endpoint'leri açar. --tensor-parallel-size ile çoklu GPU dağılımı, --quantization ile bellek tasarrufu sağlanabilir. CPU-only modda çalışabilir ancak performans önemli ölçüde düşer.

vLLM'in başlıca rakipleri TGI (HuggingFace Text Generation Inference), TensorRT-LLM (NVIDIA) ve llama.cpp'dir. TGI genel amaçlı ve yönetimi kolayken vLLM daha yüksek throughput sunar. TensorRT-LLM NVIDIA GPU'larında en yüksek ham hızı verebilir ancak model dönüştürme adımı gerektirir. llama.cpp ise CPU ve Apple Silicon optimizasyonuyla öne çıkar. vLLM kullanım kolaylığı ve performans dengesiyle en yaygın tercih haline gelmiştir.

Türkiye'de yapay zeka ürünleri geliştiren startup'lar ve kurumsal şirketler vLLM'i ağırlıklı olarak maliyet optimizasyonu için kullanmaktadır. Aynı GPU donanımıyla daha fazla eş zamanlı kullanıcı istemesi karşılanabildiğinden bulut faturası belirgin biçimde düşer. Yerel modelleri kendi veri merkezlerinde çalıştırmak isteyen finans ve sağlık kuruluşları için vLLM, KVKK uyumluluğunu korurken yüksek performans sağlayan tercih edilen servis motorudur.

vLLM CPU üzerinde çalışır mı? Evet, ancak performans GPU'ya kıyasla çok düşüktür. Üretim kullanımı için CUDA uyumlu NVIDIA GPU önerilir.

OpenAI SDK ile doğrudan kullanılabilir mi? Evet. vLLM, base_url parametresiyle OpenAI Python SDK'ya yönlendirilerek sorunsuz çalışır.

Quantization desteği var mı? Evet, AWQ, GPTQ ve bitsandbytes quantization desteklenir; bu sayede bellek gereksinimi düşürülür.

Birden fazla model aynı anda sunulabilir mi? Evet, LoRA ile birden fazla adaptör tek bir temel model üzerinde çalışma zamanında yönetilebilir.

vLLM ve Ollama arasındaki fark nedir? Ollama kullanıcı dostu kurulum ve yerel geliştirme için idealdir; vLLM yüksek eş zamanlılık ve üretim ölçeği için optimize edilmiştir.

Hangi lisansla dağıtılır? Apache 2.0 — ticari kullanım dahil herhangi bir kısıt olmaksızın kullanılabilir.

Kurulum tek satır: pip install vllm. Sanal ortamı uv ile kuranlar uv venv --python 3.12 ve uv pip install vllm ile daha hızlı sonuç alır. Paket CUDA 12 için derlenmiş tekerlerle gelir, yani makinede yeterince yeni bir NVIDIA sürücüsü bulunmalı; nvidia-smi çıktısındaki sürücü ve CUDA sürümünü kurulumdan önce kontrol edin.

Sunucuyu başlatmak için vllm serve Qwen/Qwen2.5-7B-Instruct --max-model-len 8192 yazın. Model Hugging Face'ten iner, ardından OpenAI uyumlu uçlar 8000 portunda açılır. Erişimi kapalı modellerde HF_TOKEN ortam değişkenini vermeniz gerekir.

İlk isteği curl ile atabilirsiniz: curl http://localhost:8000/v1/chat/completions -H "Content-Type: application/json" -d '{"model":"Qwen/Qwen2.5-7B-Instruct","messages":[{"role":"user","content":"Merhaba"}]}'. Python tarafında mevcut kodunuzu değiştirmenize gerek yok; OpenAI istemcisini base_url="http://localhost:8000/v1" ve api_key="EMPTY" ile kurmanız yeterli.

Docker tercih edenler için: docker run --gpus all --ipc=host -p 8000:8000 vllm/vllm-openai:latest --model Qwen/Qwen2.5-7B-Instruct. Buradaki --ipc=host atlanırsa paylaşımlı bellek yetmez ve çok işlemcili yükleme sırasında hata alırsınız.

İkisi aynı işi yapmıyor. Ollama tek kişinin makinesinde model indirip çalıştırmak için tasarlandı; llama.cpp tabanlı olduğu için GGUF niceleme kullanır, CPU ve Apple Silicon'da da çalışır, kurulumu birkaç dakika sürer. vLLM ise sunucu tarafı bir servis motoru: aynı GPU üzerinde yüzlerce eş zamanlı isteği sıraya alır ve toplam verimi yüksek tutar.

Tek kişilik geliştirme, deneme, dizüstü bilgisayar ya da GPU'suz makine söz konusuysa Ollama. Kullanıcıya açık bir ürün, çağrı merkezi, toplu belge işleme veya saniyede onlarca istek varsa vLLM. Kararsız kaldığınızda tek soru yeter: aynı anda kaç istek işleyeceksiniz? Tek haneli sayılarda fark hissedilmez, onlu sayılara çıkıldığında continuous batching farkı belirgin hale gelir.

Maliyet tarafı daha da basit. Saatlik kiralanan bir GPU'nun ücreti sabittir, dolayısıyla saatte işlediğiniz token sayısı arttıkça bin token başına maliyet düşer. Aynı kartta iki kat throughput, birim maliyeti yarıya indirir. Ollama'nın bu senaryodaki zaafı sınırlı eş zamanlılık, vLLM'in zaafı ise NVIDIA GPU ve Linux bağımlılığıdır.