storage GGUF Neden Önemli?
GGUF'tan önce GGML formatı kullanılıyordu; değiştirilmesi zor bir yapısı vardı. GGUF, bu sorunları çözmek için geliştirildi. En kritik özelliği: 4-bit, 5-bit ve 8-bit kuantizasyon (quantization) desteği. Llama 3 70B gibi normalde 140 GB yer kaplayan modeller, 4-bit GGUF ile 40 GB'a düşer ve tüketici GPU'larında çalışabilir hâle gelir.
Kuantizasyon Seviyeleri
compress Q4_K_M
Hem boyut hem kalite dengesi için en yaygın tercih. 7B model ≈4.5 GB.
high_quality Q8_0
Daha yüksek doğruluk, daha büyük dosya; güçlü GPU'lar için tercih edilir.
bolt Q2_K
Maksimum küçültme; ciddi kalite kaybıyla birlikte gelir. Yalnızca kaynak kısıtlı ortamlar için.
GGUF ile Model Çalıştırma Araçları
- check_circle llama.cpp: GGUF'un Ana Çalıştırma Motoru: Georgi Gerganov tarafından geliştirilen C/C++ uygulaması; GGUF formatını CPU'da (ve opsiyonel GPU yükleme ile) verimli çalıştırır. OpenBLAS, BLAS ve Metal (Apple Silicon) optimizasyonlarıyla tüketici donanımında kabul edilebilir hız sağlar. REST API server modunda Open WebUI ve diğer istemcilerle kullanılabilir.
- check_circle Ollama: GGUF'u Kolaylaştıran Sarmalayıcı: Ollama, llama.cpp altyapısını kullanan kullanıcı dostu CLI uygulaması. `ollama pull llama3.2` komutu modeli indirir ve çalıştırmaya hazır hale getirir. Ollama Hub'ındaki modeller zaten GGUF formatındadır; kullanıcının kuantizasyon seviyesini seçmesine de olanak tanır.
- check_circle LM Studio ve Jan: LM Studio: macOS, Windows ve Linux için grafik arayüzlü yerel LLM uygulaması. Hugging Face Hub'dan GGUF model indirme, sohbet arayüzü ve OpenAI uyumlu API sunucusu içerir. Jan: açık kaynaklı, LM Studio alternatifi; benzer özellikler, farklı kullanıcı arayüzü.
- check_circle Hugging Face Hub'dan GGUF İndirme: TheBloke ve bartowski gibi topluluk hesapları Hugging Face Hub'da popüler modellerin GGUF versiyonlarını yayımlar. `huggingface-cli download` veya Ollama'nın `FROM` komutuyla belirli bir kuantizasyon seviyesi seçilerek indirme yapılabilir. Model kartında kuantizasyon değerlerinin kalite karşılaştırması genellikle tablo halinde sunulur.
GGUF Kuantizasyon Seviyesi Seçim Rehberi
GGUF dosyaları farklı kuantizasyon seviyeleriyle gelir; seçim donanım kapasitesi ve kalite-hız dengesine göre yapılır. Q2_K: en küçük boyut (~1.5 bit/ağırlık); belirgin kalite kaybı. Yalnızca bellek çok kısıtlıysa tercih edilir. Q4_K_M: dört bit, medyan varyant (~4.8 bit/ağırlık). Kalite-boyut dengesi açısından en popüler seçim; çoğu kullanım senaryosunda önerilen başlangıç noktası. Q6_K: altı bit; kaliteye yakın, tam boyuttan küçük. Güçlü RAM'e sahip sistemlerde (64 GB+) tercih edilir. Q8_0: sekiz bit; tam hassasiyete çok yakın. En yüksek kalite ama en büyük boyut; hız farkı minimal. F16/F32: tam hassasiyet; GPU eğitim veya hassas inference için. Pratik kural: mevcut RAM'in %75'ine sığan en yüksek Q seviyesini seç. Örnek: 16 GB RAM için 8B modellik Q4_K_M (~5 GB) veya Q6_K (~7 GB) uygun.
quiz Sık Sorulan Sorular
- check_circle GGUF dosyaları nereden indirilebilir?: HuggingFace'de "TheBloke" ve "bartowski" gibi kullanıcılar popüler modellerin GGUF sürümlerini yayınlar.
- check_circle Ollama GGUF kullanır mı?: Evet. Ollama arka planda llama.cpp kullanır ve GGUF formatındaki modelleri destekler.
- check_circle GGUF dosyası nedir?: GGUF (GPT-Generated Unified Format), yerel AI model çalıştırma için optimize edilmiş model ağırlığı dosya formatıdır. Önceki GGML formatının halefi; meta veri, kuantizasyon bilgisi ve model ağırlıklarını tek dosyada birleştirir. llama.cpp, Ollama ve LM Studio bu formatı kullanır.
- check_circle Q4_K_M ve Q8_0 arasındaki fark nedir?: Q4_K_M: 4-bit kuantizasyon, medyan kalite varyantı; dosya boyutu yaklaşık 4-5 GB (8B model için). Q8_0: 8-bit kuantizasyon; tam hassasiyete çok yakın kalite; dosya boyutu yaklaşık 8-9 GB (8B model için). Q8_0 daha iyi kalite ama iki kat büyük. RAM kısıtlıysa Q4_K_M, kalite öncelikliyse Q8_0 tercih edin.