Nunchaku Lite ile Diffusers'da 4-bit Görüntü Üretimi: Hızlı ve Bellek Dostu
Hugging Face Diffusers kütüphanesi, Nunchaku Lite entegrasyonuyla 4-bit ağırlık ve aktivasyon (W4A4) kuantizasyonunu destekliyor. Bu sayede FLUX, ERNIE-Image-Turbo gibi modeller %50'ye varan bellek tasarrufu ve %30 hız artışıyla çalıştırılabiliyor. Kuantize modeller tek satır kodla yüklenebiliyor.
Nunchaku Lite Nedir?
Yapay zeka görüntü üretim modelleri, yüksek kaliteli sonuçlar için genellikle büyük bellek ve işlem gücü gerektirir. Hugging Face'in Diffusers kütüphanesine eklenen Nunchaku Lite desteği, bu sorunu 4-bit kuantizasyon (quantization) ile çözüyor. Nunchaku, SVDQuant adlı bir yöntem kullanarak hem ağırlıkları (weights) hem de aktivasyonları (activations) 4-bit'e indirger (W4A4). Bu, bellek kullanımını yarıya indirirken, aynı zamanda gürültü giderme (denoising) döngüsünü hızlandırır. Önceki sürümlerde bu tür modeller ayrı bir kütüphane gerektiriyordu; şimdi ise `from_pretrained()` ile doğrudan yüklenebiliyor. Örneğin, ERNIE-Image-Turbo modelinin NVFP4 kuantize versiyonu, bir RTX 5090 GPU'da 1024x1024 çözünürlükte bir görüntüyü yaklaşık 1.7 saniyede üretirken, bellek kullanımı 12 GB civarında kalıyor. Aynı modelin BF16 versiyonu ise 24 GB bellek tüketiyor. Bu, özellikle sınırlı VRAM'e sahip kullanıcılar için büyük bir avantaj.
Nasıl Çalışır?
Nunchaku Lite, Diffusers içindeki standart `nn.Linear` katmanlarını çalışma zamanında SVDQ veya AWQ doğrusal katmanlarıyla değiştirir. Bu işlem, kullanıcıya herhangi bir özel işlem veya derleme yükü getirmez. Kuantize edilmiş kontrol noktaları (checkpoints), normal Diffusers depoları olarak yayınlanır ve tek fark, `config.json` içinde bir `quantization_config` bloğu bulunmasıdır. Bu blok, hangi modüllerin kuantize edildiğini, hangi şemanın kullanıldığını (SVDQW4A4Linear veya AWQW4A16Linear) ve grup boyutları gibi parametreleri belirtir. Bu yapı sayesinde zamanlayıcılar (schedulers), LoRA yükleme kancaları (hooks), bellek boşaltma (offloading) ve `torch.compile` gibi tüm Diffusers özellikleri sorunsuz çalışır. Ayrıca, Nunchaku Lite, NVIDIA Volta ve Hopper GPU'larını desteklemez; bu GPU'larda çalıştırılmaya çalışıldığında net bir hata mesajı verilir.
Hız ve Bellek Kazanımları
Nunchaku Lite, özellikle NVIDIA Blackwell tabanlı GPU'larda (RTX 50 serisi, RTX PRO 6000, B200) NVFP4 hassasiyetiyle en iyi performansı sunar. Eski nesil GPU'lar için INT4 varyantları mevcuttur. Yapılan testlerde, 1024x1024 çözünürlükte bir görüntü üretimi, BF16 tabanlı modele göre %50 daha az bellek (12 GB vs 24 GB) ve yaklaşık %30 daha kısa sürede (1.7 saniye) tamamlanmıştır. `torch.compile` ile bu hız artışı 1.8 kata kadar çıkabilir. Ayrıca, metin kodlayıcı (text encoder) bitsandbytes NF4 ile kuantize edilerek ek bellek tasarrufu sağlanabilir. Örneğin, FLUX.2 Klein 4B modelinde, metin kodlayıcının NF4 kuantizasyonu, tepe VRAM kullanımını yaklaşık %22 azaltır. Bu optimizasyonlar, özellikle tek GPU'lu sistemlerde büyük modelleri çalıştırmayı mümkün kılar.
Kendi Modelinizi Kuantize Edin
Diffusers ekibi, `diffuse-compressor` adlı bir araç seti sunuyor. Bu araçla, FLUX.2 Klein 4B gibi modelleri adım adım kuantize edebilir, paketleyebilir ve Hugging Face Hub'a yükleyebilirsiniz. İşlem, modeli inceleme, kalibrasyon, kuantizasyon ve dönüştürme aşamalarını içerir. Kuantize edilmiş model, diğer kullanıcılar tarafından `from_pretrained()` ile yüklenebilir. Ancak, maksimum hız için orijinal Nunchaku motorunun yaptığı gibi yapısal yeniden yazma (structural rewrite) gerekebilir; bu da model özel hedef yapılandırması (target config) ve çalışma zamanı bağdaştırıcısı (runtime adapter) gerektirir. Örneğin, FLUX.1-dev modelinde Q, K, V projeksiyonları ayrı katmanlar olarak tanımlanmışken, Nunchaku bunları tek bir `to_qkv` katmanında birleştirir. Bu tür bir yeniden yazma, genel yol tarafından otomatik olarak yapılamaz, ancak model özel hedef yapılandırması ile mümkündür.
Neden Önemli?
Nunchaku Lite entegrasyonu, özellikle Türkiye'deki yapay zeka araştırmacıları ve geliştiricileri için önemli bir adım. Sınırlı donanım kaynaklarına sahip kullanıcılar, artık yüksek kaliteli görüntü üretim modellerini daha düşük maliyetle çalıştırabilecek. Ayrıca, açık kaynak ekosisteme katkıda bulunmak isteyenler, kendi modellerini kuantize ederek toplulukla paylaşabilir. Bu, hem erişilebilirliği artırır hem de yerel yapay zeka çözümlerinin gelişmesine katkı sağlar. Türkçe dil desteği ve yerel veri kümeleriyle çalışan modellerin kuantize edilmesi, Türkiye'deki kullanıcıların daha hızlı ve verimli çözümler geliştirmesine olanak tanır. Ayrıca, bu teknoloji sayesinde daha düşük bütçeli projeler bile büyük ölçekli modelleri deneyebilir.
