tag INT4
Bu sayfada INT4 etiketi ile işaretlenmiş 2 yapay zeka kavramını bulabilirsiniz.
AWQ (Activation-aware Weight Quantization — Aktivasyon Duyarlı Ağırlık Kuantizasyonu), büyük dil modellerini INT4 bit genişliğinde saklarken kalite kaybını en aza indiren bir ağırlık kuantizasyon yöntemidir. MIT CSAIL tarafından 2023'te önerilen AWQ, aktivasyon dağılımını analiz ederek hangi ağırlıkların hassas korunması gerektiğini belirler ve GPTQ'ya kıyasla daha hızlı çıkarım sunarken benzer kaliteyi korur.
AWQ (Aktivasyon Duyarlı Ağırlık Kuantizasyonu)
AWQ (Activation-aware Weight Quantization — Aktivasyon Duyarlı Ağırlık Kuantizasyonu), büyük dil modellerini INT4 bit genişliğinde saklarken kalite kaybını en aza indiren bir ağırlık kuantizasyon yöntemidir. MIT CSAIL tarafından 2023'te önerilen AWQ, aktivasyon dağılımını analiz ederek hangi ağırlıkların hassas korunması gerektiğini belirler ve GPTQ'ya kıyasla daha hızlı çıkarım sunarken benzer kaliteyi korur.
GPTQ (İkinci Dereceden LLM Kuantizasyonu)
GPTQ, büyük dil modellerini INT4 veya INT8 bit genişliğine kuantize etmek için ikinci dereceden bilgi (Hessian matrisini) kullanan bir ağırlık kuantizasyon algoritmasıdır. 2022'de Frans Frantar ve ekibi tarafından önerilen GPTQ; model ağırlıklarını katman katman, küçük bloklar hâlinde işler ve her bloktaki kuantizasyon hatasını gradyan tabanlı tekniklerle en aza indirir. GPTQ, küçük bir kalibrasyon veri setiyle çalışır ve tek geçişte kuantizasyonu tamamlar; büyük modeller için pratik bir INT4 çözümü sunar. GPT-2 ölçeğinden 175B parametreli modellere kadar genişletilebilen algoritma, orijinal modelden yaklaşık %2-4 kalite kaybıyla 4× bellek tasarrufu sağlar. Bu özellik, 70B parametreli modellerin tüketici sınıfı GPU'larında (24 GB VRAM) çalıştırılmasını mümkün kılar. GPTQ destekleyen kütüphaneler arasında AutoGPTQ, ExLlamaV2, vLLM ve llama.cpp sayılabilir. HuggingFace Hub'da '*-GPTQ' etiketi taşıyan binlerce model mevcuttur. AWQ ile kıyaslandığında GPTQ daha yavaş çıkarım hızı sunabilse de bazı senaryolarda daha yüksek kalite koruması gözlemlenir. EXL2 formatı GPTQ'nun gelişmiş bir versiyonudur; farklı katman hassasiyetleri için karışık bit genişliği destekler.