tag PagedAttention
Bu sayfada PagedAttention etiketi ile işaretlenmiş 2 yapay zeka kavramını bulabilirsiniz.
KV Cache (Key-Value Cache — Anahtar-Değer Önbelleği), transformer tabanlı dil modellerinin otomatik regresif çıkarımında hesaplanmış dikkat anahtarı (Key) ve değer (Value) matrislerini yeniden hesaplamamak için bellekte saklayan bir optimizasyon mekanizmasıdır. Her yeni token üretiminde daha önce işlenen tüm tokenler için bu matrisler zaten mevcuttur; yalnızca yeni token için hesaplanması gerekir. Bu sayede çıkarım O(n²)'den O(n)'e indirilir. KV cache; VRAM tüketimi ve bağlam uzunluğu skalasını etkileyen kritik bir bileşendir.
KV Cache (Anahtar-Değer Önbelleği)
KV Cache (Key-Value Cache — Anahtar-Değer Önbelleği), transformer tabanlı dil modellerinin otomatik regresif çıkarımında hesaplanmış dikkat anahtarı (Key) ve değer (Value) matrislerini yeniden hesaplamamak için bellekte saklayan bir optimizasyon mekanizmasıdır. Her yeni token üretiminde daha önce işlenen tüm tokenler için bu matrisler zaten mevcuttur; yalnızca yeni token için hesaplanması gerekir. Bu sayede çıkarım O(n²)'den O(n)'e indirilir. KV cache; VRAM tüketimi ve bağlam uzunluğu skalasını etkileyen kritik bir bileşendir.
vLLM (vLLM)
vLLM, UC Berkeley'de geliştirilen ve LLM çıkarımında yüksek throughput ile bellek verimliliği sağlayan açık kaynaklı bir servis kütüphanesidir. Temel yeniliği PagedAttention, KV cache'i işletim sistemi sanal bellek yönetiminden ilham alarak idare eder; continuous batching ile birlikte standart HuggingFace Transformers'a kıyasla 24× daha yüksek throughput sağlayabilir.