HuggingFace Transformers ile vLLM'de Yerli Hızda Model Çalıştırma
HuggingFace, Transformers kütüphanesini vLLM'de model arka ucu olarak kullanarak, herhangi bir uyumlu modeli elle kod yazmadan yüksek performansla çalıştırmayı sağlıyor. Yeni güncelleme ile Qwen3 modellerinde yerli vLLM hızına ulaşıldı.
Transformers ve vLLM Entegrasyonu
Makine öğrenimi dünyasında referans modelleme kütüphanesi haline gelen Transformers, 450'den fazla mimariyi tutarlı API'lerle destekliyor. HuggingFace, geçen yıl vLLM'de Transformers'ı bir model arka ucu (modeling backend) olarak entegre ederek, model yazarlarının hiçbir taşıma işlemi yapmadan Transformers modellerini vLLM içinde çalıştırmasına olanak tanıdı. Bu entegrasyon, Transformers'ın modelleme kodunu sağlaması, vLLM'nin ise sürekli toplu işleme (continuous batching) ve özel dikkat çekirdekleri (custom attention kernels) gibi son derece optimize edilmiş çıkarım tekniklerini sunmasıyla çalışıyor. vLLM, FlashAttention ve PagedAttention gibi yenilikçi dikkat mekanizmalarını kullanarak bellek kullanımını optimize eder ve bu sayede büyük modelleri daha düşük gecikmeyle çalıştırabilir. Transformers model arka ucu, bu avantajları otomatik olarak devralır.
Yeni Güncelleme ile Gelen Performans İyileştirmeleri
En son güncelleme, Transformers model arka ucunu vLLM'nin el yazması yerel uygulamalarıyla (native implementations) kafa kafaya karşılaştırıyor. Testler, üç farklı Qwen3 modeli üzerinde yapıldı: tek GPU'da 4B yoğun model, tensör paralelliği (tensor parallelism) ile 32B yoğun model ve 8×H100 düğümünde veri + uzman paralelliği (data + expert parallelism) ile 235B parametreli FP8 Uzman Karışımı (Mixture-of-Experts - MoE). Sonuçlar, uyumlu modellerde yerel vLLM çıkarım hızına ulaşıldığını gösteriyor. Örneğin, 4B modelde Transformers arka ucu, yerel vLLM uygulamasıyla neredeyse birebir aynı işleme hızını (throughput) sağlarken, 235B MoE modelinde uzman paralelleştirme sayesinde bellek yükü dengelenmiş ve çıkarım gecikmesi minimize edilmiştir. Bu başarı, vLLM'nin özel çekirdeklerinin (örneğin, fused MoE kernel) Transformers modeline dinamik olarak uygulanmasıyla elde edilmiştir.
Teknik Detaylar: Grafik Analizi ve Kod Manipülasyonu
Transformers model arka ucu, artık modelin hesaplama grafiğinde statik analiz yapmak için torch.fx kullanıyor. Bu süreç, optimize edilebilecek bilinen desenleri arar; örneğin, çoklu doğrusal katmanların (linear layers) birleştirilmesi veya dikkat mekanizmalarının vLLM'nin özel çekirdeklerine yönlendirilmesi. Desenler belirlendikten sonra, soyut sözdizimi ağacı (abstract syntax tree - AST) kullanılarak kaynak kod manipüle edilir ve bazı işlemler yeniden yazılır. Bu sayede, Uzman Paralelleştirme (Expert Parallelization - EP) gibi işlemler için vLLM'nin ultra optimize edilmiş çekirdeklerine çoktan bire eşlenen birleştirilmiş işlemler (fused operations) elde edilir. Ayrıca, MergedColumnParallelLinear ve QKVParallelLinear gibi bloklar sayesinde tensör paralelliği (TP) ve boru hattı paralelliği (pipeline-parallel - PP) planları otomatik olarak çıkarılır. Manipüle edilen modeller, torch.compile ve CUDA Graphs ile tamamen derlenebilir durumda kalır; bu da yerel vLLM uygulamalarıyla aynı düzeyde performans sağlar.
Kullanım Kolaylığı ve Uyumluluk
Herhangi bir HuggingFace modelini Transformers model arka ucu ile çalıştırmak için tek bir bayrak yeterli: `--model-impl transformers`. Bu, olağan paralellik seçenekleriyle birleşir ve sunucu kurulumunda hiçbir şey değişmez. Örneğin:
- `vllm serve Qwen/Qwen3-4B --model-impl transformers`
- `vllm serve Qwen/Qwen3-32B --model-impl transformers --tensor-parallel-size 2`
- `vllm serve Qwen/Qwen3-235B-A22B-FP8 --model-impl transformers --data-parallel-size 8 --enable-expert-parallel`
Doğrusal dikkat (linear attention) kullanan modeller şu an desteklenmiyor, ancak yakında eklenecek. Hub deposunda yaşayan özel modeller ise uyumlu yazılmadıkları için çalışmayabilir. Bununla birlikte, Transformers model kodunun eğitimde de kullanılabilmesi, aynı kod tabanıyla eğitim, değerlendirme ve pekiştirmeli öğrenme (RL) çalışmalarını birleştirme imkanı tanır. Bu, özellikle ince ayar (fine-tuning) ve RLHF (Reinforcement Learning from Human Feedback) süreçlerinde büyük avantaj sağlar.
Neden Onemli?
Bu gelişme, Türkiye'deki yapay zeka araştırmacıları ve mühendisleri için büyük bir fırsat sunuyor. Özellikle büyük dil modelleri (LLM) üzerinde çalışan ekipler, model optimizasyonu için harcanan zamanı azaltarak doğrudan uygulama geliştirmeye odaklanabilir. Türkçe doğal dil işleme (NLP) projelerinde, örneğin Türkçe LLM'lerin çıkarımı için bu entegrasyon sayesinde, mevcut Transformers modelleri hiçbir değişiklik yapılmadan vLLM üzerinde yüksek performansla çalıştırılabilir. Ayrıca, kaynakların daha verimli kullanılmasını sağlarken, yüksek performanslı çıkarım için ek kod yazma ihtiyacını ortadan kaldırıyor. Bu, özellikle sınırlı GPU kaynaklarına sahip araştırma grupları için maliyet ve zaman tasarrufu anlamına geliyor. HuggingFace'in bu adımı, yapay zeka modellerinin daha erişilebilir ve verimli hale gelmesine katkıda bulunuyor.
