tag Unsloth

Bu sayfada Unsloth etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

Unsloth, büyük dil modellerinin (LLM) ince ayarını standart yöntemlere kıyasla 2-5× daha hızlı ve yaklaşık %70 daha az GPU belleği (VRAM) kullanarak gerçekleştiren açık kaynaklı bir Python kütüphanesidir. Daniel Han tarafından 2023 yılında geliştirilen Unsloth, HuggingFace'in TRL (Transformer Reinforcement Learning) kütüphanesiyle tam uyumlu çalışır; mevcut eğitim betiklerine minimum kod değişikliğiyle entegre edilebilir. Kütüphanenin temel performans kazanımı, dikkat (attention) hesabı ve geri yayılım (backpropagation) için el ile yazılmış Triton/CUDA kernel'larından kaynaklanır. PyTorch'un genel amaçlı operatörleri yerine bellek bant genişliğini optimize eden bu özel çekirdekler, QLoRA (4-bit Quantized Low-Rank Adaptation) ve tam ince ayar (SFT) senaryolarında belirgin hız ve verimlilik artışı sunar. Flash Attention 2 entegrasyonu, aktivasyon yeniden hesaplama (gradient checkpointing) ve bellek havuzu optimizasyonları da ek tasarruf katkısı sağlar. Bu katmanlı yaklaşımla aynı model, çok daha küçük bir GPU üzerinde veya çok daha büyük bir batch boyutuyla eğitilebilir hale gelir. Desteklenen model aileleri arasında Llama 3.x, Mistral, Gemma, Phi-3/4, Qwen 2/3 ve DeepSeek yer alır. Tüketici sınıfı GPU'lar (RTX 3090, 4090, L4) üzerinde 7-70 milyar parametreli modellerin ince ayarını mümkün kılan Unsloth, ücretsiz Colab ve Kaggle ortamlarıyla da sorunsuz çalışır. DPO (Direct Preference Optimization), ORPO ve SFT gibi hizalama odaklı eğitim yöntemleri de tam desteklenir. Unsloth, kurumsal GPU altyapısına sahip olmayan araştırmacıların ve küçük ekiplerin alan spesifik modeller geliştirmesini demokratikleştirir. Apache 2.0 lisansıyla dağıtılan kütüphane, aktif bir açık kaynak topluluğu tarafından geliştirilmeye devam etmektedir. Eğitim sonrası modeller GGUF formatına (llama.cpp uyumu için) veya vLLM'e uyumlu biçimde dışa aktarılabilir. DeepSpeed, Axolotl ve LLaMA Factory gibi alternatif çerçeveler benzer yetenekler sunarken, Unsloth'un TRL uyumluluğu ve düşük kurulum eşiği hızlı deneme döngüleri için onu öne çıkarır.

rocket_launch

Unsloth (Unsloth)

Unsloth, büyük dil modellerinin (LLM) ince ayarını standart yöntemlere kıyasla 2-5× daha hızlı ve yaklaşık %70 daha az GPU belleği (VRAM) kullanarak gerçekleştiren açık kaynaklı bir Python kütüphanesidir. Daniel Han tarafından 2023 yılında geliştirilen Unsloth, HuggingFace'in TRL (Transformer Reinforcement Learning) kütüphanesiyle tam uyumlu çalışır; mevcut eğitim betiklerine minimum kod değişikliğiyle entegre edilebilir. Kütüphanenin temel performans kazanımı, dikkat (attention) hesabı ve geri yayılım (backpropagation) için el ile yazılmış Triton/CUDA kernel'larından kaynaklanır. PyTorch'un genel amaçlı operatörleri yerine bellek bant genişliğini optimize eden bu özel çekirdekler, QLoRA (4-bit Quantized Low-Rank Adaptation) ve tam ince ayar (SFT) senaryolarında belirgin hız ve verimlilik artışı sunar. Flash Attention 2 entegrasyonu, aktivasyon yeniden hesaplama (gradient checkpointing) ve bellek havuzu optimizasyonları da ek tasarruf katkısı sağlar. Bu katmanlı yaklaşımla aynı model, çok daha küçük bir GPU üzerinde veya çok daha büyük bir batch boyutuyla eğitilebilir hale gelir. Desteklenen model aileleri arasında Llama 3.x, Mistral, Gemma, Phi-3/4, Qwen 2/3 ve DeepSeek yer alır. Tüketici sınıfı GPU'lar (RTX 3090, 4090, L4) üzerinde 7-70 milyar parametreli modellerin ince ayarını mümkün kılan Unsloth, ücretsiz Colab ve Kaggle ortamlarıyla da sorunsuz çalışır. DPO (Direct Preference Optimization), ORPO ve SFT gibi hizalama odaklı eğitim yöntemleri de tam desteklenir. Unsloth, kurumsal GPU altyapısına sahip olmayan araştırmacıların ve küçük ekiplerin alan spesifik modeller geliştirmesini demokratikleştirir. Apache 2.0 lisansıyla dağıtılan kütüphane, aktif bir açık kaynak topluluğu tarafından geliştirilmeye devam etmektedir. Eğitim sonrası modeller GGUF formatına (llama.cpp uyumu için) veya vLLM'e uyumlu biçimde dışa aktarılabilir. DeepSpeed, Axolotl ve LLaMA Factory gibi alternatif çerçeveler benzer yetenekler sunarken, Unsloth'un TRL uyumluluğu ve düşük kurulum eşiği hızlı deneme döngüleri için onu öne çıkarır.

arrow_forward