Unsloth

#Unsloth #FineTuning #QLoRA #VRAM #CUDA #LLM

LLM ince ayarını 2-5× hızlandıran ve %70 VRAM tasarrufu sağlayan açık kaynaklı Python kütüphanesi.

Unsloth, büyük dil modellerinin ince ayarını (fine-tuning) 2-5× daha hızlı ve %70 daha az VRAM kullanarak gerçekleştiren açık kaynaklı bir Python kütüphanesidir. HuggingFace TRL ile tam uyumlu çalışan Unsloth, özel CUDA çekirdekleriyle Llama, Mistral ve Gemma gibi popüler model aileleri için optimize edilmiş QLoRA ve SFT desteği sunar.

bolt Unsloth Nasıl Hızlandırır?

Unsloth, attention hesaplama ve backpropagation için özel Triton/CUDA kernel'ları yeniden yazar. Flash Attention 2'yi entegre eder; gradient checkpointing'i bellek-hız dengesi için optimize eder. Quantization (4-bit, 8-bit) katmanlarını özel kernel'larla hızlandırır. Bu sayede HuggingFace standart eğitimine göre 2-5× daha hızlı ve %70 daha az VRAM ile aynı kalitede model üretir.

Desteklenen Senaryolar

model_training QLoRA Fine-tuning

4-bit quantized modeli LoRA adaptörleriyle ince ayar. En az VRAM ile en yüksek verimlilik. Tüketici GPU için ideal.

thumbs_up_down DPO / ORPO

Tercih tabanlı eğitim yöntemleri TRL entegrasyonuyla desteklenir. Hizalama odaklı fine-tuning.

laptop_chromebook Colab / Kaggle

Ücretsiz GPU ile çalışan hazır notebook'lar. A100 olmadan 7B fine-tuning mümkün.

Unsloth'un Temel Özellikleri

  • check_circle El Yazımı CUDA Çekirdekleri: PyTorch'un jenerik operatörleri yerine dikkat hesabı ve geri yayılım için optimize edilmiş özel CUDA çekirdekleri. Bellek bant genişliğini minimuma indirir.
  • check_circle 2× Hızlanma: QLoRA ince ayarında standart Hugging Face + PEFT'e kıyasla yaklaşık 2× eğitim hızlanması. Flash Attention 2 ile entegrasyon.
  • check_circle %60 Daha Az VRAM: Aktivasyon yeniden hesaplama ve bellek verimliliği optimizasyonlarıyla aynı modeli çok daha az GPU belleğiyle ince ayar yapma imkânı.
  • check_circle Geniş Model Desteği: LLaMA 3, Mistral, Phi, Qwen, Gemma, Deepseek dahil yaygın açık ağırlıklı modeller. Hugging Face transformers kütüphanesiyle uyumlu.
  • check_circle Kayıpsız Eğitim: Hız optimizasyonları doğruluğu bozmaz; tamamen standart Hugging Face eğitimiyle aynı model ağırlıklarını üretir.
  • check_circle Google Colab Uyumluluğu: T4 GPU'lu ücretsiz Colab'da 70B modele kadar ince ayar imkânı. Tüketici GPU'larında LLM eğitimini demokratikleştiriyor.

Unsloth ile Pratik LLM İnce Ayarı

Unsloth, tüketici donanımında LLM ince ayarının önündeki temel engelleri —bellek ve hız— kaldıran açık kaynaklı bir kütüphanedir. Tipik kullanım senaryosu: 16GB VRAM'li tek bir NVIDIA RTX 3090 veya 4090 ile LLaMA 3.1 8B modelini özel alan verisiyle ince ayar yapmak. Unsloth + QLoRA + 4-bit quantization kombinasyonu bu senaryoyu 8-12 saat içinde tamamlanabilir hale getirir. Google Colab entegrasyonu özellikle değerlidir: ücretsiz T4 GPU'da Unsloth ile 7B model ince ayarı mümkündür; Unsloth'un resmi Colab notebook'ları doğrudan kullanılabilir. Hugging Face PEFT ile karşılaştırma: standart QLoRA eğitiminizin başına birkaç satır Unsloth kodu eklemek yeterli, geri kalan pipeline aynı kalır. `from unsloth import FastLanguageModel` ile başlayan entegrasyon minimal kod değişikliği gerektirir. Sınırlamalar: yalnızca NVIDIA GPU (CUDA) desteklenir; Apple Silicon veya AMD GPU'lar için alternatif araçlar gerekebilir.

quiz Sık Sorulan Sorular

  • check_circle TRL ile farkı nedir?: TRL resmi HuggingFace kütüphanesidir; Unsloth onun üzerine inşa edilir. Unsloth kernel optimizasyonları ekler; API uyumlu, geçiş kolaydır.
  • check_circle Nasıl kurulur?: `pip install unsloth` ardından `from unsloth import FastLanguageModel` ile başlanır. Colab için hazır notebook'lar GitHub'da mevcuttur.
  • check_circle Hangi modeller desteklenir?: Llama 3.x, Mistral, Gemma, Phi-3/4, Qwen2/3, Deepseek ve diğerleri. Model listesi düzenli güncellenir.
  • check_circle Unsloth nedir?: LLM ince ayarını (fine-tuning) daha hızlı ve daha az GPU belleğiyle gerçekleştiren, el yazımı CUDA çekirdekleriyle optimize edilmiş açık kaynaklı Python kütüphanesidir.
  • check_circle Unsloth standart PEFT/QLoRA'dan ne kadar hızlı?: Yaklaşık 2× daha hızlı eğitim ve %60 daha az VRAM kullanımı raporlanmaktadır. Gerçek kazanım modele, batch boyutuna ve donanıma göre değişir.
  • check_circle Unsloth nasıl kullanılır?: `pip install unsloth` ile kurulur. `from unsloth import FastLanguageModel` ile model yüklenir; gerisi standart Hugging Face eğitim döngüsüyle aynıdır. Resmi Colab notebook'ları hızlı başlangıç için idealdir.
  • check_circle Unsloth Apple Silicon'da çalışır mı?: Hayır, Unsloth yalnızca CUDA uyumlu NVIDIA GPU'larda çalışır. Apple Silicon için MLX tabanlı çerçeveler veya llama.cpp daha uygun alternatiflerdir.