Model Weights (Model Ağırlıkları)

#model-agirliklari #nicemleme #llm #fine-tuning

Yapay sinir ağlarının eğitim sürecinde öğrendiği sayısal parametreler; modelin bilgi ve yeteneklerini kodlayan temel yapı taşları.

Model ağırlıkları (model weights), bir yapay sinir ağının eğitim süreci boyunca öğrendiği sayısal parametrelerdir. Her nöron bağlantısına atanan bu ağırlık değerleri, modelin girdi verilerini işleyip çıktı üretmesini sağlayan temel yapı taşlarıdır. Milyonlarca ya da milyarlarca ağırlık içeren büyük dil modellerinde (LLM) bu değerler, dildeki örüntüleri, bağlamı ve anlam ilişkilerini kodlar. Model ağırlıkları, geri yayılım (backpropagation) algoritması ve gradyan inişi (gradient descent) yöntemiyle güncellenir. Eğitim tamamlandığında ağırlıklar dondurulur ve çıkarım (inference) aşamasında sabit kalır. GPT-4, Llama 3 veya Mistral gibi modeller için ağırlık dosyaları genellikle PyTorch (.pt, .bin) veya SafeTensors formatında dağıtılır. Nicemleme (quantization) teknikleri, ağırlıkların temsil hassasiyetini azaltarak (FP32 → FP16 → INT8 → INT4) model boyutunu ve bellek kullanımını düşürür. Örneğin GGUF formatı, Llama.cpp ile yerel çalıştırma için 4-bit nicemleme uygular; bu sayede 70 milyar parametreli bir model, tüketici GPU'larında çalışabilir hale gelir. Model ağırlıklarının boyutu model kapasitesiyle doğrudan ilişkilidir: 7 milyar parametreli bir model FP16 formatında yaklaşık 14 GB, INT4 kuantizasyonla ise yaklaşık 4 GB disk alanı kaplar. Bu nedenle nicemleme, modelleri tüketici donanımında çalıştırmak için kritik bir teknik haline gelmiştir. Açık ağırlıklı modeller (LLaMA, Mistral, Qwen, Gemma) Hugging Face Model Hub üzerinden indirilerek yerel sunucularda veya kişisel bilgisayarlarda çalıştırılabilir. Kapalı modeller (GPT-4, Claude) ise yalnızca API üzerinden erişilebilir. LoRA gibi parametre etkin ince ayar yöntemleri, temel ağırlıkları dondurarak yalnızca küçük adaptör matrislerini eğitir; bu yaklaşım hesaplama maliyetini dramatik biçimde azaltırken yüksek kaliteli özelleştirme sağlar. Ağırlıkların güvenliği de kritik bir konudur: Pickle formatındaki PyTorch dosyaları zararlı kod içerebileceğinden SafeTensors formatı tercih edilmelidir. Hugging Face Hub'ın doğrulama mekanizmaları ve model kartları, ağırlıkların güvenilirliğini ve lisans koşullarını açık biçimde sunar.

Ağırlık Formatları ve Nicemleme

precision_manufacturing FP32 / BF16

Tam hassasiyetli ağırlıklar. Eğitimde kullanılır; yüksek bellek gerektirir. 70B model ≈ 140 GB (FP32).

speed FP16 / INT8

Yarı hassasiyet nicemleme. Çıkarım hızını artırır, bellek gereksinimini yarıya düşürür. Kalite kaybı minimum.

memory INT4 (GGUF)

4-bit nicemleme. Llama.cpp ve Ollama ile tüketici donanımında çalışma. 70B model ≈ 40 GB.

tune AWQ / GPTQ

Aktivasyon farkındalıklı nicemleme yöntemleri. Önemli ağırlıkları koruyarak hassasiyeti optimize eder.

loop Ağırlıkların Yaşam Döngüsü

Ağırlıklar rastgele başlatılır. Eğitim sırasında kayıp fonksiyonunu minimize edecek şekilde gradyan inişiyle güncellenir. Ön eğitim (pretraining) büyük korpuslarla temel ağırlıkları oluşturur; ince ayar (fine-tuning) bu ağırlıkları görev özelinde günceller. LoRA gibi parametre etkin ince ayar yöntemleri yalnızca küçük adaptör ağırlıklarını eğiterek temel ağırlıkları dondurur — bu sayede hesaplama maliyeti önemli ölçüde düşer.

Model Ağırlıklarının Temel Özellikleri

  • check_circle Veri Tipi ve Hassasiyet: Ağırlıklar genellikle FP32 (eğitim), FP16/BF16 (çıkarım), INT8 veya INT4 (kuantize) formatlarda saklanır. Daha düşük hassasiyet daha az bellek ve daha hızlı hesaplama, biraz daha az doğruluk anlamına gelir.
  • check_circle Parametre Sayısı ve Boyutu: 7B model FP16'da yaklaşık 14GB disk alanı kaplar. 70B model 140GB, 405B model ise yaklaşık 810GB yer tutar; bunlar kuantizasyon öncesi değerlerdir.
  • check_circle Checkpoint Dosya Formatları: PyTorch .pt/.pth, Hugging Face safetensors, GGUF (llama.cpp) ve ONNX yaygın formatlardır. Safetensors güvenlik açısından tercih edilen modern format.
  • check_circle Katman Yapısı: Ağırlıklar; dikkat başlıkları (QKV projeksiyon), FFN (feed-forward network) ve embedding katmanlarına bölünmüştür. Bu yapı LoRA ince ayarında hangi katmanların güncelleneceğini belirler.
  • check_circle Versiyonlama ve Şeffaflık: Açık ağırlıklı modeller (LLaMA, Mistral, Qwen) Hugging Face Model Hub'dan indirilebilir. Model kartı, eğitim verisi, lisans ve kullanım kısıtlamalarını içermelidir.
  • check_circle Güvenlik Açıkları: Pickled PyTorch dosyaları zararlı kod içerebilir. Bu nedenle güvenilir kaynaktan indirme ve safetensors formatı tercih edilmeli; modelscope ve Hugging Face doğrulama mekanizmaları kullanılmalıdır.

Model Ağırlıkları: Kuantizasyon ve Verimli Dağıtım

Model ağırlıkları, bir yapay sinir ağının 'beyin' analojisindeki bilgisini temsil eder; eğitim sırasında veriden öğrenilen tüm örüntüler bu parametrelerde kodlanmıştır. Kuantizasyon, ağırlıkların daha düşük hassasiyetli formatlara dönüştürülmesidir: GGUF Q4_K_M gibi 4-bit kuantizasyon 7B modeli ~4GB'a indirgerken kalite kaybı minimal düzeyde kalır. AWQ (Activation-aware Weight Quantization) ve GPTQ kuantizasyon kalitesini artıran modern yöntemlerdir. LoRA ince ayarı, tam model ağırlıklarını değil düşük ranklı adaptör matrislerini eğiterek parametre sayısının %0.1-1'i kadar ağırlıkla yüksek kaliteli uyarlama sağlar. Dağıtım açısından açık ağırlıklı modeller yerel çalıştırma, özel bulut ve ince ayar için tam kontrol sunar; ancak lisans koşulları (LLaMA community license, Apache 2.0 gibi) ticari kullanımı kısıtlayabilir. Hugging Face Model Hub, 500.000+ açık model ağırlığıyla dünyanın en büyük model deposu konumundadır.

quiz Sık Sorulan Sorular

  • check_circle Model ağırlıkları ve model mimarisi arasındaki fark nedir?: Mimari (transformer, katman sayısı, dikkat kafaları) sabit bir yapıyı tanımlarken; ağırlıklar eğitimle öğrenilen ve mimarinin içini dolduran sayısal değerlerdir.
  • check_circle Ağırlıkları açık kaynak modellerden indirebilir miyim?: Evet. Llama 3, Mistral, Gemma gibi modellerin ağırlıkları Hugging Face Hub üzerinden lisans koşullarına bağlı olarak indirilebilir.
  • check_circle Model ağırlıkları nedir?: Bir yapay sinir ağının eğitim sırasında öğrendiği sayısal parametrelerdir. Bu ağırlıklar modelin bilgi ve yeteneklerini kodlar; değiştirildiklerinde modelin davranışı değişir.
  • check_circle Model ağırlıkları kaç GB yer kaplar?: 7B model FP16'da ~14GB, INT4 kuantizasyonla ~4GB; 70B model FP16'da ~140GB, INT4'te ~35GB; 405B model FP16'da ~810GB kaplar. GGUF Q4 formatı yerleşik dağıtım için en pratik seçenektir.
  • check_circle Açık ağırlıklı model ile kapalı model arasındaki fark nedir?: Açık ağırlıklı (LLaMA, Mistral, Qwen) modeller indirilebilir ve yerel çalıştırılabilir; ince ayar ve özel dağıtım mümkündür. Kapalı modeller (GPT, Claude) yalnızca API üzerinden erişilebilir.
  • check_circle LoRA ağırlıkları nedir?: Tam model yerine düşük ranklı adaptör matrislerini eğiten LoRA yöntemi, parametrelerin %0.1-1'ini güncelleyerek kaynak verimli ince ayar sağlar. LoRA ağırlıkları orijinal model üzerine birleştirilerek veya ayrı tutularak kullanılabilir.