Float16 / BFloat16 (Float16 / BFloat16)

#Float16 #BFloat16 #MixedPrecision #GPU #DeepLearning #Quantization

Float16 (FP16) ve BFloat16 (BF16), derin öğrenme modellerinde ağırlıkları ve aktivasyonları depolamak için kullanılan 16-bit kayan noktalı sayı formatlarıdır.

Float16 (FP16) ve BFloat16 (BF16), derin öğrenme modellerinde ağırlıkları ve aktivasyonları depolamak için kullanılan 16-bit kayan noktalı sayı formatlarıdır. 32-bit (FP32) formata kıyasla bellek tüketimini ve hesaplama süresini yarıya indirirken makul doğruluk sağlar.

compare FP32, FP16 ve BF16 Farkı

FP32 her sayı için 32 bit (4 byte) kullanır. FP16 bunu 16 bite indirir: 1 işaret, 5 üs, 10 kesir biti. BF16 ise Google Brain tarafından geliştirilen ve FP32 ile aynı üs aralığına sahip 16-bit format: 1 işaret, 8 üs, 7 kesir biti. BF16'nın geniş dinamik aralığı, eğitim sırasında sayısal taşma (overflow) ve alt-taşma (underflow) sorunlarını azaltır; bu nedenle LLM eğitiminde FP16'dan daha yaygın tercih edilir.

Kullanım Senaryoları

model_training Model Eğitimi

Mixed precision (karışık hassasiyet) eğitimde ağırlıklar FP32, hesaplamalar BF16 tutulur.

bolt Çıkarım (Inference)

FP16/BF16 ile model çıkarımı FP32'ye kıyasla 2x daha hızlı ve yarı bellek kullanır.

compress Quantization

FP16/BF16'dan INT8 veya INT4'e daha küçük hassasiyete indirme; Ollama ve llama.cpp'de yaygın.

quiz Sık Sorulan Sorular

  • check_circle Hangi GPU'lar BF16 destekler?: NVIDIA Ampere (A100, RTX 3090+) ve Google TPU'lar donanımsal BF16 desteğiyle gelir.
  • check_circle BF16 mı yoksa FP16 mı seçmeliyim?: Modern GPU ve TPU'larda BF16 genellikle daha iyi tercihdir. Eski donanım veya Apple MPS için FP16 tercih edilebilir.