Gradient Checkpointing (Gradyan Kontrol Noktası)

#bellek-optimizasyonu #egitim-teknikleri #pytorch #fine-tuning

Derin sinir ağı eğitiminde GPU bellek kullanımını azaltmak için ileri geçişteki ara aktivasyonları saklamak yerine geri yayılım sırasında yeniden hesaplayan bellek optimizasyon tekniği.

Gradient checkpointing (Türkçe: gradyan kontrol noktası, aynı zamanda activation checkpointing olarak da bilinir), derin öğrenme modellerini sınırlı GPU belleğiyle eğitmeyi mümkün kılan kritik bir bellek optimizasyon tekniğidir. Geleneksel geri yayılım (backpropagation) algoritmasında, sinir ağının ileri geçişi (forward pass) sırasında her katmanda üretilen ara aktivasyonların tamamı bellekte saklanır. Bunun nedeni, geri yayılım aşamasında gradyanları hesaplamak için bu değerlere ihtiyaç duyulmasıdır. Ne var ki GPU belleği (VRAM) sınırlıdır; büyük ve derin modellerde bu durum bellek yetersizliğine (out-of-memory hatası) yol açar. Gradient checkpointing bu sorunu şu şekilde çözer: İleri geçiş sırasında yalnızca belirli katmanlar kontrol noktası olarak işaretlenir ve yalnızca bu katmanların aktivasyonları saklanır. İki kontrol noktası arasındaki aktivasyonlar bellekte tutulmaz. Geri yayılım sırasında, gerektiğinde bu ara değerler kontrol noktasından başlayarak yeniden hesaplanır. Bellek karmaşıklığı açısından bakıldığında, n katmanlı bir ağda geleneksel yaklaşım O(n) bellek kullanırken gradient checkpointing bunu O(√n)'ye indirebilir; ağın karekökü kadar katmanı kontrol noktası olarak seçmek bu bellek-hesaplama dengesini sağlar. Bedeli ise hesaplama süresinin yaklaşık yüzde yirmi ile otuz üç arasında artmasıdır, çünkü bazı aktivasyonlar iki kez hesaplanır. PyTorch'ta torch.utils.checkpoint.checkpoint() fonksiyonu ve Hugging Face Transformers kütüphanesindeki model.gradient_checkpointing_enable() yöntemi bu tekniği kolayca etkinleştirmeye olanak tanır. LoRA ve QLoRA gibi parametre-verimli ince ayar yöntemleriyle birlikte kullanıldığında, büyük dil modellerini tüketici sınıfı GPU'larda eğitmek ve ince ayar yapmak mümkün hale gelir. Bu kombinasyon, 2023 sonrası açık kaynak LLM ince ayar çalışmalarının neredeyse standart altyapısını oluşturmaktadır.

Gradient Checkpointing Nedir?

Gradient checkpointing (gradyan kontrol noktası), derin öğrenme modellerinin eğitiminde GPU bellek tüketimini ciddi ölçüde azaltan bir optimizasyon tekniğidir. Geleneksel geri yayılım algoritması, tüm ara aktivasyonları ileri geçişte bellekte saklar ve bu durum büyük modellerde bellek yetersizliği hatasına yol açar. Gradient checkpointing ise yalnızca seçili kontrol noktası katmanlarının aktivasyonlarını saklar; diğerleri geri yayılım sırasında gerektiğinde yeniden hesaplanır. Sonuç olarak daha uzun süre hesaplama karşılığında çok daha az bellek kullanılır.

Tekniğin Çalışma Mekanizması

Standart geri yayılımda n katmanlı bir ağ, O(n) bellek kullanır: her katmanın aktivasyonu sonraki gradyan hesaplaması için tutulur. Gradient checkpointing'te ağ, k kontrol noktasına bölünür (k ≈ √n olduğunda bellek açısından optimal). İleri geçişte yalnızca kontrol noktası katmanlarının aktivasyonları bellekte saklanır. Geri yayılım sırasında, iki kontrol noktası arasında kalan katmanlar için ileri geçiş tekrar çalıştırılarak gerekli ara değerler elde edilir. Bu sayede bellek karmaşıklığı O(n)'den O(√n)'ye iner; ek hesaplama maliyeti ise toplam eğitim süresinin yaklaşık %20-33'ü kadar artar. 2016'da Tianqi Chen ve ekibi "Training Deep Nets with Sublinear Memory Cost" makalesinde bu yaklaşımı biçimsel olarak tanımlamıştır.

Framework Entegrasyonu

  • check_circle PyTorch: torch.utils.checkpoint.checkpoint(function, *inputs) çağrısı, verilen fonksiyonu aktivasyonlar saklanmadan çalıştırır. Dikkat: RNG (rastgele sayı üreteci) durumu her iki geçişte ayrı yönetilmelidir; preserve_rng_state=True varsayılan olarak açıktır. Eğitim döngüsünde model.training = True olmalıdır, eval modunda checkpointing devre dışıdır.
  • check_circle Hugging Face Transformers: model.gradient_checkpointing_enable() yöntemi tek satırda etkinleştirir. TrainingArguments(gradient_checkpointing=True) parametresiyle Trainer üzerinden de ayarlanabilir. Bazı mimarilerde model.config.use_cache = False yapılması gerekir; aksi hâlde KV önbellekle çelişme oluşur.
  • check_circle JAX / Flax: jax.checkpoint (önceki adıyla jax.remat) dekaoratoru aynı işlevi görür. Hangi kısımların yeniden hesaplanacağını belirtmek için policy argümanı kullanılır; örneğin jax.checkpoint_policies.everything_saveable tüm aktivasyonları saklar, nothing_saveable ise gradient checkpointing'i tam anlamıyla etkinleştirir.
  • check_circle DeepSpeed: DeepSpeed ZeRO aşamalarıyla gradient checkpointing birleştirilebilir. ds_config.json içinde "activation_checkpointing": {"partition_activations": true, "contiguous_memory_optimization": true} şeklinde yapılandırılır. Özellikle ZeRO-3 + activation checkpointing kombinasyonu çok büyük modellerde bellek sınırını önemli ölçüde zorlar.

Ne Zaman Kullanılır?

  • check_circle Büyük batch boyutu gereksinimi: Gradient checkpointing ile aynı VRAM'da daha büyük batch boyutu kullanılabilir. Bu, gürültülü gradyanların ortalamasını alarak eğitim stabilitesini artırır; özellikle küçük batch'te aşırı titreyen kayıplar gözlemlendiğinde tercih edilir.
  • check_circle Uzun bağlam pencereleri: Transformer modellerinde dikkat (attention) mekanizmasının bellek kullanımı sekans uzunluğunun karesiyle büyür. 8k, 32k veya 128k tokenlik bağlam pencereli modelleri eğitirken gradient checkpointing, flash attention ile birlikte bellek bütçesini yönetilebilir kılar.
  • check_circle LoRA ve QLoRA ince ayarı: Parametre-verimli ince ayar yöntemleri gradient checkpointing ile çok iyi tamamlanır. 70B parametreli bir modeli QLoRA + gradient checkpointing kombinasyonuyla tek bir 24GB GPU'da ince ayar yapmak mümkündür. Bu, açık kaynak LLM ekosisteminde standart bir kurulum haline gelmiştir.
  • check_circle Çok büyük model mimarileri: GPT-NeoX, Megatron-LM gibi araçlarla eğitilen milyarlarca parametreli modellerde kontrol noktası stratejisi dikkatlice seçilerek eğitim süresindeki artış minimize edilirken bellek bütçesi sağlanır.

Flash Attention ile Karşılaştırma

Flash Attention ve gradient checkpointing farklı ama tamamlayıcı bellek optimizasyonlarıdır. Flash Attention, dikkat mekanizması hesaplamalarını tek geçişte (tiling yöntemiyle) yaparak O(n²) yerine O(n) bellek kullanır; HBM erişimlerini de azaltarak hem bellek hem hız kazancı sağlar. Gradient checkpointing ise tüm ağ boyunca genel bir teknik olup her tür katmana uygulanabilir. Pratikte bu iki teknik birlikte kullanılır: Flash Attention dikkat bloklarının belleğini, gradient checkpointing ise diğer katmanların aktivasyon belleğini yönetir. Birlikte kullanıldıklarında VRAM tasarrufu önemli ölçüde büyür.

Sık Sorulan Sorular

  • check_circle Gradient checkpointing eğitimi ne kadar yavaşlatır? Genellikle %20-33 arasında ek süre ekler. Bu oran, kontrol noktası sıklığına ve modelin hesaplama yoğunluğuna bağlıdır. Bellek kısıtı olmadığında kapatmak daha hızlı eğitim sağlar; bellek kısıtlıysa etkinleştirmek zorunluluk haline gelir.
  • check_circle Eval modunda gradient checkpointing kullanılır mı? Hayır. Gradient checkpointing yalnızca eğitim (training) modunda anlam ifade eder; çünkü geri yayılım sadece eğitimde çalışır. model.eval() çağrıldığında PyTorch otomatik olarak bu özelliği devre dışı bırakır. Çıkarım (inference) aşamasında gradyan hesaplaması yapılmaz, dolayısıyla aktivasyonları saklamak gerekmez.
  • check_circle use_cache = False neden gereklidir? Transformer'larda KV önbelleği (key-value cache), çıkarım sırasında tekrarlı hesaplamaları önlemek için aktivasyonları saklar. Bu davranış gradient checkpointing ile çelişir: checkpointing aktivasyonları saklamayı engellemeye çalışırken KV önbelleği saklamaya zorlar. Eğitimde use_cache=False yaparak bu çatışma giderilir; modelin çıkarım performansı etkilenmez çünkü eval modunda cache yeniden etkinleştirilir.
  • check_circle Hangi katmanları kontrol noktası yapmak en iyisidir? PyTorch'ta her transformer bloğunu ayrı ayrı checkpoint'lemek yaygın pratiktir. Hugging Face bu mantığı otomatik olarak uygular. Manuel seçimde: hesaplama yoğun ama küçük çıktılı katmanlar iyi adaylardır (örn. attention blokları). Çok sık checkpoint, fazla yeniden hesaplama; çok seyrek checkpoint ise bellek tasarrufunu azaltır. √n kuralı başlangıç noktası olarak kullanılabilir.
  • check_circle Gradient checkpointing model doğruluğunu etkiler mi? Hayır, doğrulukla ilgisi yoktur. Yeniden hesaplama matematiksel olarak özdeş sonuçlar üretir; rastgele sayı üreteci (RNG) durumunun doğru yönetilmesi koşuluyla (preserve_rng_state=True) eğitim deterministik kalmaya devam eder. Dropout gibi stokastik katmanlar bu sayede her iki geçişte aynı maskeyi kullanır.