tag bellek-optimizasyonu

Gradient Checkpointing (Gradyan Kontrol Noktası)

Bu sayfada bellek-optimizasyonu (Gradient Checkpointing (Gradyan Kontrol Noktası)) etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

Gradient checkpointing (Türkçe: gradyan kontrol noktası, aynı zamanda activation checkpointing olarak da bilinir), derin öğrenme modellerini sınırlı GPU belleğiyle eğitmeyi mümkün kılan kritik bir bellek optimizasyon tekniğidir. Geleneksel geri yayılım (backpropagation) algoritmasında, sinir ağının ileri geçişi (forward pass) sırasında her katmanda üretilen ara aktivasyonların tamamı bellekte saklanır. Bunun nedeni, geri yayılım aşamasında gradyanları hesaplamak için bu değerlere ihtiyaç duyulmasıdır. Ne var ki GPU belleği (VRAM) sınırlıdır; büyük ve derin modellerde bu durum bellek yetersizliğine (out-of-memory hatası) yol açar. Gradient checkpointing bu sorunu şu şekilde çözer: İleri geçiş sırasında yalnızca belirli katmanlar kontrol noktası olarak işaretlenir ve yalnızca bu katmanların aktivasyonları saklanır. İki kontrol noktası arasındaki aktivasyonlar bellekte tutulmaz. Geri yayılım sırasında, gerektiğinde bu ara değerler kontrol noktasından başlayarak yeniden hesaplanır. Bellek karmaşıklığı açısından bakıldığında, n katmanlı bir ağda geleneksel yaklaşım O(n) bellek kullanırken gradient checkpointing bunu O(√n)'ye indirebilir; ağın karekökü kadar katmanı kontrol noktası olarak seçmek bu bellek-hesaplama dengesini sağlar. Bedeli ise hesaplama süresinin yaklaşık yüzde yirmi ile otuz üç arasında artmasıdır, çünkü bazı aktivasyonlar iki kez hesaplanır. PyTorch'ta torch.utils.checkpoint.checkpoint() fonksiyonu ve Hugging Face Transformers kütüphanesindeki model.gradient_checkpointing_enable() yöntemi bu tekniği kolayca etkinleştirmeye olanak tanır. LoRA ve QLoRA gibi parametre-verimli ince ayar yöntemleriyle birlikte kullanıldığında, büyük dil modellerini tüketici sınıfı GPU'larda eğitmek ve ince ayar yapmak mümkün hale gelir. Bu kombinasyon, 2023 sonrası açık kaynak LLM ince ayar çalışmalarının neredeyse standart altyapısını oluşturmaktadır.

code_blocks

Gradient Checkpointing (Gradyan Kontrol Noktası)

Gradient checkpointing (Türkçe: gradyan kontrol noktası, aynı zamanda activation checkpointing olarak da bilinir), derin öğrenme modellerini sınırlı GPU belleğiyle eğitmeyi mümkün kılan kritik bir bellek optimizasyon tekniğidir. Geleneksel geri yayılım (backpropagation) algoritmasında, sinir ağının ileri geçişi (forward pass) sırasında her katmanda üretilen ara aktivasyonların tamamı bellekte saklanır. Bunun nedeni, geri yayılım aşamasında gradyanları hesaplamak için bu değerlere ihtiyaç duyulmasıdır. Ne var ki GPU belleği (VRAM) sınırlıdır; büyük ve derin modellerde bu durum bellek yetersizliğine (out-of-memory hatası) yol açar. Gradient checkpointing bu sorunu şu şekilde çözer: İleri geçiş sırasında yalnızca belirli katmanlar kontrol noktası olarak işaretlenir ve yalnızca bu katmanların aktivasyonları saklanır. İki kontrol noktası arasındaki aktivasyonlar bellekte tutulmaz. Geri yayılım sırasında, gerektiğinde bu ara değerler kontrol noktasından başlayarak yeniden hesaplanır. Bellek karmaşıklığı açısından bakıldığında, n katmanlı bir ağda geleneksel yaklaşım O(n) bellek kullanırken gradient checkpointing bunu O(√n)'ye indirebilir; ağın karekökü kadar katmanı kontrol noktası olarak seçmek bu bellek-hesaplama dengesini sağlar. Bedeli ise hesaplama süresinin yaklaşık yüzde yirmi ile otuz üç arasında artmasıdır, çünkü bazı aktivasyonlar iki kez hesaplanır. PyTorch'ta torch.utils.checkpoint.checkpoint() fonksiyonu ve Hugging Face Transformers kütüphanesindeki model.gradient_checkpointing_enable() yöntemi bu tekniği kolayca etkinleştirmeye olanak tanır. LoRA ve QLoRA gibi parametre-verimli ince ayar yöntemleriyle birlikte kullanıldığında, büyük dil modellerini tüketici sınıfı GPU'larda eğitmek ve ince ayar yapmak mümkün hale gelir. Bu kombinasyon, 2023 sonrası açık kaynak LLM ince ayar çalışmalarının neredeyse standart altyapısını oluşturmaktadır.

arrow_forward