Gradient Boosting Nedir? Gradyan Artırma Algoritması (Gradyan Artırma)

Gradient Boosting (Gradyan Artırma), makine öğreniminde zayıf öğrenicileri art arda sıralı biçimde ekleyerek güçlü ve yüksek doğruluklu bir tahmin modeli oluşturan bir topluluk öğrenme algoritmasıdır. Random Forest gibi diğer topluluk yöntemlerinin ağaçları paralel olarak eğitmesinin aksine, Gradient Boosting her yeni ağacı bir önceki modelin kalan hatasını (artık değer, residual) azaltacak şekilde sıralı olarak inşa eder. Algoritmanın çalışma mantığı şu adımlarla özetlenebilir: İlk adımda verilen hedef değer için basit bir temel tahmin yapılır; bu genellikle ortalama değerdir. Sonraki adımda mevcut tahmin ile gerçek değer arasındaki farklar (artık değerler) hesaplanır. Bir sonraki karar ağacı bu artık değerleri tahmin etmek üzere eğitilir. Yeni ağacın katkısı, aşırı öğrenmeyi önlemek için öğrenme hızı (learning rate) parametresiyle ölçeklendirilerek mevcut modele eklenir. Bu döngü, belirlenen ağaç sayısına ulaşılana kadar tekrar eder; her yinelemede model bir öncekinin en zayıf noktasına odaklanır. Gradient Boosting'in matematiksel temeli gradyan iniş (gradient descent) optimizasyonuna dayanır. Ağaçlar, seçilen kayıp fonksiyonunu minimize edecek şekilde gradyan yönünde oluşturulur; bu yapı, algoritmanın regresyon, sınıflandırma ve sıralama gibi farklı problem tiplerine kolayca uyarlanmasını sağlar. Algoritmanın en belirgin avantajı, tablolar halindeki yapısal veriyle (structured/tabular data) olağanüstü yüksek doğruluk sağlamasıdır. Kaggle yarışmalarında yıllardır zirvede yer alan bu aile, XGBoost, LightGBM ve CatBoost gibi modern kütüphanelerle bellek ve hız açısından da optimize edilmiştir. XGBoost level-wise (satır bazlı) ağaç büyümesiyle daha kararlı sonuçlar üretirken LightGBM leaf-wise (yaprak bazlı) büyüme ve histogram tabanlı bölme sayesinde büyük veri setlerinde çok daha hızlı çalışır. Dezavantajları arasında aşırı öğrenmeye (overfitting) yatkınlık, hiperparametre ayarının (n_estimators, learning_rate, max_depth, min_samples_split) hassasiyeti ve büyük veri setlerinde paralel eğitimin zorluğu sayılabilir. Öğrenme hızı düşük ve ağaç sayısı yüksek tutulduğunda daha genelleştirilebilir modeller elde edilir; ancak bu dengenin bulunması kapsamlı çapraz doğrulama (cross-validation) gerektirir.