Decision Trees (Karar Ağaçları)

Karar ağaçları (decision trees), bir veri setini özellik değerlerine göre ardışık ikili bölmelere ayırarak sınıflandırma veya regresyon gerçekleştiren gözetimli öğrenme algoritmalarıdır. Görsel olarak bir ağaç yapısına benzeyen bu model, kök düğümden yaprak düğümlere uzanan bir dizi evet-hayır sorusundan oluşur; her iç düğüm bir özellik üzerinde yapılan testi, her dal testin olası sonucunu, her yaprak ise tahmin edilen sınıfı veya değeri temsil eder. Bir karar ağacı oluşturulurken hangi özelliğin kök veya ara düğüm olarak seçileceği, bilgi kazancı (information gain), Gini safsızlığı (Gini impurity) veya varyans azaltımı gibi ölçütlerle belirlenir. Bu ölçütler, seçilen bölmenin veriyi ne kadar iyi homojen alt gruplara ayırdığını ölçer. En yüksek bilgi kazancı ya da en düşük Gini değeri veren özellik bölme noktası olarak seçilir ve bu süreç önceden belirlenen derinlik veya düğüm boyutu limitine ulaşılana kadar özyinelemeli biçimde devam eder. Karar ağaçları yorumlanabilirlik açısından makine öğrenmesinin en şeffaf algoritmalarından biridir. Bir finansal kurumun kredi kararı veya bir tıbbi teşhis sistemi, ağacın her adımı netleştirdiği için uzmanlara açıklanabilir ve denetlenebilir. Bu özellik, yapay zeka şeffaflığının ön plana çıktığı düzenleyici ortamlarda kritik avantaj sağlar. Ancak karar ağaçları tek başına kullanıldığında aşırı öğrenmeye eğilimlidir. Veri üzerindeki küçük değişiklikler ağaç yapısını köklü biçimde etkileyebilir. Bu sınırlamayı aşmak için rastgele ormanlar (Random Forest) ve Gradient Boosting gibi topluluk yöntemleri (ensemble methods) birden fazla ağacı bir araya getirir; bu kombinasyon hem varyansı hem de yanlılığı azaltarak çok daha güçlü ve kararlı modeller üretir.