Decision Tree (Karar Ağacı)

Karar ağacı (Decision Tree), gözetimli öğrenme (supervised learning) kategorisinde yer alan, hem sınıflandırma hem de regresyon problemleri için kullanılan temel bir makine öğrenimi algoritmasıdır. Veriyi, ağaç benzeri bir yapı oluşturarak ardışık karar kurallarına göre alt kümelere böler. Yapının her iç düğümü bir özellik üzerinde yapılan bir testi, her dal o testin olası sonucunu, her yaprak düğümü ise nihai tahmin değerini ya da sınıfı temsil eder. Algoritma, veriyi bölmek için en iyi özelliği seçerken genellikle iki ölçütten birini kullanır: **Gini safsızlığı** (CART algoritmasında) veya **Bilgi Kazanımı/Entropi** (ID3 ve C4.5 algoritmalarında). Gini safsızlığı, bir düğümdeki örneklerin ne ölçüde saf bir sınıfa ait olduğunu; bilgi kazanımı ise bölme işleminin belirsizliği ne kadar azalttığını ölçer. Her adımda safsızlığı en çok düşüren özellik seçilerek ağaç büyütülür. Karar ağaçlarının en büyük güçlü yönü **yorumlanabilirliğidir**: elde edilen kurallar, uzman olmayanlar tarafından bile kolayca anlaşılabilir grafiksel ağaçlara dönüştürülebilir. Bu özellik sayesinde tıbbi teşhis, kredi risk değerlendirmesi ve sahtekârlık tespiti gibi alanlarda şeffaf karar sistemleri kurulabilir. Öte yandan tek bir ağaç, verideki küçük değişikliklere karşı aşırı duyarlı olabilir (yüksek varyans) ve derin büyürse aşırı öğrenme (overfitting) riski taşır. Bu sınırlılıkları aşmak için rastgele ormanlar (Random Forest) ve gradyan artırma (Gradient Boosting) gibi topluluk öğrenmesi yöntemleri geliştirilmiştir.