Feature Selection (Özellik Seçimi)

#feature-selection #ozellik-secimi #makine-ogrenimi #overfitting #veri-madenciligi

Model performansini artirmak veya korumak icin gereksiz ve tekrar eden ozellikleri cikararak en bilgilendirici ozellik alt kumesini belirleme sureci.

fact_check Anahtar Bilgiler

Tanim: Ozellik secimi (feature selection), modelin tahmin performansini en iyi aciklayan minimum ozellik alt kumesini secme sureci olup gereksiz ve tekrarli ozellikleri eler.
Boyut Laneti: Yuksek boyutlu uzaylarda ornekler birbirine yakinlasir ve mesafe bazli algoritmalar anlamini yitirir; ozellik secimi bu problemi dogrudan adreste.
Filter Yontemleri: Chi-squared test, mutual information ve korelasyon gibi istatistiksel kriterler kullanarak model egitiminden bagimsiz sekilde ozellikleri siralar.
Wrapper Yontemleri: Ozellik alt kumesi uzerinde model egitip performans olculur; RFE (Recursive Feature Elimination) klasik bir wrapper yontemidir.
Embedded Yontemleri: LASSO regresyonu, Random Forest onem skorlari ve XGBoost onem skorlari egitim sureci icerisinde ozellik secimine dahil olur.

Ozellik secimi (feature selection), bir makine ogrenimi modelinin egitiminde kullanilacak en bilgilendirici ve gercek anlam tasiyan ozellik alt kumesini belirlemek amaciyla gereksiz, tekrarli veya alakasiz ozelliklerin elenme surecidir. Cok sayida ozellik her zaman daha iyi model anlamina gelmez; aksine fazla ozellik overfitting riskini arttirir, egitim suresini uzatir ve modelin yorumlanmasini guclestirir. Ozellik secimi uc ana kategoride incelenir. Filter yontemleri, model egitiminden bagimsiz olarak ozellikleri istatistiksel kriterlerle puanlar ve siralar. Chi-squared test, mutual information ve Pearson korelasyon katsayisi bu kategorinin temsil ornekleridir. Uygulamasi hizlidir ve overfitting riski tasimaz; ancak ozellikler arasindaki etkilesimi dikkate almaz. Wrapper yontemleri, secilen ozellik alt kumesini dogrudan bir model uzerinde dener ve performansa gore degerlendirme yapar. Recursive Feature Elimination (RFE), ozellik sayisini katlanarak azaltip her adimda modeli yeniden egiterek en kotu ozelligi eler; bu surec hedef ozellik sayisina ulasana kadar devam eder. Wrapper yontemleri genellikle filter yontemlerine kiyasla daha iyi ozellik alt kumesi bulur ancak hesaplama maliyeti cok yuksektir. Embedded yontemler ozellik secimini model egitim surecininin icine gommus sistemlerdir. LASSO (L1 duzenlemesi) bazi ozellik agirliklarini sifira indirerek otomatik secim saglar. Random Forest ve XGBoost gibi agac tabanli modeller egitim sirasinda her ozelligin onemi hesaplar; bu skorlar dusuk onemli ozellikleri elemede kullanilir. Boyutsallak laneti (curse of dimensionality), yuksek ozellikli uzaylarda orneklerin birbirinden uzaklasip mesafe bazli algoritmalarin anlamsizlasmasi olgusunu ifade eder. Ozellik secimi bu problemi dogrudan adreste. Ek olarak secimlerin yorumlanabilirligi saglar: hangi ozelliklerin modeli surdurup surdurmediginin anlasilmasi, hem ayiklama hem de alan uzmanlarindan geri bildirim alma acisindan kritik oneme sahiptir. **Sik Sorulan Sorular** **Ozellik secimi ile boyut indirgeme (PCA gibi) arasindaki fark nedir?** Ozellik secimi mevcut ozelliklerin bir alt kumesini tutar; orijinal ozellikler yorumlanabilirligini korur. PCA gibi boyut indirgeme yontemleri yeni, yapay ozellikler olusturur; yorumlanabilirlik kaybolur ama bazen daha iyi genelleme saglar. **Kac ozellik yeterlidir?** Genel kural yoktur; veri boyutuna, ornek sayisina ve modele bagimlidir. Cross-validation ile farkli ozellik sayilari denenerek elbow noktasi belirlenir. **Ozellik secimi her zaman gerekli midir?** Sinirli ornek sayisi veya yuksek boyutlu veri durumunda buyuk fayda saglar. Derin ogrenme modelleri ozellik muhendisligini buyuk olcude otomatiklestirebilir; bu durumda acik ozellik secimi daha az kritik olabilir. **Kategorik ozellikler icin hangi yontem kullanilir?** Chi-squared test veya mutual information filter yontemleri kategorik ozellikler icin uygundur. Tree-based modellerin onem skorlari ise kategorik ve sayisal ozelliklerin karisik oldugu veri kumelerinde pratik bir embedded yontemdir.

Ozellik Secimi Nedir?

Ozellik secimi (feature selection), bir ML modelinin tahminleme performansina en cok katki saglayan ozellik alt kumesini belirleyerek gereksiz, tekrarli ve alakasiz ozellikleri eleme surecidir. Daha fazla ozellik her zaman daha iyi model demek degildir; aksine fazla ozellik overfitting riskini arttirir, egitim suresini uzatir ve modelin yorumlanmasini guclestirir. Ozellik secimi bu uclu problemi ayni anda ele alir: daha az ozellik, daha hizli model ve cogu zaman daha iyi genelleme.

Filter, Wrapper ve Embedded Yontemler

Filter yontemleri istatistiksel kriterlerle (mutual information, chi-squared, korelasyon) ozellikleri siralar ve model egitiminden bagimsiz calisir; hizlidir ancak ozellik etkilesimini gormez. Wrapper yontemleri bir ozellik alt kumesi secip modeli egitip performansi olcutler; RFE en yaygin ornektir. Embedded yontemler ise ozellik secimini dogrudan model egitim sureci icine entegre eder: LASSO L1 cezasiyla bazi agirlikları sifirlarken Random Forest ve XGBoost egitim sirasinda ozellik onem skoru hesaplar. Her yontemin diger olcutleri vardir: veri boyutu, hesaplama butcesi ve yorumlanabilirlik gereksinimine gore secilir.

Boyutsallak Laneti

Ozellik sayisi artikca veri uzayinin hacmi ustel olarak buyur; sabit ornek sayisiyla uzayin giderek kucuk bir parcasi dolar. Bu durum mesafe bazli algoritmalarda ornek yakınliğini anlamsiz killar, agac derinligini gerceksiz arttirir ve model varyansini siser. Ozellik secimi bu olguya en dogrudan yanittir. Yapay olarak bilgilendirici gorunen ama gercekte gurultu olan ozellikler tanimlamak ve elemek, buyuk boyutlu veri kumelerinde genelleme kapasitesini korumanin en pratik yoludur.

Yorumlanabilirlik ve SHAP

Ozellik secimi yalnizca performans degil yorumlanabilirlik acisindan da deger tasir. Hangi ozelliklerin modeli surdurup surdurmedigini anlamak, hata ayiklamada ve alan uzmanlarindan geri bildirim almada kritiktir. SHAP (SHapley Additive exPlanations) deger teorisine dayanan bu arac, her ozelligin her tahmine yaptigi marginal katkiyi hesaplar ve gorsel olarak sunar. Permutation importance ise test setindeki bir ozelligi rastgele karistry, performans dususunu olcer ve bu dususu onem skoru olarak raporlar. Bu iki yontem ozellik secimini yorumlanabilirlik ile birlestirir.

Özellik Seçimi Yöntemleri Karşılaştırması

Filter Yöntemleri

Korelasyon, chi-kare ve mutual information modelden bağımsız hesaplanır; hızlı ama özellik etkileşimlerini görmez.

Wrapper Yöntemleri

RFE (Recursive Feature Elimination) ve forward/backward selection; modeli yeniden eğiterek özellik alt kümeleri değerlendirilir — doğru ama pahalı.

Embedded Yöntemleri

Lasso L1 regularizasyon ve tree feature importance; model eğitimi sırasında özellik ağırlıkları doğal olarak sıfırlanır.

SHAP Tabanlı Seçim

SHAP değerleri küresel özellik önemini nesnel ölçer; model bağımsız, yorumlanabilir ve non-lineer etkileşimleri yakalar.

help Sik Sorulan Sorular

check_circle Ozellik secimi ile boyut indirgeme (PCA gibi) arasindaki fark nedir? Ozellik secimi mevcut ozelliklerin bir alt kumesini tutar; yorumlanabilirlik korunur. PCA gibi boyut indirgeme yapay yeni ozellikler olusturur; yorumlanabilirlik kaybolur ama bazen daha iyi genelleme saglar.
check_circle Kac ozellik yeterlidir? Genel kural yoktur; veri boyutuna, ornek sayisina ve modele bagimlidir. Cross-validation ile farkli ozellik sayilari denenerek elbow noktasi belirlenir.
check_circle Ozellik secimi her zaman gerekli midir? Sinirli ornek sayisi veya yuksek boyutlu veri durumunda buyuk fayda saglar. Derin ogrenme modelleri ozellik muhendisligini otomatiklestirebilir; bu durumda acik ozellik secimi daha az kritik olabilir.
check_circle Kategorik ozellikler icin hangi yontem kullanilir? Chi-squared test veya mutual information filter yontemleri kategorik ozellikler icin uygundur. Agac tabanli modellerin onem skorlari ise karma veri kumelerinde pratik bir embedded yontemdir.