tag görselleştirme
Keşifsel Veri Analizi (EDA) (EDA)
Bu sayfada görselleştirme (Keşifsel Veri Analizi (EDA) (EDA)) etiketi ile işaretlenmiş 3 yapay zeka kavramını bulabilirsiniz.
Keşifsel Veri Analizi (Exploratory Data Analysis, EDA), ham veriden anlam çıkarmanın ilk ve en kritik adımıdır. John Tukey'in 1977'de kaleme aldığı aynı adlı eseriyle sistematik bir disiplin hâline gelen EDA, veri bilimcilerin bir veri kümesini modellemeden veya hipotez testine sokmadan önce derinlemesine incelediği keşifsel süreçtir. EDA'nın temel amacı şu soruları yanıtlamaktır: Veri nasıl dağılmış? Hangi değişkenler birbiriyle ilişkili? Aykırı değerler (outlier) var mı ve bunlar gerçek mi yoksa veri giriş hatası mı? Eksik değerler (missing values) hangi örüntüde oluşmuş? Hangi özellikler hedef değişkeni en çok etkiliyor? Bu soruları yanıtlamak için EDA iki temel yöntem sınıfına başvurur. Nicel yöntemler arasında merkezi eğilim ölçüleri (ortalama, medyan, mod), yayılım ölçüleri (standart sapma, varyans, çeyrekler arası aralık), çarpıklık ve basıklık katsayıları yer alır. Nitel/görsel yöntemler ise histogram, kutu grafiği (box plot), yoğunluk grafiği, dağılım matrisi (pair plot) ve korelasyon ısı haritası gibi araçlarla veriyi sezgisel biçimde anlaşılır kılar. Modern veri bilimi ekosisteminde EDA, Python'da Pandas, NumPy, Matplotlib, Seaborn ve Plotly kütüphaneleriyle; R'de ggplot2 ve dplyr ile yürütülür. Pandas Profiling ve ydata-profiling gibi otomatik EDA araçları tek bir komutla kapsamlı raporlar üretir. AutoEDA yaklaşımları büyük veri kümelerinde zaman tasarrufu sağlasa da deneyimli bir veri bilimcinin yorumunun yerini alamaz. EDA sürecinde izlenen tipik adımlar şöyle sıralanabilir: önce veri yapısı incelenir (shape, dtypes, head); ardından betimleyici istatistikler hesaplanır (describe); eksik değer örüntüleri ve oranları belirlenir; tek değişkenli dağılımlar görselleştirilir; iki değişkenli ilişkiler scatter plot ve korelasyon matrisiyle keşfedilir; son olarak çok değişkenli örüntüler ve gruplararası farklılıklar araştırılır. Bu adımlar doğrusal değil yinelemeli bir döngü oluşturur; her bulgu yeni sorular doğurur. EDA, özellik mühendisliği (feature engineering), veri temizleme ve model seçimi kararları üzerinde doğrudan etkilidir. Kötü anlaşılmış veriyle kurulan modeller ne kadar sofistike olursa olsun güvenilmez sonuçlar üretir; bu nedenle EDA 'çöp girer, çöp çıkar' ilkesinin pratikte uygulandığı kalkan katmanıdır. Regresyon, sınıflandırma veya kümeleme modellerinden önce mutlaka gerçekleştirilmesi gereken bu aşama, hem modelin doğruluğunu hem de yorumlanabilirliğini doğrudan şekillendirir.
Keşifsel Veri Analizi (EDA) (EDA)
Keşifsel Veri Analizi (Exploratory Data Analysis, EDA), ham veriden anlam çıkarmanın ilk ve en kritik adımıdır. John Tukey'in 1977'de kaleme aldığı aynı adlı eseriyle sistematik bir disiplin hâline gelen EDA, veri bilimcilerin bir veri kümesini modellemeden veya hipotez testine sokmadan önce derinlemesine incelediği keşifsel süreçtir. EDA'nın temel amacı şu soruları yanıtlamaktır: Veri nasıl dağılmış? Hangi değişkenler birbiriyle ilişkili? Aykırı değerler (outlier) var mı ve bunlar gerçek mi yoksa veri giriş hatası mı? Eksik değerler (missing values) hangi örüntüde oluşmuş? Hangi özellikler hedef değişkeni en çok etkiliyor? Bu soruları yanıtlamak için EDA iki temel yöntem sınıfına başvurur. Nicel yöntemler arasında merkezi eğilim ölçüleri (ortalama, medyan, mod), yayılım ölçüleri (standart sapma, varyans, çeyrekler arası aralık), çarpıklık ve basıklık katsayıları yer alır. Nitel/görsel yöntemler ise histogram, kutu grafiği (box plot), yoğunluk grafiği, dağılım matrisi (pair plot) ve korelasyon ısı haritası gibi araçlarla veriyi sezgisel biçimde anlaşılır kılar. Modern veri bilimi ekosisteminde EDA, Python'da Pandas, NumPy, Matplotlib, Seaborn ve Plotly kütüphaneleriyle; R'de ggplot2 ve dplyr ile yürütülür. Pandas Profiling ve ydata-profiling gibi otomatik EDA araçları tek bir komutla kapsamlı raporlar üretir. AutoEDA yaklaşımları büyük veri kümelerinde zaman tasarrufu sağlasa da deneyimli bir veri bilimcinin yorumunun yerini alamaz. EDA sürecinde izlenen tipik adımlar şöyle sıralanabilir: önce veri yapısı incelenir (shape, dtypes, head); ardından betimleyici istatistikler hesaplanır (describe); eksik değer örüntüleri ve oranları belirlenir; tek değişkenli dağılımlar görselleştirilir; iki değişkenli ilişkiler scatter plot ve korelasyon matrisiyle keşfedilir; son olarak çok değişkenli örüntüler ve gruplararası farklılıklar araştırılır. Bu adımlar doğrusal değil yinelemeli bir döngü oluşturur; her bulgu yeni sorular doğurur. EDA, özellik mühendisliği (feature engineering), veri temizleme ve model seçimi kararları üzerinde doğrudan etkilidir. Kötü anlaşılmış veriyle kurulan modeller ne kadar sofistike olursa olsun güvenilmez sonuçlar üretir; bu nedenle EDA 'çöp girer, çöp çıkar' ilkesinin pratikte uygulandığı kalkan katmanıdır. Regresyon, sınıflandırma veya kümeleme modellerinden önce mutlaka gerçekleştirilmesi gereken bu aşama, hem modelin doğruluğunu hem de yorumlanabilirliğini doğrudan şekillendirir.
t-SNE (t-SNE (T-Dağılımlı Stokastik Komşu Gömme))
t-SNE (t-Distributed Stochastic Neighbor Embedding), yuksek boyutlu veriyi iki veya uc boyutlu bir uzaya gorselleştirme amaciyla indirgemek icin kullanilan dogrusal olmayan bir boyut indirgeme yontemidir. 2008 yilinda Laurens van der Maaten ve Geoffrey Hinton tarafindan tanitilan bu algoritma, ozellikle derin ogrenme modellerinin gizli katman temsillerini (embedding) insan gozuyle kavranabilir bicimde gorselleştirme konusunda standart arac haline gelmistir. Algoritmanin calisma prensibi iki temel asamaya dayanir. Birinci asamada yuksek boyutlu uzaydaki her nokta cifti arasindaki benzerlikler Gaussian dagilimi kullanilarak kosullu olasilik degerlerine donusturulur; yakin noktalar yuksek, uzak noktalar dusuk olasilik alir. Ikinci asamada bu dagilim dusuk boyutlu uzayda Student-t dagilimiyla yeniden modellenir. Algoritma, iki dagilim arasindaki Kullback-Leibler (KL) iraksamasini minimize ederek veriyi dusuk boyutlu uzaya gomer. Student-t dağiliminin kalin kuyrugu, uzak noktalarin dusuk boyutlu temsilde daha da ayrismasini saglar ve kalabalik problemi olarak bilinen yapisal bozulmayı buyuk olcude giderir. En kritik hiperparametre perplexity degeridir; bu parametre her nokta icin efektif komsu sayisini belirler ve tipik olarak 5 ile 50 arasinda ayarlanir. Dusuk degerler yerel yapiyi on plana cikarirken yuksek degerler kuresel yapiyi daha iyi yakalar. Cikti rastsal baslangica duyarli oldugundan tekrarlanabilirlik icin random_state parametresinin sabitlenmesi zorunludur. PCA ile karsilastirildiginda t-SNE dogrusal olmayan manifold yapilarini daha iyi ortaya cikarir; ancak eksen degerlerinin dogrudan yorumu yoktur ve yeni veri noktalari icin projeksiyon uretemez. Buyuk veri kumelerinde hesaplama maliyeti yuksek oldugunde Barnes-Hut t-SNE veya GPU hizlandirmali RAPIDS cuML gibi olceklenebilir alternatiflere basvurulur. MNIST rakam gorselleştirmesi, scRNA-seq hucre populasyonu analizi ve transformer gomu uzayi arastirmalari en yaygin uygulama alanlaridir. Scikit-learn uzerinden TSNE sinifi ile hizla uygulanabilir; buyuk ol cekler icin openTSNE veya UMAP alternatif olarak degerlendirilebilir.
Veri Görselleştirme (Data Visualization) (Veri Görselleştirme)
Veri gorsellestirme (data visualization), ham veya islenmis veriyi grafik, harita, panel, animasyon veya infografik gibi gorsel bicimlere donusturme disiplin ve pratikleri butunudur. Insanin gorsel isleme kapasitesi, tablolarla sunulan binlerce veri noktasinin anlasilmasindan cok daha hizli sekilde gorsel kaliplari tanir; bu temel bilissel gercek, veri gorsellestirmeyi analitik sureclerin vazgecilmez bir parcasi yapar. Dogru gorsel secimi mesajin netligini belirler. Kategoriler arasinda karsilastirma yapiliyorsa cubuk grafik anlasilirdir; zaman serisi verisi icin cizgi grafik egilimi daha iyi aktarir; iki degisken arasindaki iliskiyi gostermek icin scatter plot kullanilir; heatmap coklu degisken bilesenlerinin matris biciminde sunumunda idealdir. Pasta grafik kategorilerin toplama oranini gosterir; ancak bes ustu kategoride gormek zor oldugundan dikkatli kullanilmalidir. Edward Tufte, veri gorsellestirme disiplininin en etkili teorisyenlerinden biridir. "Data-ink ratio" (veri-murekkep orani) ilkesi, bir graftaki her grafisel unsurun anlam tasimasi gerektigini ve gorseli karmasiklastiran chartjunk unsurlarin azaltilmasini savunur. Bu ilke minimalist ve aciklamali gorsel tasarim anlayisinin temelini olusturur. Araç ekosistemi genis ve farklilasiktir. Tableau ve Microsoft Power BI is zekasi panolarinda surukle-birak arayuzleriyle hazirlanmis; yonetici raporlari ve KPI panolari icin yaygin tercihtir. D3.js, JavaScript ile guclu ve tamamen ozellestirilebilir interaktif web gorsellestirmeler olusturmak icin referans kutuphanedir. Python ekosisteminde Matplotlib temel gorsel katmanini olusturmakta, Seaborn istatistiksel gorseller icin daha yuksek seviye bir API sunmakta, Plotly ve Vega-Altair ise interaktif gorseller icin tercih edilmektedir. Yaniltici gorsel kurulmasi konusu onemlidir. Kesilmis y ekseni kucuk degisiklikleri buyuk gosterebildigi icin yaniltici olabilir; alan veya kabarcik grafiklerinde yanlis olcekleme algiyi bozar; belirli renk secimi belirli gruplari stigmatize edebilir. Veri okuryazarligi, bu yanlimlari tanima ve elemek etrafında da seklinde insa edilir. **Sik Sorulan Sorular** **Hangisi once gelir: veri analizi mi yoksa gorsellestirme mi?** Ikisi dongusel bir surecte yer alir. Kesfedici veri analizinde gorsellestirme, analizden once kullanilir (kalip arama); aciklayici gorsellestirme ise analiz sonuclarini aktarmak icin kullanilir. Her iki amac farkli gorsel tasarim secimlerine yonlendirir. **Tableau mu Power BI mi secmeliyim?** Tableau gorsel analitik derinligi ve esnekligiyle one cikar; Power BI Microsoft 365 ekosistemiyle entegrasyonu ve ucret avantajiyla tercih edilir. Bircok organizasyon hali hazirda Microsoft ekosistemine sahipse Power BI daha pratik baslangic noktasidir. **Python ile interaktif gorsel nasil yapilir?** Plotly Express veya Vega-Altair hizli ve etkilesimli gorseller icin onerilen seceneklerdir. Daha karmasik interaktif panolar icin Dash (Plotly) veya Streamlit kullanilabilir. **Renk secimi neden bu kadar onemli?** Renk koru bireylerin en yaygin bozuklugu mavi-yesil karisikligidur; kirmizi-yesil kombinasyonu ozellikle sorunludur. ColorBrewer ve Viridis gibi renk paletleri bu kisitlama dikkate alinarak tasarlanmistir.