tag BigData
Data Lake (Veri Gölü)
Bu sayfada BigData (Data Lake (Veri Gölü)) etiketi ile işaretlenmiş 6 yapay zeka kavramını bulabilirsiniz.
Data Lake (Türkçe: Veri Gölü), yapılandırılmış, yarı yapılandırılmamış ve yapılandırılmamış verilerin orijinal ham formatlarında depolandığı merkezi, ölçeklenebilir bir büyük veri deposudur. Geleneksel veri ambarlarının aksine, Data Lake veriye önceden bir şema uygulamaz; veriler ham hâlde saklanır ve sorgu anında şema belirlenir (schema-on-read yaklaşımı). Bu esneklik aracılığıyla log dosyaları, görüntüler, videolar, sensör verileri ve JSON/CSV gibi farklı formatlardaki veriler aynı depoda bir arada tutulabilir. "Data Lake" kavramı ilk olarak 2010 yılında Pentaho'nun CTO'su James Dixon tarafından kavramsallaştırılmıştır. Dixon, veri ambarlarını sunum için hazır su şişeleriyle kıyaslarken Data Lake'i kendi doğal ve safiyetini koruyan bir göle benzetti: tüm su kaynakları (veriler) doğal hâlde bu göle akar ve kullanıcılar ihtiyaçlarına göre bu gölden istedikleri miktarda ve formatta su alır. Bir Data Lake mimarisi genellikle birkaç katmandan oluşur. Ham veri bölgesi (Raw/Landing Zone), kaynak sistemlerden gelen verilerin sıfır değişiklikle aktarıldığı giriş noktasıdır. Rafine veri bölgesi (Curated Zone), temizleme, dönüştürme ve kalite kontrolünden geçirilmiş verileri barındırır. Tüketim bölgesi (Consumption Zone) ise iş analistleri, veri bilimciler ve makine öğrenmesi uygulamaları tarafından kullanıma hazır hâle getirilmiş verileri içerir. Data Lake'in başlıca avantajları arasında yüksek ölçeklenebilirlik, düşük birim depolama maliyeti ve veri formatı esnekliği sayılabilir. Ancak yeterli yönetim ve kataloglama araçları olmadığında "Data Swamp" (Veri Bataklığı) hâline gelebilir: verinin nereden geldiği, ne anlama geldiği ve nasıl kullanılacağı belirsizleşir. Bu sorunu çözmek için veri kataloğu (data catalog), veri soyu takibi (data lineage) ve meta veri yönetimi araçları kullanılır. Günümüzde AWS S3 + Glue, Azure Data Lake Storage Gen2, Google Cloud Storage ve Apache Hadoop HDFS popüler Data Lake altyapılarıdır. Modern Delta Lake, Apache Iceberg ve Apache Hudi açık tablo formatları ise ACID işlem desteği ve şema evrimi ekleyerek Data Lake ile Data Warehouse özelliklerini "Lakehouse" mimarisinde birleştirir. Yapay zeka ve büyük dil modeli (LLM) alanında ise Data Lake, model öncesi (pre-training) ham veri havuzu ve fine-tuning veri kümesi deposu olarak kritik bir rol üstlenmektedir; bu nedenle modern yapay zeka altyapılarının ayrılmaz bir parçası hâline gelmektedir.
Data Lake (Veri Gölü)
Data Lake (Türkçe: Veri Gölü), yapılandırılmış, yarı yapılandırılmamış ve yapılandırılmamış verilerin orijinal ham formatlarında depolandığı merkezi, ölçeklenebilir bir büyük veri deposudur. Geleneksel veri ambarlarının aksine, Data Lake veriye önceden bir şema uygulamaz; veriler ham hâlde saklanır ve sorgu anında şema belirlenir (schema-on-read yaklaşımı). Bu esneklik aracılığıyla log dosyaları, görüntüler, videolar, sensör verileri ve JSON/CSV gibi farklı formatlardaki veriler aynı depoda bir arada tutulabilir. "Data Lake" kavramı ilk olarak 2010 yılında Pentaho'nun CTO'su James Dixon tarafından kavramsallaştırılmıştır. Dixon, veri ambarlarını sunum için hazır su şişeleriyle kıyaslarken Data Lake'i kendi doğal ve safiyetini koruyan bir göle benzetti: tüm su kaynakları (veriler) doğal hâlde bu göle akar ve kullanıcılar ihtiyaçlarına göre bu gölden istedikleri miktarda ve formatta su alır. Bir Data Lake mimarisi genellikle birkaç katmandan oluşur. Ham veri bölgesi (Raw/Landing Zone), kaynak sistemlerden gelen verilerin sıfır değişiklikle aktarıldığı giriş noktasıdır. Rafine veri bölgesi (Curated Zone), temizleme, dönüştürme ve kalite kontrolünden geçirilmiş verileri barındırır. Tüketim bölgesi (Consumption Zone) ise iş analistleri, veri bilimciler ve makine öğrenmesi uygulamaları tarafından kullanıma hazır hâle getirilmiş verileri içerir. Data Lake'in başlıca avantajları arasında yüksek ölçeklenebilirlik, düşük birim depolama maliyeti ve veri formatı esnekliği sayılabilir. Ancak yeterli yönetim ve kataloglama araçları olmadığında "Data Swamp" (Veri Bataklığı) hâline gelebilir: verinin nereden geldiği, ne anlama geldiği ve nasıl kullanılacağı belirsizleşir. Bu sorunu çözmek için veri kataloğu (data catalog), veri soyu takibi (data lineage) ve meta veri yönetimi araçları kullanılır. Günümüzde AWS S3 + Glue, Azure Data Lake Storage Gen2, Google Cloud Storage ve Apache Hadoop HDFS popüler Data Lake altyapılarıdır. Modern Delta Lake, Apache Iceberg ve Apache Hudi açık tablo formatları ise ACID işlem desteği ve şema evrimi ekleyerek Data Lake ile Data Warehouse özelliklerini "Lakehouse" mimarisinde birleştirir. Yapay zeka ve büyük dil modeli (LLM) alanında ise Data Lake, model öncesi (pre-training) ham veri havuzu ve fine-tuning veri kümesi deposu olarak kritik bir rol üstlenmektedir; bu nedenle modern yapay zeka altyapılarının ayrılmaz bir parçası hâline gelmektedir.
Data Mining (Veri Madenciliği)
Veri madenciligi (data mining), buyuk veri kumelerinde gizli kalıpları, anlamlı ilişkileri ve bilgiyi outomatic olarak kesfetme sureci. Istatistik, makine ogrenmesi ve veritabani yonetiminin kesisiminde yer alan bu alan; ham verinin islenmesiyle anlamlı is kararlarına yol acan bilgiye donusturulmesi hedefler. Veri madenciligi sureci tipik olarak CRISP-DM (Cross-Industry Standard Process for Data Mining) metodolojisiyle yurutulur: is anlayisi, veri anlayisi, veri hazirlama, modelleme, degerlendirme ve deployment asamalarindan olusur. Bu cerceve, veri bilimiyle buyuk olcude ortusmektedir. Temel veri madenciligi teknikleri sunlardir: siniflandirma (classification) — yeni ornekleri bilinen kategorilere atama; kumeleme (clustering) — etiket olmaksizin benzer ornekleri gruplama; birliktelik kurali ogrenme (association rule learning) — birlikte gozuklenen ogeleri kesfetme; anomali tespiti (anomaly detection) — aykiri degerleri bulma; regresyon — sayisal degerleri tahmin etme. Birliktelik kurali ogrenme, sepet analizi (market basket analysis) olarak bilinen uygulamada kucuk bir ornek olarak Apriori ve FP-Growth algoritmalari kullanilir. 'Bira alan musteri bez de satin alır' gibi iliskiler bu teknikle kesfedilmistir. Bu oneri motorlarinın, cross-selling stratejilerinin ve icerik onerisinin temelini olusturur. Veri madenciligi; perakende (urun onerisindeki), finans (kredi riski, sahtekarlık tespiti), saglik (tani destegi, hasta gruplama) ve telekomunikasyon (musteri kaybı tahmini — churn) gibi alanlarda yaygin kullanim alanlarina sahiptir.
Data Warehouse (Veri Ambarı)
Veri Ambarı (Data Warehouse), farklı kaynaklardan toplanan büyük miktarda yapılandırılmış verinin analitik sorgular ve iş zekası (BI) uygulamaları için optimize edilmiş şekilde depolandığı merkezi bir veritabanı sistemidir. Günlük işlem (OLTP) veritabanlarından farklı olarak veri ambarları, tarihsel veriyi korumak, karmaşık analizler yapmak ve karar destek sistemlerine veri sağlamak amacıyla tasarlanmıştır. Bill Inmon, 1990'da veri ambarını dört temel özellikle tanımladı: (1) Konu odaklı — müşteri, ürün veya satış gibi belirli iş konuları etrafında organize edilir; (2) Entegre — farklı kaynaklardan gelen veriler tutarlı bir formatta birleştirilir; (3) Değişmez — bir kez yüklenen veriler güncellenmez, yalnızca yeni kayıtlar eklenir; (4) Zaman serili — veriler belirli dönemlere ait etiketlerle saklanır ve tarihsel analiz mümkün kılınır. Veri ambarına veri yüklemek için ETL (Extract, Transform, Load) süreci kullanılır: kaynak sistemlerden veri çekilir, temizlenip dönüştürülür ve ambar tablolarına yüklenir. Modern yaklaşımlarda ELT (ham veri önce yüklenir, sonra dönüştürülür) yöntemi de yaygınlaşmıştır. Boyutsal modelleme (dimensional modeling) tekniğiyle oluşturulan yıldız (star) ve kar tanesi (snowflake) şema tasarımları, sorgu performansını artırır. Bulut çağında Amazon Redshift, Google BigQuery, Snowflake ve Microsoft Azure Synapse Analytics gibi MPP (Massively Parallel Processing) mimarili çözümler petabayt ölçeğinde veri işlemeyi mümkün kılmaktadır. Data Lakehouse mimarisi ise veri ambarı ile Data Lake'in avantajlarını tek platformda birleştirmektedir. Veri ambarları; finans raporlaması, müşteri segmentasyonu, tedarik zinciri optimizasyonu ve makine öğrenimi feature store'ları için kritik altyapıdır.
ETL (Extract, Transform, Load)
ETL (Extract, Transform, Load — Çıkar, Dönüştür, Yükle), farklı kaynak sistemlerden ham verinin toplanıp temizlenerek analitik bir hedefe aktarılmasını sağlayan veri entegrasyon sürecidir. Her veri mühendisliği ve veri ambarı projesinin omurgasını oluşturur; kaliteli veriyi olmayan hiçbir makine öğrenimi modeli ya da iş zekası raporu başarılı olamaz. Extract (Çıkarma) aşamasında veri; ilişkisel veritabanları, REST API'ları, dosya sistemleri (CSV, JSON, XML, Parquet), akış platformları (Kafka, Kinesis) veya SaaS uygulamalarından ham biçimde çekilir. Transform (Dönüştürme) aşamasında bu ham veri; temizlenir (eksik ve tutarsız değerler giderilir), normalize edilir (farklı kaynaklardaki kodlamalar birleştirilir), zenginleştirilir (dış referans tablolarıyla birleştirilir) ve hedef şemaya dönüştürülür. Load (Yükleme) aşamasında ise işlenmiş veri; veri ambarı, veri gölü veya analitik veritabanına yazılır. Modern mimarilerde ETL'nin yerini giderek ELT (Extract, Load, Transform) alıyor: ham veri önce bulut veri ambarına yükleniyor (Amazon Redshift, Google BigQuery, Snowflake), ardından dönüşümler SQL veya dbt (data build tool) aracılığıyla doğrudan hedefteki güçlü işlem kapasitesiyle gerçekleştiriliyor. Bu yaklaşım hem maliyet hem de sürdürülebilirlik açısından avantajlıdır. Makine öğrenimi hattında ETL, feature store'ları besleyen ve model eğitimi için veri setleri hazırlayan kritik bileşendir. Yaygın ETL araçları arasında Apache Airflow, dbt, Apache Spark, Fivetran, Talend ve AWS Glue sayılabilir. Büyük ölçekli sistemlerde mikro-toplu (micro-batch) ve akış (streaming) ETL da standart pratikler arasındadır.
Unsupervised Learning (Denetimsiz Öğrenme)
Gözetimsiz öğrenme (unsupervised learning), etiketlenmemiş veriden gizli yapı, örüntü ve ilişkileri keşfeden makine öğrenmesi paradigmasıdır. Denetimli öğrenmeden farklı olarak doğru cevap yoktur; algoritma veriyi anlamlandırmak için kendi iç organizasyonunu geliştirir. Kümeleme (clustering), gözetimsiz öğrenmenin en yaygın uygulamasıdır. K-Means, birbirine benzer örnekleri gruplara ayırır; her grup bir merkoid (centroid) tarafından temsil edilir. Hiyerarşik kümeleme dendogram adı verilen bir ağaç yapısı oluşturarak farklı çözünürlük seviyelerinde gruplar sunar. DBSCAN ise yoğunluk tabanlı bir yaklaşımla düzensiz şekilli kümeler ve aykırı değerleri ayırt edebilir. Boyut azaltma, yüksek boyutlu veriyi anlamlı alt uzaylara projeksiyon yaparak hem görselleştirme hem de hesaplama verimliliğini artıran başka bir gözetimsiz öğrenme alanıdır. PCA (Temel Bileşen Analizi) varyansı maksimize eden ortogonal bileşenler bulurken, t-SNE ve UMAP yerel yapıyı koruyarak 2D veya 3D görselleştirme için idealdir. Üretken modeller de gözetimsiz öğrenme kapsamında değerlendirilebilir. Otokodlayıcılar (autoencoders) veriyi sıkıştıran ve yeniden üreten bir enkoder-dekoder mimarisi kurar; öğrenilen gizli temsil anomali tespiti, gürültü giderme ve özellik çıkarımı için kullanılır. Gözetimsiz öğrenme, etiket maliyetinin yüksek olduğu tıbbi görüntü analizi, müşteri segmentasyonu, belge kümeleme ve öneri sistemi gibi alanlarda kritik değer taşır. Ayrıca denetimli öğrenme öncesinde veri keşfi ve ön işleme aşamasında standart bir araç olarak kullanılır.
Web Scraping (Veri Kazıma (Web Kazıma))
Web kazima (web scraping), bir web sitesinin HTML icerigini programatik olarak indirip anlamli verileri cikarma surecidir. Manuel kopya-yapistirmanin aksine, web kazima belirli bir hedef yapiya sahip veriler icin (fiyat takibi, arastirma verisi toplama, pazar analizi) buyuk olcekte otomasyon saglar. Temel web kazima sureci uc adimdan olusur: istek gonderme (HTTP GET/POST), HTML ayristirma (parsing) ve veri cikarma. Python'da Requests kutuphanesi HTTP isteklerini yonetirken BeautifulSoup veya lxml CSS selektorler ve XPath ifadeleriyle istenen elemanları ayıklar. Scrapy ise asenkron mimiriyisiyle binlerce sayfayi verimli sekilde gezebilen tam donanımli bir web kazima cercevesidir. Dinamik web siteleri, JavaScript ile iceriklerini tarayıcıda olusturdugundan geleneksel HTTP temelli kazima yetersiz kalır. Bu durumda Playwright veya Selenium gibi tarayici otomasyon araclari, gercek bir tarayici ortaminda sayfayi render ederek dinamik icerige erisimi mumkun kilar. Playwright, Chrome, Firefox ve WebKit destegi ve asenkron mimarisiyle modern tercih olmustur. Web kazimada etik ve hukuki boyutlar buyuk onem tasir. robots.txt dosyasi, site sahiplerinin hangi yollarin kazınmasını istemedigini belirtir; bu dosyaya uymak etik bir zorunluluktur. Hizmet sartlari (Terms of Service), bazi siteler icin kazima islemini yasal zeminde sinirlandirabilir; kisisel veri iceren icerik GDPR ve KVKK kapsaminda ek duyarlilik gerektirir. Sunuculara asiri istek gonderme, hedef siteyi yavaslatabir veya yasal sorumluluk dogurabilir; bu nedenle istekler arasinda makul gecikmeler birakmak standart uygulamadir. Anti-kazima teknolojileri de gelismistir: CAPTCHA, IP engelleme, istek parmak izi analizi ve JavaScript zorunlulugu bunlar arasindadir. Bu engelleri asmanın yollari arasinda proxy rotasyonu, kullanici-ajanı (user-agent) spoofing ve web scraping API hizmetleri (ScrapingBee, Apify, Bright Data) yer almaktadir.