tag OnlineLearning

Bu sayfada OnlineLearning etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

Stream mining (veri akışı madenciliği), sınırsız, sürekli ve yüksek hızla akan veri üzerinde gerçek zamanlı örüntü, anomali ve bilgi keşfi yapan makine öğrenmesi ve veri madenciliği paradigmasıdır. Geleneksel veri madenciliği, tüm veriyi belleğe yükleyerek çok kez üzerinden geçebildiği statik veri kümelerine (batch) dayalıdır. Veri akışlarında ise bu yaklaşım işe yaramaz: sensörlerden, finansal işlem sistemlerinden, sosyal medya API'lerinden veya ağ trafiğinden saniyede milyonlarca kayıt akar; her gelen kayıt sınırlı süre içinde işlenmeli, bellekte tutulmadan öğrenmeye katkı sağlamalı ve ardından atılmalıdır. Stream mining algoritmalarının karşılamak zorunda olduğu üç temel kısıt vardır. Birincisi, her veri noktası yalnızca bir kez (veya sınırlı sayıda kez) işlenebilir. İkincisi, bellek ve hesaplama kullanımı akış hızına uyum sağlayacak biçimde sabit ya da en azından logaritmik kalmalıdır. Üçüncüsü ise kavram kayması (concept drift): veri akışının istatistiksel özellikleri zaman içinde değişebilir; model buna uyum sağlayabilmelidir. ADWIN (Adaptive Windowing) ve DDM (Drift Detection Method) gibi algoritmalar kavram kaymasını tespit edip modeli anında yeniden kalibre eder. Akış madenciliğinin temel algoritmaları arasında Hoeffding Trees (Very Fast Decision Trees) öne çıkar; bu karar ağacı türü, küçük örneklem boyutlarında bile istatistiksel güven sınırı hesaplayarak dal açmaya karar verir ve tam batch eğitimine çok yakın doğruluk sunar. Reservoir Sampling, boyutu bilinmeyen bir akıştan eşit olasılıklı temsili örneklem çekmeyi mümkün kılar. Count-Min Sketch gibi olasılıksal veri yapıları, büyük akışlarda sıklık sayımını sabit bellekle gerçekleştirir. Apache Kafka, Apache Flink ve Apache Spark Structured Streaming bu işlemleri ölçekli dağıtık ortamlarda yürüten başlıca platformlardır. Uygulama alanları kritik ve çeşitlidir: kredi kartı dolandırıcılığı tespiti, ağ saldırısı anomali izleme, endüstriyel IoT'da kestirimci bakım, gerçek zamanlı öneri sistemleri ve hava kalitesi ile trafik yoğunluğu tahmini bunların başında gelir.

stream

Stream Mining (Veri Akışı Madenciliği)

Stream mining (veri akışı madenciliği), sınırsız, sürekli ve yüksek hızla akan veri üzerinde gerçek zamanlı örüntü, anomali ve bilgi keşfi yapan makine öğrenmesi ve veri madenciliği paradigmasıdır. Geleneksel veri madenciliği, tüm veriyi belleğe yükleyerek çok kez üzerinden geçebildiği statik veri kümelerine (batch) dayalıdır. Veri akışlarında ise bu yaklaşım işe yaramaz: sensörlerden, finansal işlem sistemlerinden, sosyal medya API'lerinden veya ağ trafiğinden saniyede milyonlarca kayıt akar; her gelen kayıt sınırlı süre içinde işlenmeli, bellekte tutulmadan öğrenmeye katkı sağlamalı ve ardından atılmalıdır. Stream mining algoritmalarının karşılamak zorunda olduğu üç temel kısıt vardır. Birincisi, her veri noktası yalnızca bir kez (veya sınırlı sayıda kez) işlenebilir. İkincisi, bellek ve hesaplama kullanımı akış hızına uyum sağlayacak biçimde sabit ya da en azından logaritmik kalmalıdır. Üçüncüsü ise kavram kayması (concept drift): veri akışının istatistiksel özellikleri zaman içinde değişebilir; model buna uyum sağlayabilmelidir. ADWIN (Adaptive Windowing) ve DDM (Drift Detection Method) gibi algoritmalar kavram kaymasını tespit edip modeli anında yeniden kalibre eder. Akış madenciliğinin temel algoritmaları arasında Hoeffding Trees (Very Fast Decision Trees) öne çıkar; bu karar ağacı türü, küçük örneklem boyutlarında bile istatistiksel güven sınırı hesaplayarak dal açmaya karar verir ve tam batch eğitimine çok yakın doğruluk sunar. Reservoir Sampling, boyutu bilinmeyen bir akıştan eşit olasılıklı temsili örneklem çekmeyi mümkün kılar. Count-Min Sketch gibi olasılıksal veri yapıları, büyük akışlarda sıklık sayımını sabit bellekle gerçekleştirir. Apache Kafka, Apache Flink ve Apache Spark Structured Streaming bu işlemleri ölçekli dağıtık ortamlarda yürüten başlıca platformlardır. Uygulama alanları kritik ve çeşitlidir: kredi kartı dolandırıcılığı tespiti, ağ saldırısı anomali izleme, endüstriyel IoT'da kestirimci bakım, gerçek zamanlı öneri sistemleri ve hava kalitesi ile trafik yoğunluğu tahmini bunların başında gelir.

arrow_forward