tag RecordLinkage

Entity Resolution (Varlık Çözümleme)

Bu sayfada RecordLinkage (Entity Resolution (Varlık Çözümleme)) etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

Varlık çözümleme (entity resolution), farklı veri kaynaklarındaki kayıtların aynı gerçek dünya varlığına ait olup olmadığını belirleme sürecidir. Bu süreç kayıt bağlama (record linkage), varlık eşleştirme (entity matching) veya çoğaltma tespiti (deduplication) olarak da adlandırılır. Temel zorluk, aynı varlığı temsil eden kayıtların yazım hatası, kısaltma, format farklılığı ya da eksik alan nedeniyle tam eşleşmemesidir: 'Ali Demir', 'A. Demir' ve 'Ahmet Ali Demir' aynı kişiyi tanımlıyor olabilir. Geleneksel varlık çözümleme süreci üç aşamadan oluşur. Önce engelleme (blocking) aşamasında, karşılaştırma uzayını yönetilebilir boyuta indirmek amacıyla yalnızca potansiyel eşleşme adayları bir araya getirilir; phonetic blocking (Soundex, Metaphone), LSH (Locality-Sensitive Hashing) ve token tabanlı engelleme bu amaçla kullanılan başlıca tekniklerdir. Ardından benzerlik puanlama aşamasında her aday çift için Jaro-Winkler mesafesi, TF-IDF kosinüs benzerliği ve alan bazlı ağırlıklandırma gibi yöntemlerle bir eşleşme skoru hesaplanır. Son olarak karar verme aşamasında bu skor bir eşik değeriyle karşılaştırılır ya da sınıflandırıcı modelden geçirilir. Derin öğrenme yaklaşımları varlık çözümlemeyi kökten dönüştürmüştür. BERT tabanlı modeller her kaydı bağlama duyarlı bir vektörle temsil eder; Ditto (2020) gibi modeller LLM'leri fine-tune ederek kural tabanlı sistemlerin ötesinde doğruluk elde etmektedir. Grafik tabanlı yaklaşımlarda ise kayıtlar düğüm, ilişkiler kenar olarak modellenir; topluluk tespiti algoritmaları kümeler içindeki tutarsızlıkları ortaya çıkarır. Uygulama alanları son derece geniştir: müşteri verisi platformlarında çift profil tespiti, sağlık kayıtlarında hasta kimliği birleştirme, e-ticarette ürün kataloğu tekilleştirme ve mali suç tespitinde şüpheli şirket bağlantıları bunların başında gelir. Varlık çözümleme, veri kalitesi yönetiminin temel bileşenidir ve ölçek büyüdükçe hesaplama maliyeti ile recall/precision dengesi temel mühendislik kısıtlarını oluşturur. Özellikle büyük ölçekli MDM (Master Data Management) projeleri ve bilgi grafı sistemleri, varlık çözümleme olmadan tutarlı bir veri altyapısı kuramaz.

link

Entity Resolution (Varlık Çözümleme)

Varlık çözümleme (entity resolution), farklı veri kaynaklarındaki kayıtların aynı gerçek dünya varlığına ait olup olmadığını belirleme sürecidir. Bu süreç kayıt bağlama (record linkage), varlık eşleştirme (entity matching) veya çoğaltma tespiti (deduplication) olarak da adlandırılır. Temel zorluk, aynı varlığı temsil eden kayıtların yazım hatası, kısaltma, format farklılığı ya da eksik alan nedeniyle tam eşleşmemesidir: 'Ali Demir', 'A. Demir' ve 'Ahmet Ali Demir' aynı kişiyi tanımlıyor olabilir. Geleneksel varlık çözümleme süreci üç aşamadan oluşur. Önce engelleme (blocking) aşamasında, karşılaştırma uzayını yönetilebilir boyuta indirmek amacıyla yalnızca potansiyel eşleşme adayları bir araya getirilir; phonetic blocking (Soundex, Metaphone), LSH (Locality-Sensitive Hashing) ve token tabanlı engelleme bu amaçla kullanılan başlıca tekniklerdir. Ardından benzerlik puanlama aşamasında her aday çift için Jaro-Winkler mesafesi, TF-IDF kosinüs benzerliği ve alan bazlı ağırlıklandırma gibi yöntemlerle bir eşleşme skoru hesaplanır. Son olarak karar verme aşamasında bu skor bir eşik değeriyle karşılaştırılır ya da sınıflandırıcı modelden geçirilir. Derin öğrenme yaklaşımları varlık çözümlemeyi kökten dönüştürmüştür. BERT tabanlı modeller her kaydı bağlama duyarlı bir vektörle temsil eder; Ditto (2020) gibi modeller LLM'leri fine-tune ederek kural tabanlı sistemlerin ötesinde doğruluk elde etmektedir. Grafik tabanlı yaklaşımlarda ise kayıtlar düğüm, ilişkiler kenar olarak modellenir; topluluk tespiti algoritmaları kümeler içindeki tutarsızlıkları ortaya çıkarır. Uygulama alanları son derece geniştir: müşteri verisi platformlarında çift profil tespiti, sağlık kayıtlarında hasta kimliği birleştirme, e-ticarette ürün kataloğu tekilleştirme ve mali suç tespitinde şüpheli şirket bağlantıları bunların başında gelir. Varlık çözümleme, veri kalitesi yönetiminin temel bileşenidir ve ölçek büyüdükçe hesaplama maliyeti ile recall/precision dengesi temel mühendislik kısıtlarını oluşturur. Özellikle büyük ölçekli MDM (Master Data Management) projeleri ve bilgi grafı sistemleri, varlık çözümleme olmadan tutarlı bir veri altyapısı kuramaz.

arrow_forward