tag WordEmbedding

Bu sayfada WordEmbedding etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

Word2Vec, 2013 yılında Google'dan Tomas Mikolov ve ekibi tarafından geliştirilen, büyük metin korpuslarından kelime vektörleri öğrenen sinir ağı tabanlı bir gömme modelidir. Temel fikir, anlamsal açıdan birbirine yakın kelimelerin yüksek boyutlu uzayda da birbirine yakın noktalara karşılık gelmesidir; bu ilke dağılımsal anlam hipotezi olarak bilinir. Model iki farklı mimariyle eğitilebilir. CBOW (Continuous Bag of Words) mimarisinde bağlam kelimeleri girdi olarak alınır ve merkez kelime tahmin edilir; bu yaklaşım hızlı eğitim ve sık kelimelerde iyi performans sunar. Skip-gram mimarisinde ise tek bir merkez kelimeden yola çıkılarak çevresindeki bağlam kelimeleri tahmin edilir; bu yöntem nadir kelimeler için daha iyi temsiller üretir. Her iki mimari de negatif örnekleme (negative sampling) veya hiyerarşik softmax teknikleriyle milyonlarca parametreyi verimli biçimde optimize eder. Word2Vec'in en çarpıcı özelliği vektör aritmetiğine olanak tanımasıdır. 'Kral − Erkek + Kadın ≈ Kraliçe' örneği, modelin yalnızca birlikte geçme istatistiklerinden cinsiyet, rütbe ve meslek gibi soyut ilişkileri kodladığını göstermektedir. Bu ilişkiler çeviri, anlam genişlemesi ve metafor tespitinde kullanılmaktadır. Word2Vec'in sınırlılıkları da belirgindir: her kelime için tek bir sabit vektör üretir; bu nedenle 'banka' gibi çok anlamlı (polysemous) kelimelerde bağlama göre anlam ayrımı yapılamaz. ELMo (2018) bu sorunu LSTM tabanlı bağlama duyarlı temsiliyle çözmeye başladı; ardından gelen BERT ve GPT gibi transformer tabanlı modeller ise dinamik gömme anlayışını endüstri standardına taşıdı. Buna karşın Word2Vec, hesaplamalı maliyetinin son derece düşük olması nedeniyle kaynak kısıtlı ortamlarda, öneri sistemlerinde ve belge sınıflandırmasında hâlâ tercih edilmektedir. GloVe (Global Vectors for Word Representation) ve FastText, Word2Vec'in temellerini genişleten önemli alternatiflerdir: GloVe küresel birlikte geçme istatistiklerini kullanırken, FastText alt kelime parçalarını (subword) modelleyerek bilinmeyen kelimeleri de temsil edebilir.

code_blocks

Word2Vec (Kelime-Vektör Gömme Modeli)

Word2Vec, 2013 yılında Google'dan Tomas Mikolov ve ekibi tarafından geliştirilen, büyük metin korpuslarından kelime vektörleri öğrenen sinir ağı tabanlı bir gömme modelidir. Temel fikir, anlamsal açıdan birbirine yakın kelimelerin yüksek boyutlu uzayda da birbirine yakın noktalara karşılık gelmesidir; bu ilke dağılımsal anlam hipotezi olarak bilinir. Model iki farklı mimariyle eğitilebilir. CBOW (Continuous Bag of Words) mimarisinde bağlam kelimeleri girdi olarak alınır ve merkez kelime tahmin edilir; bu yaklaşım hızlı eğitim ve sık kelimelerde iyi performans sunar. Skip-gram mimarisinde ise tek bir merkez kelimeden yola çıkılarak çevresindeki bağlam kelimeleri tahmin edilir; bu yöntem nadir kelimeler için daha iyi temsiller üretir. Her iki mimari de negatif örnekleme (negative sampling) veya hiyerarşik softmax teknikleriyle milyonlarca parametreyi verimli biçimde optimize eder. Word2Vec'in en çarpıcı özelliği vektör aritmetiğine olanak tanımasıdır. 'Kral − Erkek + Kadın ≈ Kraliçe' örneği, modelin yalnızca birlikte geçme istatistiklerinden cinsiyet, rütbe ve meslek gibi soyut ilişkileri kodladığını göstermektedir. Bu ilişkiler çeviri, anlam genişlemesi ve metafor tespitinde kullanılmaktadır. Word2Vec'in sınırlılıkları da belirgindir: her kelime için tek bir sabit vektör üretir; bu nedenle 'banka' gibi çok anlamlı (polysemous) kelimelerde bağlama göre anlam ayrımı yapılamaz. ELMo (2018) bu sorunu LSTM tabanlı bağlama duyarlı temsiliyle çözmeye başladı; ardından gelen BERT ve GPT gibi transformer tabanlı modeller ise dinamik gömme anlayışını endüstri standardına taşıdı. Buna karşın Word2Vec, hesaplamalı maliyetinin son derece düşük olması nedeniyle kaynak kısıtlı ortamlarda, öneri sistemlerinde ve belge sınıflandırmasında hâlâ tercih edilmektedir. GloVe (Global Vectors for Word Representation) ve FastText, Word2Vec'in temellerini genişleten önemli alternatiflerdir: GloVe küresel birlikte geçme istatistiklerini kullanırken, FastText alt kelime parçalarını (subword) modelleyerek bilinmeyen kelimeleri de temsil edebilir.

arrow_forward