tag NLP

Natural Language Processing (Doğal Dil İşleme)

Bu sayfada NLP (Natural Language Processing (Doğal Dil İşleme)) etiketi ile işaretlenmiş 59 yapay zeka kavramını bulabilirsiniz.

Doğal Dil İşleme (NLP — Natural Language Processing), bilgisayarların insan dilini anlama, yorumlama, üretme ve anlamlı biçimde yanıt verme yeteneğini geliştiren yapay zeka dalıdır. Dilbilim, bilgisayar bilimi ve makine öğreniminin kesişim noktasında yer alan NLP, günümüzde ChatGPT gibi sohbet robotlarından Google Arama'ya, otomatik çeviriden sesli asistanlara kadar geniş bir kullanım alanına ulaşmıştır. NLP'nin temel işlem hattı birkaç katmandan oluşur: tokenizasyon (metni sözcük veya alt-sözcük parçalarına ayırma), morfolojik analiz (kelime köklerini ve eklerini çözümleme), sözdizimi çözümlemesi (cümle yapısını ağaçla modelleme) ve anlambilimsel analiz (bağlamı ve niyeti kavrama). Modern derin öğrenme yaklaşımları bu aşamaları büyük ölçüde bütünleşik sinir ağlarıyla uçtan uca öğrenir; BERT ve GPT serisi bu dönüşümün simgesi haline gelmiştir. Türkçe, sondan eklemeli (agglutinative) morfolojisi nedeniyle NLP için özellikle zorlu bir dildir. "Gidebileceklerinden" gibi tek bir sözcük onlarca anlam katmanı barındırabilir. BERTurk, Turkish GPT ve Zemberek gibi projeler Türkçe özelinde çözümler geliştirirken, Byte Pair Encoding (BPE) ve SentencePiece alt-sözcük tokenizasyonu dil modellerinin Türkçeyi verimli işlemesini mümkün kılmaktadır. 2017'de yayımlanan Transformer mimarisi NLP'yi köklü biçimde dönüştürdü: öz-dikkat mekanizması ile modeller uzun menzilli bağımlılıkları yakalayabildi. BERT (2018), GPT-3 (2020) ve ChatGPT (2022) bu dönüşümün kilometre taşlarıdır. Günümüzde büyük dil modelleri (LLM) NLP görevlerinin büyük çoğunluğunda insan düzeyine yaklaşmış ya da aşmıştır. NLP; metin sınıflandırma, adlandırılmış varlık tanıma, makine çevirisi, duygu analizi, soru-cevap sistemleri ve özetleme başta olmak üzere onlarca kritik uygulamaya güç vermektedir. Endüstride NLP bileşenleri yaygın biçimde kullanılmaktadır: müşteri hizmetlerinde chatbot ve otomasyon, hukuk teknolojisinde belge tarama, sağlık alanında klinik not çözümleme ve ilaç literatürü analizi. Retrieval-Augmented Generation (RAG) mimarisinde NLP katmanları, kullanıcı sorgusunu vektör uzayında temsil edip ilgili belgeleri alır; böylece LLM'in güncel ve doğru yanıtlar üretmesi desteklenir. Türkiye'de e-devlet platformları, fintech uygulamaları ve yerli yapay zeka girişimleri Türkçe NLP altyapısına giderek artan yatırım yapmaktadır.

center_focus_strong

Attention (Dikkat Mekanizması) (Dikkat Mekanizması)

Attention (Dikkat Mekanizması), bir sinir ağının çıktı üretirken giriş dizisinin hangi bölümlerine ne ölçüde odaklanacağını dinamik olarak öğrenen nöral ağ bileşenidir. 2014'te makine çevirisi için önerilen temel dikkat mekanizması, 2017'de "Attention Is All You Need" makalesiyle Transformer mimarisinin çekirdeğine dönüştü ve modern yapay zekanın en dönüştürücü bileşeni haline geldi. Dikkat mekanizmasının temel sezgisi, insan dikkatini taklit etmektir: cümledeki her kelimeye eşit ağırlık vermek yerine, o anki tahmin için en ilgili kelimelere daha yüksek ağırlık vermek. Matematiksel olarak üç matris kullanılır: Sorgu (Query, Q), Anahtar (Key, K) ve Değer (Value, V). Q ile K'nın nokta çarpımı yumuşatılmış maksimum (softmax) fonksiyonundan geçirilerek dikkat ağırlıkları elde edilir; bu ağırlıklar V matrisinin ağırlıklı toplamını belirler: Attention(Q, K, V) = softmax(QK^T / √d_k) × V. Öz-dikkat (self-attention), bir dizinin kendi içindeki öğeler arasındaki bağımlılıkları modelleyerek çalışır; GPT ve BERT bu mekanizmayı kullanır. Çapraz dikkat (cross-attention) ise farklı iki dizinin öğelerini ilişkilendirir; kodlayıcı-çözücü modellerinde sorgu çözücüden, anahtar/değer çiftleri kodlayıcıdan gelir. Çok başlı dikkat (multi-head attention), birden fazla dikkat başını paralel çalıştırarak farklı ilişki alt uzaylarını eş zamanlı öğrenir. Dikkat mekanizması, konum bilgisini doğrudan içermez; bu nedenle Transformer'lara konumsal kodlama (positional encoding) eklenir. Flash Attention gibi bellek-etkin uygulamalar uzun bağlam pencerelerini mümkün kılarken kayan pencere dikkat (sliding window attention) yerel bağımlılıklara odaklanarak hesaplama karmaşıklığını düşürür. Dikkat mekanizması yalnızca dil modeliyle sınırlı kalmadı: Vision Transformer (ViT) görüntü yamalarını dizi olarak ele alarak öz-dikketi bilgisayarlı görüye uyarladı; Whisper ses tanıma, AlphaFold 2 protein yapısı tahmini de bu mekanizmaya dayanır. RNN ve LSTM'nin hâkim olduğu dönemde paralelleştirme kısıtlaması aşılamıyordu; dikkat mekanizması bu kısıtı ortadan kaldırarak GPT-4, Gemini ve Claude gibi modellerin 100.000+ token bağlam penceresiyle çalışmasını olanaklı kıldı.

arrow_forward hearing

Audio Captioning (Ses Açıklaması)

Audio Captioning (Otomatik Ses Açıklaması), bir yapay zeka modelinin ham ses verisini analiz ederek içeriği doğal dil cümleleriyle otomatik olarak betimlemesi görevidir. Yalnızca konuşmayı metne dönüştüren speech-to-text sistemlerinin aksine, audio captioning müzik, çevre sesleri, hayvan sesleri ve insan aktivitelerini tek bir anlamlı cümle veya paragrafta bir araya getirir. Teknik süreç encoder-decoder mimarisi üzerine kuruludur. Ses sinyali MFCC, mel spektrogram veya ham dalga biçimi (waveform) olarak kodlanır; ardından bir dil modeli bu ses temsilini doğal dile çevirir. Son dönemde CLAP (Contrastive Language-Audio Pretraining) gibi modeller, ses ile metni ortak bir anlam uzayında eşleştirerek captioning kalitesini önemli ölçüde artırmaktadır. Alandaki temel veri kümeleri şunlardır: Clotho (4.981 ses klibi, her biri beş referans açıklamayla birlikte; DCASE yarışmasının ana değerlendirme kümesi), AudioCaps (AudioSet'ten 46.000 klipin insan tarafından yazılmış açıklamaları) ve WavCaps (ChatGPT destekli işleme hattıyla oluşturulmuş yaklaşık 400.000 klip). Model başarımı BLEU, METEOR, CIDEr ve SPIDEr metrikleriyle ölçülür. Uygulama alanları arasında işitme engelli bireyler için otomatik içerik açıklaması, büyük ses arşivlerinin metin tabanlı aranabilir kılınması, medya arşivleme, akıllı ev sistemleri ve güvenlik kameraları için ortam olay tespiti ile podcast içerik indeksleme sayılabilir. DCASE (Detection and Classification of Acoustic Scenes and Events) uluslararası yarışması, audio captioning alanındaki akademik ilerlemenin ana ölçütüdür. 2025-2026 itibarıyla alanın öncü yaklaşımı, ses kodlayıcı olarak CLAP veya BEATs modelini Qwen-Audio, LLaMA-3 veya Gemma gibi açık ağırlıklı büyük dil modelleriyle birleştiren sistemlerdir. Bu mimaride ses kodlayıcı çıktısı, projeksiyon katmanı aracılığıyla dil modelinin giriş uzayına eşlenir; böylece model karmaşık ses sahnelerini bağlam duyarlı ve tutarlı cümlelerle betimleyebilir. Sıfır-atım (zero-shot) captioning için ise GPT-4o Ses veya Gemini 1.5 gibi yetenekli çok modlu modeller ek eğitim verisi olmadan rekabetçi sonuçlar elde etmektedir.

arrow_forward 🔦

Beam Search Decoding (Işın Arama Kod Çözme)

Beam search decoding, otomatik çeviriden metin özetlemeye kadar geniş bir yelpazede kullanılan temel bir çıkarım algoritmasıdır. Greedy search her adımda yalnızca en yüksek olasılıklı tek tokeni seçerken; beam search 'ışın genişliği' (beam width, k) kadar hipotezi paralel biçimde takip eder. Her adımda mevcut k hipotezin her biri en olası devamlarıyla genişletilir, ortaya çıkan k×vocab_size aday arasından toplamda en yüksek log-olasılıklı k dizisi bir sonraki adım için korunur. Son token üretildiğinde (veya EOS tokeni görüldüğünde) en yüksek kümülatif olasılıklı dizi çıktı olarak döner. k=1 greedy search ile özdeştir; k arttıkça arama kalitesi artabilir ancak hesaplama ve bellek maliyeti de k katına çıkar. Algoritmanın temel zayıflığı, ham log-olasılık toplamının kısa dizileri kayırmasıdır: her ek token küçük bir negatif değer eklediğinden model kısa ve özlü çıktılar üretmeye yönelir. Bu sorunu gidermek için length penalty (uzunluk cezası) devreye girer; nihai skor dizinin uzunluğu üzerinden normalize edilir ve α parametresiyle ayarlanır, α değeri genellikle 0.6–1.0 arasında seçilir. Çeşitlilik gerektiren görevlerde ise diverse beam search, hipotezler arasına benzerlik cezası ekleyerek tekrarlayan ve birbiriyle örtüşen çıktı dizilerini azaltır. Modern büyük dil modelleri — GPT-4, Claude veya Llama-3 gibi — çoğunlukla beam search yerine greedy arama veya temperature/top-p örneklemeyi tercih eder. Otoregresif üretimde k paralel akışın GPU bellek gereksinimini k katına çıkarması, bunun yanı sıra yüksek kapasiteli modellerde kalite farkının belirgin biçimde azalması bu tercihin başlıca nedenleridir. Makine çevirisi (Google Translate, DeepL), otomatik konuşma tanıma (ASR/STT) ve metin özetleme gibi deterministik ve tekrarlanabilir çıktı gerektiren görevlerde beam search hâlâ endüstri standardıdır. Pratik bir boyutlandırma örneği: k=5 ile 30.000 token'lık sözlükte çalışan bir makine çevirisi modeli her üretim adımında 150.000 kombinasyonu değerlendirir; bu greedy search'e kıyasla yaklaşık 5× hesaplama yükü anlamına gelir. Buna karşın elde edilen BLEU artışı, özellikle kısa ve orta uzunluktaki cümlelerde bu ek maliyeti karşılar. 2015 yılında Sutskever ve ekibinin seq2seq mimarisiyle makine çevirisinde yaptığı çalışma, beam search'in NLP alanında geniş çapta benimsenmesine öncülük etmiştir.

arrow_forward sort_by_alpha

BERT (Bidirectional Encoder Representations) (BERT Doğal Dil Modeli)

BERT (Bidirectional Encoder Representations from Transformers), Google'ın 2018'de açık kaynak olarak yayınladığı, metni soldan sağa ve sağdan sola aynı anda okuyarak her kelimenin bağlamını çözen Transformer tabanlı bir dil modelidir. GPT gibi üretken modeller bir sonraki kelimeyi tahmin ederken, BERT encoder-only mimarisiyle cümlenin tamamına bakar; bu yüzden metin sınıflandırma, varlık ismi tanıma (NER) ve soru cevaplama gibi **anlama** görevlerinde uzun süre standart model oldu. Modelin iki temel ön eğitim görevi vardır: **Masked Language Modeling (MLM)** ile token'ların yaklaşık %15'i maskelenir ve model bunları çift yönlü bağlamdan tahmin eder; **Next Sentence Prediction (NSP)** ile iki cümlenin ardışık olup olmadığı öğrenilir. Eğitim verisi BooksCorpus ve İngilizce Wikipedia'dan oluşan yaklaşık 3,3 milyar kelimedir. BERT-base 110 milyon, BERT-large 340 milyon parametre taşır; bağlam penceresi 512 token ile sınırlıdır. BERT'in en görünür etkisi arama motorlarında yaşandı. Google, Ekim 2019'da BERT'i arama sıralamasına entegre etti ve o dönemde İngilizce sorguların yaklaşık %10'unun anlaşılmasını iyileştirdiğini duyurdu; Aralık 2019'da model Türkçe dahil 70'ten fazla dile genişledi. "Brezilya'dan ABD'ye vize" gibi edatın anlamı değiştirdiği sorgularda arama niyeti ilk kez doğru okunmaya başladı. Bu, SEO'da anahtar kelime yoğunluğu yerine niyet odaklı içerik döneminin başlangıcı sayılır. 2026 itibarıyla BERT üretken sohbet modellerinin gölgesinde kalmış görünse de üretimde en çok çalıştırılan modellerden biri olmaya devam ediyor: Google aramada hâlâ sıralama sistemlerinin bir parçası, Hugging Face'te BERT türevleri (RoBERTa, DistilBERT, DeBERTa, 2024 çıkışlı ModernBERT) aylık yüz milyonlarca kez indiriliyor. Türkçe NLP'de dbmdz/bert-base-turkish-cased (BERTurk) duygu analizi ve NER projelerinin varsayılan başlangıç noktasıdır. Düşük maliyeti, birkaç yüz örnekle fine-tune edilebilmesi ve milisaniyelik çıkarım süresi, BERT'i sınıflandırma ve embedding işlerinde LLM'lere pratik bir alternatif olarak ayakta tutuyor.

arrow_forward text_fields

Byte Pair Encoding (Byte Pair Encoding)

Byte Pair Encoding (BPE), doğal dil işleme ve büyük dil modellerinde kullanılan bir alt kelime tokenizasyon algoritmasıdır. Orijinal olarak 1994 yılında Philip Gage tarafından veri sıkıştırma amacıyla tasarlanan bu algoritma, Sennrich ve ekibinin 2016 tarihli çalışmasıyla sinir ağı tabanlı makine çevirisine uyarlanmış; ardından GPT, LLaMA ve benzeri büyük dil modellerinin standart tokenizasyon yöntemi hâline gelmiştir. BPE'nin temel amacı, tam kelime tokenizasyon ile karakter tokenizasyon arasındaki dengeyi kurmaktır. Tam kelime tokenizasyon büyük bir sözlük gerektirirken eğitim sırasında hiç görülmemiş kelimeleri (OOV — Out-of-Vocabulary) işleyemez. Karakter tokenizasyon ise aşırı uzun diziler üretir ve modelin anlam ilişkilerini öğrenmesini güçleştirir. BPE bu iki yaklaşımın güçlü yanlarını birleştirir: sözlük boyutunu yönetilebilir düzeyde tutarken OOV problemini de çözer. Algoritma şu adımları izler: Başlangıçta sözlük, eğitim metinlerindeki tüm bireysel karakterlerden oluşur. Ardından en sık yan yana gelen iki token çifti belirlenerek yeni bir birim olarak birleştirilip sözlüğe eklenir. Örneğin "l", "o", "w" karakterleri önce "lo" ardından "low" birimine dönüşebilir. Bu birleştirme adımı hedef sözlük boyutuna ulaşıncaya kadar tekrarlanır. Tipik sözlük boyutları 32.000 ile 100.000 token arasında değişmektedir. GPT-2'den itibaren OpenAI, BPE'yi standart tokenizasyon yöntemi olarak benimsemiştir. GPT-4'te kullanılan tiktoken kütüphanesinin cl100k_base kodlayıcısı yaklaşık 100.000 token içerir. BERT, BPE'ye alternatif olan WordPiece algoritmasını kullanırken LLaMA ve Mistral gibi açık kaynaklı modeller SentencePiece kütüphanesiyle BPE'yi uygular. Tokenizasyon kalitesi modelin performansını doğrudan etkiler. Verimliliği ölçmek için fertilite metriği kullanılır: kelime başına ortalama token sayısı. İngilizce için bu değer yaklaşık 1,2–1,5 iken Türkçe gibi eklemeli dillerde 2,5–4 aralığına çıkabilir; bu durum aynı bağlam penceresi içine sığan bilgi miktarını azaltır ve API maliyetlerini artırır. Çok dilli sözlük desteği ve OOV dayanıklılığı sayesinde BPE, günümüz LLM geliştirme pratiklerinde vazgeçilmez bir araç olmayı sürdürmektedir.

arrow_forward balance

Debiasing (Önyargı Giderme)

Debiasing (önyargı giderme), yapay zeka ve makine öğrenimi sistemlerinde var olan önyargıları sistematik biçimde tespit etme, ölçme ve azaltma sürecidir. Önyargılı eğitim verileri üzerinde eğitilen bir model, cinsiyete, ırka, yaşa veya sosyoekonomik statüye dayalı hatalı kalıplar öğrenebilir; bu durum işe alım, kredi değerlendirme veya sağlık teşhisi gibi kritik karar süreçlerinde ciddi adaletsizliklere yol açabilir. Debiasing yaklaşımları üç ana aşamada gruplandırılır: Ön işleme (Preprocessing) aşamasında, eğitim veri setindeki dengesizlikler düzeltilir. Az temsil edilen gruplara ait örnekler çoğaltılır (oversampling) veya aşırı temsil edilenlerin sayısı azaltılır (undersampling). Karşı olgusal veri artırma (counterfactual data augmentation) yöntemiyle önyargılı ifadelerin hem eril hem dişil formları veri setine eklenerek denge kurulur. Eğitim sürecinde (In-processing) çekişmeli öğrenme (adversarial debiasing) çerçevesinde iki ağ birlikte eğitilir: asıl model başarıyı en üst düzeye çıkarırken, rakip model korunan özniteliği (örneğin cinsiyet veya ırk) tahmin etmeye çalışır ve asıl model bu tahmini engellemeye yönlendirilir. Düzenlileştirme (regularization) cezaları da adalet kısıtlarını kayıp fonksiyonuna doğrudan dahil eder. Son işleme (Post-processing) aşamasında model çıktıları yeniden kalibre edilir; demografik eşlik (demographic parity) veya eşit fırsat (equalized odds) gibi adalet metriklerine göre farklı gruplar için karar eşikleri ayrı ayrı ayarlanır. MIT'den yapılan güncel araştırmalar, iyi tasarlanmış debiasing tekniklerinin modelin genel doğruluğunu korurken daha adil çıktılar üretebildiğini göstermektedir. Bununla birlikte adalet ve doğruluk arasındaki gerilim (fairness-accuracy trade-off) araştırmacıların aktif olarak çalıştığı bir alandır. Belirli bir adalet tanımını optimize etmek başka bir adalet tanımını ihlal edebilir; örneğin demografik eşlik ile bireysel adalet aynı anda tam karşılanamayabilir. Büyük dil modellerinde (LLM) debiasing özellikle güç kazanmıştır. RLHF (insan geri bildiriminden pekiştirmeli öğrenme) süreci, modelin zararlı veya önyargılı yanıtlarını azaltmak için tasarlanmış bir debiasing katmanı işlevi görür. Debiasing, AI denetimi, açıklanabilir yapay zeka ve sorumlu yapay zeka ilkeleriyle birlikte etik AI geliştirmenin temel bileşenlerinden biridir.

arrow_forward scatter_plot

Embedding (Gömme / Vektörleştirme)

Embedding (Türkçede gömme ya da vektörleştirme), kelimelerin, cümlelerin, görsellerin veya herhangi bir veri tipinin, yapay zekânın işleyebileceği sayısal dizilere — yani vektörlere — dönüştürülmesi işlemidir. Bu dönüşüm rastgele sayılarla gerçekleştirilmez; verinin anlamsal (semantik) değerini koruyacak şekilde, çok boyutlu matematiksel bir uzayda koordinatlara yerleştirilmesiyle yapılır. Benzer anlam taşıyan içerikler bu uzayda birbirine yakın, alakasız içerikler ise uzak konumlanır. "Kedi" ile "köpek" vektörleri yan yana dururken "kedi" ile "traktör" arasındaki mesafe çok daha büyüktür. Embedding'in önemi, bilgisayarların metni doğrudan anlayamamasından gelir: makineler yalnızca sayılarla çalışır. Anlamı sayılara çevirmenin güvenilir bir yolu olmadan ne semantik arama ne öneri sistemleri ne de büyük dil modelleri çalışabilirdi. ChatGPT gibi modeller girdiyi önce token'lara ayırır, ardından her token'ı bir embedding vektörüne çevirir; modelin "anlama" dediğimiz tüm işlemleri bu vektörler üzerinde yürür. Tarihsel gelişim açısından Word2Vec (Google, 2013), ilk pratik ve geniş çaplı benimsenen kelime gömme yöntemini sundu. CBOW ve Skip-gram mimarileriyle her kelimeye bağlamından bağımsız sabit bir vektör atayan bu yaklaşımın sınırlılığını BERT aştı: BERT her kelimeyi cümle bağlamına göre farklı vektörle temsil eder, böylece çok anlamlı kelimelerdeki anlam belirsizliği çözüme kavuşur. Günümüzde OpenAI'nin text-embedding-3 serisi, Cohere'in embed modelleri ve açık kaynaklı E5, BGE gibi çok dilli modeller bu alanın standartlarını belirlemektedir. Pratikte embedding'ler üç temel kullanım senaryosunda öne çıkar. Semantik arama ve RAG (Retrieval-Augmented Generation) sistemlerinde kullanıcının sorusu ile belgeler aynı vektör uzayına yerleştirilir, kosinüs benzerliğiyle en alakalı içerik bulunur. Öneri sistemlerinde Spotify veya Netflix, kullanıcı ve içerik vektörlerini karşılaştırarak kişiselleştirilmiş öneriler oluşturur. CLIP gibi çok modlu modeller ise metin ve görseli aynı uzayda temsil ederek metinle görsel arama yapılmasına imkân tanır. Üretilen vektörler genellikle Pinecone, Weaviate, Qdrant veya PostgreSQL'in pgvector eklentisi gibi vektör veritabanlarında saklanır; HNSW gibi yaklaşık en yakın komşu algoritmaları milyonlarca kayıt arasından milisaniyeler içinde sonuç döndürür. Embedding kalitesi downstream görevleri doğrudan etkiler ve model seçiminde MTEB (Massive Text Embedding Benchmark) gibi standart karşılaştırma çerçeveleri rehber niteliğindedir.

arrow_forward scatter_plot

Embedding Model (Gömme Modeli)

Gömme modeli (Embedding Model), metin, görsel, ses ya da diğer modalitelerdeki ham verileri yoğun sayısal vektörlere dönüştüren sinir ağı mimarisidir. Bu vektörler anlamsal benzerliği geometrik yakınlığa çevirir: birbirine anlamca yakın ifadeler yüksek boyutlu vektör uzayında da birbirine yakın konumlanır. Gömme modelleri bir büyük dil modelinin encoder bileşeni olabileceği gibi bağımsız bir arama ve eşleştirme modülü olarak da kullanılabilir; iki kullanım biçiminin mimari gereksinimleri farklılık gösterir. Temel çalışma prensibi şu şekildedir: giriş metni tokenize edilerek Transformer encoder katmanlarından geçirilir; [CLS] token çıktısı veya tüm token çıktılarının ağırlıklı ortalaması (mean pooling) sabit boyutlu bir temsil vektörü üretmek için kullanılır. Eğitim aşamasında kontrast öğrenme (contrastive learning) yöntemi uygulanır: pozitif çiftler birbirine yakınlaştırılırken negatif çiftler uzaklaştırılır. Matryoshka Representation Learning (MRL) tekniği ise tek bir modelden farklı boyutlarda vektör üretmeye olanak tanır; bu özellik depolama maliyeti ile çıkarım gecikmesi arasında kullanışlı bir esneklik sunar. Başlıca kullanım alanları şunlardır: anlamsal arama (semantic search), Geri Çağırma Destekli Üretim (Retrieval-Augmented Generation, RAG), belge kümeleme, tavsiye sistemleri, çift metin sınıflandırma ve çapraz dil eşleştirme. Popüler modeller arasında OpenAI text-embedding-3-large (3072 boyutlu), Cohere Embed v3, Google text-embedding-004 ve açık kaynak alanda BGE-M3, E5-Mistral ile Nomic Embed sayılabilir. Modeller arasındaki sistematik karşılaştırma için MTEB (Massive Text Embedding Benchmark) standart referans noktası haline gelmiştir; bu kıyaslama çerçevesi sekiz farklı görev kategorisi ve elli den fazla veri setini kapsamaktadır. Üretim sistemlerinde yaygın mimari: bi-encoder ile hızlı ilk geri çağırma (top-k), ardından cross-encoder ile yeniden sıralama (reranking) adımının birleştirilmesidir. Pinecone, pgvector ve Qdrant gibi vektör veritabanları bu gömmeler için ölçeklenebilir depolama ve arama altyapısı sunar.

arrow_forward code_blocks

Encoder-Decoder (Kodlayıcı-Çözücü)

Encoder-decoder (kodlayıcı-çözücü), bir girdi dizisini veya veriyi sıkıştırılmış bir ara temsile dönüştüren (kodlama) ve ardından bu temsilden hedef çıktıyı yeniden üreten (çözme) iki bileşenli bir sinir ağı mimarisidir. Dizi-diziye (seq2seq) dönüşüm gerektiren görevlerde temel yapı taşı olan bu mimari, makine çevirisi, metin özetleme, konuşma tanıma ve görüntü açıklama gibi alanlarda geniş uygulama bulur. Encoder bileşeni, girdi dizisinin her öğesini işleyerek sabit boyutlu bir bağlam vektörü (context vector) veya dikkat ağırlıklı gizli durum kümesi üretir. RNN tabanlı encoder'larda bu çıktı son gizli durumdur; Transformer tabanlı mimarilerde ise her girdi tokenına karşılık gelen gizli durum vektörlerinin tamamı decoder'a aktarılır. Encoder, girdiyi sıkıştırırken semantik bilgiyi korumayı ve ilgisiz gürültüyü bastırmayı öğrenir. Decoder bileşeni, encoder çıktısını alarak hedef dizinin her adımını otoregresif biçimde üretir: bir önceki adımda üretilen token, sonraki token olasılığını hesaplamak için tekrar girdi olarak kullanılır. Eğitim sırasında "teacher forcing" yöntemiyle gerçek hedef tokenlar girdi olarak verilir; çıkarım (inference) aşamasında ise modelin kendi ürettiği tokenlar beslenir. Bu fark, "exposure bias" olarak adlandırılan ve beam search ile scheduled sampling yöntemleriyle azaltılmaya çalışılan bir eğitim-çıkarım uyumsuzluğuna yol açar. Dikkat mekanizması (attention mechanism) bu mimarinin kritik bir uzantısıdır. 2015 yılında Bahdanau ve ark. tarafından önerilen dikkat, decoder'ın her adımda encoder'ın farklı konumlarına farklı ağırlıklar atayarak odaklanmasını sağlar; bu sayede uzun dizilerdeki bilgi darboğazı önemli ölçüde azalır. Modern Transformer mimarisindeki çok başlı dikkat (multi-head attention), bu fikrin paralel ve güçlendirilmiş halidir; farklı temsil alt uzaylarında eş zamanlı dikkat hesaplanır. Günümüz büyük dil modellerinde BERT saf encoder, GPT ailesi saf decoder, T5 ve BART ise encoder-decoder modellerine örnektir. Görüntü işlemede U-Net, encoder-decoder prensibini piksel düzeyinde segmentasyon için atlama bağlantıları (skip connections) ile kullanır. Whisper (OpenAI) ise ses encoder ve metin decoder birleştirerek konuşma tanıma görevini büyük ölçekli eğitimle çözer.

arrow_forward label

Entity Extraction (Varlık Çıkarımı (Entity Extraction))

Varlık çıkarımı (Entity Extraction), doğal dil işleme (NLP) alanında yapılandırılmamış metinlerden adlandırılmış varlıkları — kişi adları, kurum adları, coğrafi konumlar, tarihler, ürün adları gibi — otomatik olarak tespit etme ve sınıflandırma sürecidir. İsimli Varlık Tanıma (Named Entity Recognition — NER) olarak da bilinir. Teknik açıdan NER, her tokeni BIO (Beginning-Inside-Outside) veya BIOES şemasıyla etiketleyen bir dizi etiketleme problemidir. Geleneksel yöntemler kural tabanlı düzenli ifadeler ve istatistiksel Koşullu Rastsal Alanlar (CRF) üzerine kuruluydu. BiLSTM-CRF mimarisi, bağlamsal özellik öğrenmeyi CRF etiket tutarlılığıyla birleştirerek 2010'ların NER standardı oldu. 2019'dan itibaren BERT tabanlı token sınıflandırması bu mimarinin büyük bölümünün yerini aldı; alan-özgü varlık türleri (tıbbi terminoloji, hukuki belgeler) için ince ayarlı BERT modelleri güçlü seçenek olmaya devam etmektedir. Modern LLM tabanlı yaklaşımlarda süreç kökten basitleşmiştir: GPT-4 veya Claude'a few-shot örnekler vererek ya da structured output (JSON mod) kullanarak sıfır veya az örnekten yüksek kaliteli NER sonuçları elde etmek mümkündür. Bu yaklaşım özellikle özel ontoloji ve az kaynaklı dillerde esneklik sağlar. Varlık çıkarımı doğrudan metinsel bağlamdan bilgi grafiği oluşturma sürecinin temelidir. GraphRAG akışında belge parçalarından varlık çiftleri çıkarılır, ilişkileri belirlenir ve bunlar bir bilgi grafiğine dönüştürülür. Topluluk tespiti ve özetleme aşamalarının girdisini bu varlık-ilişki üçlüleri oluşturur. Türkçe NER'da eklemeli dil yapısı ek bir zorluk katmanı ekler: token sınırları belirsizleşebilir ve özel isimler büyük harf kuralını her zaman izlemeyebilir. BERTurk tabanlı ince ayar veya LLM'in JSON çıktı moduyla birkaç örnekten öğrenme en pratik seçeneklerdir. Değerlendirme span bazlı F1 skoru ile yapılır; kesinlik (precision) ve geri çağırma (recall) her varlık tipi için ayrı raporlanır. CoNLL-2003 ve OntoNotes bu alanın standart kıyaslama veri kümeleridir.

arrow_forward smart_toy

Generative Pre-trained Transformer (Üretken Ön-eğitimli Dönüştürücü)

GPT (Generative Pre-trained Transformer), OpenAI tarafından geliştirilen ve Transformer mimarisinin yalnızca decoder (kod çözücü) bloğunu kullanan büyük dil modeli ailesidir. Adındaki üç sözcük mimariyi tam olarak tanımlar: "Generative" (üretici), modelin yeni metin ürettiğini; "Pre-trained" (önceden eğitilmiş), devasa bir metin korpusu üzerinde denetimsiz öğrenimle hazırlandığını; "Transformer", kullanılan sinir ağı mimarisini ifade eder. GPT modelleri, bir sonraki kelimeyi tahmin etme (next-token prediction) görevi üzerinden eğitilir. Model, milyarlarca metin örneğini gördükten sonra dil bilgisi, mantık yürütme, kod yazma ve yaratıcı üretim gibi yetenekleri örtük biçimde edinir; bu sürece "emergent capability" (beliren yetenek) denir. GPT serisi 2018'de GPT-1 ile başlamıştır: 117 milyon parametreli bu model, dil modellemesinde büyük bir sıçrama olmakla birlikte dönemin BERT modeliyle kıyaslandığında sınırlı kaldı. 2019'da yayımlanan GPT-2 (1,5 milyar parametre), o kadar güçlü bir metin üretimi sergiledi ki OpenAI modeli başlangıçta tam sürümüyle kamuya açmaktan kaçındı. GPT-3 (2020, 175 milyar parametre) az örnekli öğrenme (few-shot learning) alanında çığır açtı: Model, yalnızca birkaç örnek gördükten sonra görev genellemesi yapabiliyor, ince ayar (fine-tuning) gerekmiyordu. GPT-3.5 ve ardından 2023'te duyurulan GPT-4, çok modlu (multimodal) girişi ve güçlendirilmiş mantık yeteneklerini bünyesine kattı. GPT-4o ise metin, ses ve görüntüyü tek bir modelde birleştirerek gerçek zamanlı çok modlu diyaloğu mümkün kıldı. GPT modellerinin eğitimi iki ana aşamadan oluşur. İlk aşamada denetimsiz ön eğitim (unsupervised pre-training) ile model internet metinleri, kitaplar ve kod içeren geniş bir veri kümesi üzerinde eğitilir. İkinci aşamada ise RLHF (Reinforcement Learning from Human Feedback — İnsan Geri Bildiriminden Pekiştirmeli Öğrenme) kullanılarak model insan tercihlerine hizalanır; bu süreç güvenli, yararlı ve dürüst yanıtlar üretmeyi hedefler. GPT'nin temel gücü, bağlamsal dil anlama ve üretmedeki esnekliğidir. Farklı sektörlerde müşteri hizmetleri, kod tamamlama, tıbbi yazışma özeti, hukuki belge analizi ve eğitim içeriği üretimi gibi kullanım alanları mevcuttur. ChatGPT, GPT modellerinin bir chat arayüzüyle sunulan versiyonudur ve GPT'nin kendisi ile aynı şey değildir; ChatGPT bir ürün, GPT ise altta yatan model ailesidir.

arrow_forward memory

GRU (Gated Recurrent Unit) (GRU (Kapılı Tekrarlayan Birim))

GRU (Gated Recurrent Unit — Kapılı Tekrarlayan Birim), 2014 yılında Kyunghyun Cho ve ekibi tarafından önerilen, klasik Tekrarlayan Sinir Ağı (RNN) mimarisinin uzun vadeli bağımlılıkları öğrenmek için geliştirilmiş bir türevidir. Standart RNN'lerin temel sorunu olan kaybolan gradyan problemi (vanishing gradient), uzun dizilerde modelin erken adımlardaki bilgileri "unutmasına" yol açar. GRU bu sorunu, hangi bilgilerin saklanacağını ve hangilerinin atılacağını kontrol eden kapı (gate) mekanizmaları ile çözer. GRU, LSTM (Long Short-Term Memory) ile karşılaştırıldığında daha sade bir mimariye sahiptir. LSTM'de üç ayrı kapı (input, forget, output) ve ayrı bir hücre durumu (cell state) bulunurken, GRU yalnızca iki kapı kullanır: Güncelleme Kapısı (Update Gate) ve Sıfırlama Kapısı (Reset Gate). Bu sadeleştirme eğitim süresini ve bellek kullanımını önemli ölçüde azaltırken pek çok görevde LSTM ile kıyaslanabilir başarım elde edilmesini mümkün kılar. Güncelleme Kapısı (Update Gate), bir önceki gizli durumun (hidden state) ne kadarının yeni duruma aktarılacağını belirler. Bu kapı, geçmiş bilgilerin ne ölçüde korunacağını kontrol eder ve uzun vadeli bellek işlevi görür. Sıfırlama Kapısı (Reset Gate) ise geçmiş bağlamın ne kadarının yeni içeriği hesaplamak için kullanılacağını düzenler; geçmiş bilginin önemsiz olduğu durumlarda bu kapı kapatılarak gizli durum temizlenebilir. GRU, doğal dil işleme, konuşma tanıma, zaman serisi tahmini ve makine çevirisi gibi ardışık veri içeren görevlerde yaygın olarak kullanılır. Özellikle veri miktarının sınırlı olduğu veya hesaplama kapasitesinin kısıtlı olduğu durumlarda LSTM'ye kıyasla tercih edilir. Çift yönlü GRU (Bidirectional GRU) dizi bağlamını hem ileri hem geri yönde yakalayarak duygu analizi ve adlandırılmış varlık tanıma gibi görevlerde üstünlük sağlar. PyTorch'ta torch.nn.GRU, TensorFlow/Keras'ta ise tf.keras.layers.GRU sınıfıyla tek satır kodla kullanıma hazırdır. Hibrit Transformer-GRU mimarileri de araştırma literatüründe giderek daha fazla yer bulmaktadır.

arrow_forward manage_search

Information Retrieval (IR) (Bilgi Erişimi)

Bilgi Erişimi (Information Retrieval, IR), büyük belge koleksiyonları veya veri kümeleri içinden kullanıcının bilgi ihtiyacına en uygun içerikleri bulup sıralayan bir bilgisayar bilimi dalıdır. Google, Bing ve Yandex gibi web arama motorları ile akademik veri tabanları, bu disiplinin en yaygın uygulamalarıdır. Geleneksel IR sistemleri, metinlerin kelime frekanslarına dayanan TF-IDF (Term Frequency-Inverse Document Frequency) ve BM25 gibi istatistiksel modeller üzerine kuruluydu. Bu yaklaşımlarda belgeler ve sorgular "çanta modeli" (bag-of-words) ile temsil edilir; kelimelerin sırasına değil yalnızca varlığına bakılır. Bu yöntemler hızlı ve yorumlanabilir olsa da anlam bağlamını (semantiği) kavrayamaz; "otomobil" sorgusu "araba" kelimesini içeren belgeleri bulamaz. Derin öğrenme ve büyük dil modellerinin yaygınlaşmasıyla birlikte nöral bilgi erişimi yeni bir çığır açtı. Gömülü vektörler (embedding) sayesinde sorgular ve belgeler yüksek boyutlu anlam uzayına taşınır; benzer anlamlı içerikler bu uzayda birbirine yakın konumlanır. Böylece "COVID-19 belirtileri" sorgusu, "koronavirüs semptomları" başlıklı belgeyle kavramsal benzerlik üzerinden eşleşebilir. Çift kodlayıcı (bi-encoder) mimarilerde sorgu ve belge ayrı ayrı gömülerek kosinüs benzerliği hesaplanırken, çapraz kodlayıcı (cross-encoder) mimariler ikisini birlikte değerlendirerek daha hassas sıralama sağlar. Vektör veritabanları bu anlam tabanlı eşleşmeyi verimli ölçekte mümkün kılar; HNSW ve IVF gibi ANN (Approximate Nearest Neighbor) algoritmaları sayesinde milyarlarca vektör içinde milisaniyeler içinde arama yapılır. Retrieval-Augmented Generation (RAG) mimarisinde ise IR, büyük dil modellerinin güncel ve doğru yanıtlar üretmesi için bilgi alma katmanı görevi görür. IR başarısını ölçmek için Precision, Recall, F1 ve NDCG (Normalized Discounted Cumulative Gain) metrikleri kullanılır. 1992'den beri NIST tarafından düzenlenen TREC (Text Retrieval Conference) koleksiyonları altın standart olarak kabul edilir. Modern IR sistemleri çok dilli arama, görüntü ve ses tabanlı sorgulama ile kişiselleştirme gibi multimodal ve bağlam duyarlı yetenekleri de kapsamaktadır.

arrow_forward code_blocks

Keyword Detection (Anahtar Kelime Tespiti)

Keyword detection (anahtar kelime tespiti), bir ses sinyalinde veya metin akışında önceden tanımlanmış sözcükleri ya da ifadeleri gerçek zamanlı olarak tanıyan yapay zeka tabanlı bir tekniktir. Sesli asistanlar, akıllı hoparlörler ve çağrı merkezi sistemlerinde temel bir bileşen olan bu teknoloji, sürekli dinleme (continuous listening) ile tetikleme kelimelerini milisaniyeler içinde ayırt edebilir. Teknik altyapı açısından keyword detection, genellikle iki aşamalı bir pipeline üzerinde çalışır. İlk aşamada küçük ve hesaplama açısından hafif bir model (örneğin MobileNet tabanlı ses sınıflandırıcısı) cihaz üzerinde sürekli çalışarak olası tetikleme kelimelerini tarar. Pozitif bir sinyal alındığında daha kapasiteli bir konuşma tanıma motoru devreye girer. Bu yaklaşım hem pil ömrünü korur hem de gizlilik açısından daha güvenli bir çözüm sunar; veriler tetikleyici kelime tespit edilene kadar buluta gönderilmez. Anahtar kelime tespiti için yaygın olarak kullanılan mimariler arasında Convolutional Neural Network (CNN) tabanlı ses sınıflandırıcıları, Recurrent Neural Network (RNN) ve dikkat mekanizmalı hibrit modeller yer alır. "Hey Siri", "OK Google" ve "Alexa" gibi wake-word sistemleri bu teknolojinin en bilinen uygulamalarıdır. Gömülü sistemlerde çalışan keyword detection modelleri, düşük gecikme süresi (≤200ms) ve yüksek yanlış pozitif dayanıklılığı gibi katı kısıtlamalara tabi tutulur. Arka plan gürültüsü, farklı aksanlar ve konuşma hızları modelin sağlamlığını test eden başlıca zorluklardır. Bu nedenle modeller genellikle ONNX veya TFLite ile optimize edilerek edge cihazlara deploy edilir. NLP alanında ise keyword detection, metin tabanlı belgelerde belirli kavramları otomatik olarak işaretlemek, içerik moderasyonu yapmak veya arama motorlarını optimize etmek amacıyla kullanılır. Ses ve metin pipeline'larının kesiştiği bu nokta, keyword detection'ı modern yapay zeka sistemlerinin vazgeçilmez bir bileşeni haline getirir.

arrow_forward library_books

Large Language Model (Büyük Dil Modeli)

Büyük Dil Modeli (LLM — Large Language Model), trilyonlarca metin tokeni üzerinde eğitilmiş, doğal dil anlama ve üretme konusunda insan düzeyine yakın performans gösteren yapay zeka sistemidir. Temeli Transformer mimarisine dayanır; milyarlarca parametre içeren bu modeller, metindeki bağlamı dikkat (attention) mekanizması aracılığıyla yakalar. LLM'ler, eğitim sürecinde büyük metin veri kümelerinden "sonraki tokeni tahmin et" hedefiyle öz-denetimli öğrenme (self-supervised learning) gerçekleştirir. Bu süreçte model; dilbilgisi, olgusal bilgi, mantık çıkarımı ve kültürel bağlamı örtük biçimde kodlar. Eğitim tamamlandıktan sonra model, belirli görevlere (soru yanıtlama, özetleme, kod üretme) yönelik ince ayar (fine-tuning) veya RLHF (İnsan Geri Bildiriminden Pekiştirmeli Öğrenme) ile hizalanır. Parametre sayısı modelin kapasitesini doğrudan etkiler: GPT-3 175 milyar, Llama 3.1 405 milyar, Claude 3 Opus ise yüzlerce milyar parametre içerir. Ancak parametre sayısı tek başına yeterli bir ölçüt değildir; eğitim verisi kalitesi, bağlam penceresi (context window) ve hizalama yöntemi de kritik rol oynar. LLM'lerin kullanım alanları hızla genişlemektedir: müşteri hizmetleri chatbotları, kod tamamlama araçları (GitHub Copilot), belge özetleme, çok dilli çeviri, tıbbi kayıt analizi ve hukuki metin tarama. Aynı zamanda bu modeller yapay zeka ajanlarının (AI agents) temel bileşeni olarak görev alır; araç çağırma (tool use) ve çok adımlı akıl yürütme yetenekleriyle otonom iş akışlarını mümkün kılar. Sınırlamalar açısından LLM'ler halüsinasyon (gerçek olmayan bilgi üretme), bilgi kesim tarihi (knowledge cutoff) ve uzun bağlamda dikkat dağılması sorunlarıyla karşı karşıyadır. Bu sorunları hafifletmek için RAG (Retrieval-Augmented Generation), uzun bağlam pencereleri ve çıkarım zamanında düşünme (test-time compute) gibi teknikler geliştirilmektedir. Rekabet ortamı hızla gelişmektedir: OpenAI GPT-4o, Anthropic Claude 3.5 Sonnet, Google Gemini 1.5 Pro ve Meta Llama 3.1 405B gibi modeller birbirini kısa sürelerde geçen yetenekler sergilemektedir. Açık ağırlıklı (open-weight) modeller, özellikle gizlilik gereksinimleri olan kurumsal dağıtımlar için bulut tabanlı alternatiflere güçlü bir seçenek sunmaktadır. Türkiye'deki yapay zeka geliştiricileri ve araştırmacılar için Llama, Mistral ve Qwen gibi açık modeller yerel fine-tuning ve çıkarım denemeleri için erişilebilir başlangıç noktaları oluşturmaktadır. Türkçe dil desteği büyük modellerle genel olarak güçlüdür; ancak düşük kaynaklı Türkçe içerikte daha iyi sonuç için özelleştirilmiş fine-tuning önerilmektedir. İşletmeler için veri gizliliği ve egemenlik gereksinimleri, Ollama ve vLLM gibi yerel çıkarım platformlarına olan talebi artırmaktadır.

arrow_forward sd_storage

LSTM (Long Short-Term Memory) (Uzun Kısa Vadeli Hafıza)

LSTM (Long Short-Term Memory — Uzun Kısa Vadeli Hafıza), standart tekrarlayan sinir ağlarının (RNN) uzun vadeli bağımlılıkları öğrenememesi sorununu çözmek amacıyla 1997 yılında Sepp Hochreiter ve Jürgen Schmidhuber tarafından önerilen özel bir derin öğrenme mimarisidir. Vanilla RNN'ler, zaman içinde geriye doğru yayılan gradyanların katmanlar boyunca küçülerek sıfıra yaklaşmasıyla ortaya çıkan kaybolan gradyan probleminden muzdaripti; bu durum modelin uzun metin dizileri veya ses verilerindeki uzak bağımlılıkları öğrenmesini imkânsız kılıyordu. LSTM bu sorunu üç kapı mekanizmasıyla çözer. Unutma kapısı (forget gate), hücre durumundan hangi bilgilerin atılacağına karar verir; sigmoid aktivasyon fonksiyonu 0 ile 1 arasında bir değer üretir ve buna göre geçmiş bilgi kısmen veya tamamen silinir. Giriş kapısı (input gate), yeni bilgilerin hücre durumuna ne ölçüde ekleneceğini denetler; sigmoid çıktısı ile tanh aktivasyonundan geçirilmiş aday değerlerin çarpımıyla güncelleme gerçekleşir. Çıkış kapısı (output gate) ise hücre durumunun hangi kısmının bu adımın gizli durumu olarak dışarıya aktarılacağını belirler. Bu mimari, özellikle dizi-dizi (seq2seq) görevlerinde 2010'ların başından ortasına kadar baskın model olmuştur. Makine çevirisi, konuşma tanıma, el yazısı tanıma, zaman serisi tahmini ve metin üretimi alanlarında LSTM tabanlı modeller uzun yıllar boyunca en iyi sonuçları üretmiştir. Google Translate, 2016 yılında kural tabanlı sistemden LSTM tabanlı sinir ağı çevirisine geçerek çeviri kalitesinde büyük bir sıçrama kaydetmiştir. 2017'den itibaren Transformer mimarisinin yükselişiyle LSTM'nin hâkimiyeti azalmıştır. Transformer'lar dikkat mekanizması (attention) aracılığıyla paralel hesaplamaya olanak tanıyarak eğitim hızını dramatik biçimde artırır; bu avantaj GPT ve BERT gibi büyük dil modellerinin temelini oluşturur. Bununla birlikte LSTM, sinyal işleme, finans zaman serileri ve kaynak kısıtlı ortamlar gibi alanlarda hâlâ tercih edilen bir mimari olmaya devam etmektedir.

arrow_forward translate

Machine Translation (Makine Çevirisi)

Makine Çevirisi (Machine Translation, MT), bilgisayar sistemlerinin insan müdahalesi olmadan metni veya konuşmayı bir dilden diğerine otomatik olarak aktarmasıdır. Warren Weaver'ın 1949'daki öncü memorandumundan bu yana üç temel nesil geçirmiştir: kural tabanlı MT (RBMT), istatistiksel MT (SMT) ve günümüzde baskın olan nöral MT (NMT). Kural tabanlı sistemler (1950'ler–2000'ler), dilbilgisi kurallarını ve ikidilli sözlükleri temel alırdı; dar alanlarda tutarlı sonuç verse de genel amaçlı ve geniş kapsamlı metinlerde yetersiz kalıyordu. İstatistiksel MT (2000–2016), geniş paralel corpus'lardan öğrenerek olasılıksal modeller kullanırdı; Moses çerçevesi bu dönemin öne çıkan aracıydı. 2016 yılında Google'ın nöral makine çevirisine geçişiyle paradigma kökten değişti. Seq2seq mimarisi üzerine inşa edilen ve ardından Transformer attention mekanizmasıyla güçlendirilen NMT, cümlenin tüm bağlamını kapsayan yoğun temsiller (embedding) üzerinden kaynak dili hedef dile eşler. Bu yaklaşım özellikle uzun mesafeli bağımlılıkların —örneğin Türkçe'de fiil-özne uyumunun— yakalanmasında geleneksel yöntemlere kıyasla büyük bir dönüşüm getirmiştir. Kalite değerlendirmesinde BLEU (Bilingual Evaluation Understudy), METEOR, chrF ve BERTScore gibi otomatik metrikler kullanılır; ancak kültürel nüansları ve anlam doğruluğunu tam ölçmek için MQM (Multidimensional Quality Metrics) çerçevesinde insan değerlendirmesi kaçınılmazdır. Türkçe gibi sondan eklemeli (agglutinative) dillerde alt-kelime tokenizasyonu ve paralel veri kıtlığı özel zorluklar yaratmaktadır; tek bir kök onlarca ek alarak farklı sözcük formları üretebilmektedir. Günümüzde GPT-4o, Gemini 2.5 Flash ve DeepL gibi büyük dil modelleri ile uzmanlaşmış motorlar hukuki, tıbbi ve teknik alanlarda yüksek kaliteli çeviri sunmaktadır. Sağlık kuruluşları, e-ticaret devleri ve haber ajansları bu teknolojiyi milyonlarca içerik parçasını anlık yerelleştirmek için aktif biçimde kullanmaktadır. Zero-shot ve few-shot çeviri yetenekleri, daha önce hizmet verilemeyen az kaynaklı dil çiftlerini de kapsam içine almaktadır.

arrow_forward masks

Masked Language Modeling (Maskeli Dil Modelleme (MLM))

Masked Language Modeling (MLM), BERT ve türevlerinin ön eğitiminde kullanılan bir öz-gözetimli öğrenme görevidir. Modele verilen cümledeki token'ların rastgele bir bölümü [MASK] sembolüyle örtülür ve model, bağlamı kullanarak bu gizlenen token'ları tahmin etmeye çalışır. Orijinal BERT makalesinde (Devlin ve ark., Google, 2018) girdi dizisindeki token'ların %15'i seçilir. Bu seçilen token'ların %80'i [MASK] sembolüyle değiştirilirken %10'u rastgele başka bir token ile yer değiştirir, kalan %10 ise orijinal halinde bırakılır. Bu çeşitlendirme, modelin yalnızca [MASK] sembolüne değil gerçek token dağılımına da uyum sağlamasını hedefler; çapraz entropi (cross-entropy) kaybı yalnızca maskelenen pozisyonlar üzerinden hesaplanır. MLM'nin en kritik özelliği, modele çift yönlü (bidirectional) bağlam kavrama yeteneği kazandırmasıdır. GPT gibi öz-regresif modeller yalnızca sola bakarken, BERT hem solundaki hem sağındaki token'lardan yararlanarak tahmin üretir. Bu mimari fark, özellikle cümle sınıflandırma, soru cevaplama ve adlandırılmış varlık tanıma (NER) gibi anlama görevlerinde belirgin avantaj sağlar. Çift yönlü ön eğitim güçlü bir transfer öğrenme temeli oluşturur. BERT-Base 110 milyon, BERT-Large 340 milyon parametresiyle Wikipedia ve BookCorpus verisi üzerinde eğitilmiş; görev başlığı (task head) eklenerek GLUE ve SQuAD gibi kıyaslamalarda dönemin rekor puanlarını kırmıştır. Önceden eğitilmiş ağırlıklar, hedef görev verisine ince ayar (fine-tuning) yapılarak kolayca yeniden kullanılabilmektedir. Sonraki modeller MLM'yi daha da geliştirdi. RoBERTa, daha büyük toplu iş ve dinamik maskelemeyle eğitim verimliliğini artırdı. ALBERT, katman ağırlıklarını paylaştırarak parametre sayısını düşürdü. SpanBERT, tek token yerine token aralıklarını (span) maskeleyerek okuma anlama performansını iyileştirdi. XLM-RoBERTa ise 100'den fazla dili destekleyen çok dilli MLM modelini ortaya koydu. GPT tabanlı üretici modellerin yaygınlaşmasıyla BERT tipi MLM modelleri belirli alanlarda ön plandan çekilmiş olsa da sınıflandırma, NER ve soru cevaplama gibi yapılandırılmış görevlerde yaygın biçimde kullanılmaktadır.

arrow_forward code_blocks

Multimodal Learning (Çok Modlu Öğrenme)

Multimodal learning (çok modlu öğrenme), bir yapay zeka modelinin metin, görsel, ses ve video gibi birden fazla veri türünü (modalite) aynı anda işleyerek anlam çıkarmasına olanak tanıyan makine öğrenmesi yaklaşımıdır. İnsan algısına benzer şekilde birden fazla duyudan gelen bilgileri birleştirme yeteneği kazandırır. Geleneksel yapay zeka sistemleri tek bir modaliteye odaklanırken (yalnızca metin veya yalnızca görsel), çok modlu öğrenme bu sınırı aşar. Farklı modalitelerin verileri ortak bir gömülü uzayda (shared embedding space) hizalanır; böylece model "bu resimde ne yazıyor?" veya "bu sesle hangi görsel eşleşir?" gibi çapraz-modal soruları yanıtlayabilir. Temel teknikler arasında çelişkili öğrenme (contrastive learning), çapraz-modal dikkat (cross-modal attention) ve çift kodlayıcı (dual encoder) mimarileri öne çıkar. OpenAI'nin 2021'de tanıttığı CLIP modeli, metin-görsel çiftlerini milyonlarca örnekle eğiterek sıfır-atış görüntü sınıflandırmasını mümkün kıldı ve alanın temel taşlarından biri oldu. 2023'te GPT-4V tek kule (single-tower) mimarisiyle görüntü ve metni birleştirirken Google Gemini çok sayıda modaliteyi destekleyen kapsamlı bir model sundu. 2024'te GPT-4o metin, ses ve görseli gerçek zamanlı işleyebilir hale getirdi. Uygulama alanları oldukça geniştir: görsel soru cevaplama (VQA), görüntü altyazısı oluşturma, metin-görsel üretim (DALL-E, Stable Diffusion), tıbbi görüntü analizi ve otonom sürüş sistemleri. Zorluklar arasında modal hizalama güçlüğü, eksik modalite yönetimi ve yüksek hesaplama maliyeti yer alır. Çok modlu sistemlerin eğitiminde veri uyumu kritik bir zorluktur: farklı modalitelerden gelen verilerin zaman ve anlam boyutunda doğru eşleştirilmesi gerekir. Bu nedenle büyük ölçekli internet verisiyle ön-eğitim yapılır, ardından görev-spesifik ince ayar uygulanır. Araştırmacılar ayrıca tek bir modelin tüm modaliteleri birlikte öğrenmesiyle ortaya çıkan çapraz-modal transfer öğrenimini (cross-modal transfer) de aktif biçimde incelemektedir. Bu yaklaşım, kısıtlı etiketli veriye sahip modalitelerde başarımı belirgin ölçüde artırmaktadır.

arrow_forward code_blocks

Naive Bayes (Naif Bayes Sınıflandırıcı)

Naive Bayes, Bayes teoremini temel alan olasılıksal bir makine öğrenmesi sınıflandırma algoritmasıdır. "Naive" (saf/naif) adı, algoritmanın tüm özellikler arasında koşullu bağımsızlık varsayımından gelir; bir özelliğin değerinin diğer özelliklerden bağımsız olduğu kabul edilir. Bu güçlü varsayım gerçek dünyada nadiren tam olarak geçerlidir; ancak Naive Bayes pek çok uygulamada şaşırtıcı derecede yüksek performans gösterir. Algoritmanın matematiksel temeli Bayes teoremidir: P(sınıf | özellikler) ∝ P(sınıf) × ∏ P(özellik_i | sınıf). Burada P(sınıf) öncül (prior) olasılık, P(özellik | sınıf) koşullu olasılıktır ve eğitim verisinden doğrudan tahmin edilir. Bu oran en yüksek olan sınıf tahmin olarak döndürülür. Üç temel Naive Bayes türü bulunur. Gaussian Naive Bayes, sürekli sayısal özelliklerin normal dağılım izlediğini varsayar; tıbbi veri sınıflandırma ve bilimsel ölçümler için uygundur. Multinomial Naive Bayes, metin sınıflandırma ve spam tespitinde yaygın olarak kullanılan türdür; belgede kaç kez geçtiği önemli olan kelime sayım verisiyle çalışır. Bernoulli Naive Bayes ise bir kelimenin belgede bulunup bulunmadığını ikili (0/1) özellik olarak modeller ve kısa metinlerde avantaj sağlar. Naive Bayes'in belirgin avantajları şunlardır: eğitim hızı son derece yüksektir, küçük veri setlerinde de iyi genelleme sağlar, sıfır frekans sorununu Laplace düzeltmesiyle aşar ve olasılıksal çıktısı sayesinde belirsizlik tahmini sunar. Metin sınıflandırma, spam filtresi, duygu analizi ve tıbbi teşhis alanlarında on yıllardır endüstriyel ölçekte kullanılmaktadır; erken dönem Gmail spam filtresi Naive Bayes tabanlı sistemlere dayanmaktaydı. Sınırlamalar açısından, özellikler arasındaki güçlü korelasyon performansı düşürür. Ayrıca eğitim verisinde hiç görülmemiş özellik kombinasyonları zero-probability sorununa yol açar. Bu kısıtlamalar nedeniyle karmaşık yapısal ilişkilerin kritik olduğu görevlerde gradient boosting veya derin öğrenme yöntemleri tercih edilmektedir. Buna karşın Naive Bayes, hızı, yorumlanabilirliği ve az veriyle çalışabilmesi nedeniyle temel bir başlangıç çizgisi (baseline) olarak modern makine öğrenmesi iş akışlarında yerini korumaktadır.

arrow_forward code_blocks

Named Entity Recognition (Adlandırılmış Varlık Tanıma)

Named Entity Recognition (NER), kısaca Adlandırılmış Varlık Tanıma, bir metindeki önceden tanımlanmış kategorilere ait varlık ifadelerini otomatik olarak tespit eden ve sınıflandıran temel bir Doğal Dil İşleme görevidir. NER, kişi adlarını (PER), coğrafi konumları (LOC), kuruluş isimlerini (ORG), tarih ve zaman ifadelerini (DATE/TIME) ile para birimlerini (MONEY) ham metin içinden çıkarır. Bu teknoloji, büyük hacimli yapılandırılmamış metni anlamlı ve işlenebilir yapıya dönüştürmek için kritik bir adım işlevi görür. NER'in tarihsel gelişimine bakıldığında ilk sistemlerin 1996 MUC-6 konferansında tanımlanan kurallara dayalı yaklaşımları benimsediği görülür. Bu erken sistemler elle yazılmış düzenli ifadeler ve sözcük listeleri kullanıyordu; İngilizce için kabul edilebilir sonuçlar verse de yeni alanlara uyarlamak son derece maliyetliydi. 2000'lerin başında Koşullu Rastgele Alanlar (CRF) ve Maksimum Entropi gibi istatistiksel modeller kurallı sistemlerin yerini almaya başladı; bu modeller etiketlenmiş eğitim verisinden bağlamsal örüntüler öğreniyor ve genelleme yapabiliyordu. BERT'in 2018'de yayımlanmasıyla NER alanında çığır açıldı. BERT ve sonraki dil modelleri, hem sol hem de sağ bağlamı aynı anda işleyen çift yönlü dikkat mekanizmaları aracılığıyla varlık sınırlarını çok daha doğru tespit edebildi. Günümüzde CoNLL-2003 gibi standart kıyaslama veri kümelerinde F1 puanları yüzde doksan beşi aşmaktadır. BIO etiketleme şeması, varlık sınırlarını açık biçimde kodlaması sayesinde model eğitiminde en yaygın kullanılan standarttır. Türkçe NER için BERTurk ve mBERT modellerini temel alan sistemler geliştirilmiş; tıp, hukuk ve finans gibi alana özel veri kümeleri oluşturulmuştur. Türkçe'nin çekimli ve bitişken yapısı, varlık sınırlarının belirlenmesini İngilizce'ye kıyasla daha güç kılar; bu nedenle alt sözcük tokenizasyon stratejileri kritik önem taşır. NER, bilgi grafiği oluşturma, soru yanıtlama, metin özetleme ve duygu analizi gibi ileri düzey NLP görevlerinin vazgeçilmez bir ön adımıdır.

arrow_forward text_snippet

Named Entity Recognition (NER) (Varlık İsmi Tanıma)

Named Entity Recognition (NER / Isimli Varlik Tanima), bir metin parcasindaki kisi adlarini, yer adlarini, kurum isimlerini, tarihleri, para miktarlarini ve diger belirli varlik kategorilerini otomatik olarak tespit edip etiketleyen bir dogal dil isleme gorevidir. Anlam cikarmada temel bir adim olan NER, ham metinden yapisal bilgi uretmenin en onemli araclarindan biridir. Ornegin "Elon Musk 2024 yilinda Tesla'nin CEO'sunu degistirdi" cumlesinde NER sistemi "Elon Musk"i PERSON, "Tesla"yi ORG, "2024 yilinda"yi DATE olarak etiketler. Bu etiketleme; bilgi grafikleri olusturma, soru yanıtlama, belge ozetleme, biyomedikal veri analizi ve haber izleme gibi sistemlerin temel girdisini olusturur. NER yaklasimlar tarihsel olarak uc kusakta gelismistir. Ilk kusak kural tabanli sistemler el ile yazilmis duzenli ifadeler ve sozlukler kullaniyordu; bakimi guc ve yeni alanlara genellemesi zayifdi. Ikinci kusak istatistiksel modeller (Conditional Random Fields, CRF) elle hazirlanmis dilbilimsel ozellikler ve egriltilmis egitim verisi gerektiriyordu; CoNLL-2003 yarismasi bu donemde NER arastirmasinin referans noktasiydi. Ucuncu kusak derin ogrenme modelleri, ozellikle BiLSTM-CRF mimarisi, el ozellikleri ihtiyacini ortadan kaldirdi ve durum sanatini ileriye tasidi. BERT ve diger Transformer modelleri 2018 sonrasinda hemen hemen tum benchmark'larda BiLSTM-CRF'yi gecmistir. Guncel NER uygulamalarinda spaCy kutuphanesi gercek zamanli ve hafif kullanim icin yaygin tercih olurken Hugging Face Transformers ekosistemi token siniflandirma gorevi olarak egitilmis veya ince ayarlanmis modelleri kolayca kullanimakta sunar. Biyomedikal ve hukuk gibi alana ozgul sistemlerde genel NER modelleri yetersiz kalabilir; bu durumda alan verisiyle ince ayar veya sifirdan egitim gereklidir. NER'in pratik zorluklar arasinda belirsizlik onemsenmistir: "Apple" sirket mi yoksa meyve mi, "Paris" sehir mi yoksa kisi mi? Baglam penceresi ve coreference resolution bu belirsizlikleri cozmede kritik rol oynar. **Sik Sorulan Sorular** **NER ile metin siniflandirma arasindaki fark nedir?** Metin siniflandirma bir belgeye veya cumleye kresek bir etiket atar (pozitif/negatif duygu gibi). NER ise metin icerisindeki belirli token dizilerini bulur ve etiketler; mekanizma token duzeyinde calisir. **NER ciktilarini nasil degerlendiririm?** F1 skoru standart metrik olup hem tam eslesme hem de tur dogrulugunu gerektirir. Precision, modelin isaretledigi varliklarin ne kadari gercekten dogru; recall, gercek varliklarin ne kadari tespit edildi. **spaCy mi Transformers mi kullanayim?** Hiz ve hafiflik kritikse spaCy, maksimum dogruluk gerekiyorsa BERT tabanli model; her ikisini de deneyip belirli verinizde benchmark yapmak onerilen pratiktir. **NER her dilde esit iyi calisir mi?** Hayir. Turkce gibi morfolojik zengin dillerde NER daha zordur; kelime sinirlarinin belirlenmesi ve ek yapilari modeli zorlar. Dile ozgu veya cok dilli on egitimli modeller kullanmak sonuclari iyilestirir.

arrow_forward psychology

Natural Language Understanding (NLU) (Doğal Dil Anlama)

Dogal Dil Anlama (NLU — Natural Language Understanding), bilgisayarlarin insan dilini yalnizca islemekle kalmayip anlam, niyet ve baglami cikarabilmesini saglayan yapay zeka alanidir. Dogal Dil Isleme'nin (NLP) bir alt dali olan NLU, kurallara dayali yaklasimdan modern transformer-tabanli modellere dogru evrilmistir. NLU'nun temel gorevleri sunlardir: niyet tanima (intent recognition), varlik tanima (named entity recognition — NER), bag temsili (coreference resolution), sentiment analizi, semantic rol etiketleme ve dogal dil cikarsama (natural language inference — NLI). Bu gorevler bir araya geldiginde insanin yazili veya sozlu ifadesinin ne demek istedigini makine tarafindan anlasilmasini saglar. Diyalog sistemleri ve sesli asistanlarda NLU kritik bir rol oynar. Alexa, Siri veya Google Assistant gibi sistemler konusmanin metnini sesden metin algoritmasi (ASR) ile alir; ardindan NLU motoru niyeti (kullanicinin ne istedigini) ve entityleri (kim, ne, nerede, ne zaman) cikarir. Bu bilgi is mantigi katmanina iletilerek uygun eylem tetiklenir. Buyuk dil modelleri, NLU'nun pek cok alt gorevini tek bir unifikasyon cercevesine getirmistir. GPT-4 veya Claude gibi modeller, metinden sonuc cikarabilir, soru yanitlayabilir ve baglami takip edebilir. GLUE ve SuperGLUE benchmark'lari NLU modellerinin karsilastirilmasi icin standart test setleri saglamaktadir. BERT, bu benchmark'larda insan duzeyini gectiginden beri NLU arastirmasinin merkezindedir. NLU'nun pratik uygulama alanlari son derece genistir. Musteri hizmetleri otomasyonunda gelen mesajin konusunu ve aciliyetini siniflandirmak, saglik sektorunde klinik notlardan ICD kodlari cikarmak, hukuki belgelerde madde referanslarini tanimak gibi gorevlerde NLU motorlari kullanilmaktadir. RAG (Retrieval-Augmented Generation) sistemlerinde kullanici sorgusunun dogru yorumlanmasi ve uygun belgelerin getirilmesi icin guclu NLU vazgecilmezdir. Instruction tuning ve RLHF gibi teknikler, modellerin NLU gorevlerini acik talimatlarla gerceklestirmesini daha da iyilestirmektedir.

arrow_forward code_blocks

OCR (OCR — Optik Karakter Tanıma)

OCR (Optical Character Recognition — Optik Karakter Tanıma), görüntü, taranmış belge veya fotoğraf içindeki basılı ya da el yazısı karakterleri analiz ederek düzenlenebilir ve aranabilir dijital metne dönüştüren teknolojidir. 1950'lerin sonunda ortaya çıkan OCR, başlangıçta basit şablon eşleştirme ve piksel karşılaştırma algoritmalarına dayanırken; günümüzde derin öğrenme mimarileri sayesinde çok daha güçlü bir yapıya kavuşmuştur. Modern bir OCR sistemi dört temel aşamadan oluşur: (1) Görüntü ön işleme — gürültü giderme, eğim düzeltme (deskew), kontrast normalizasyonu ve renk segmentasyonu. (2) Metin bölgesi tespiti — satır ve kelime kutularının belirlenmesi, paragraf sıralamasının çıkarılması. (3) Karakter veya kelime düzeyinde segmentasyon ve özellik çıkarımı. (4) Model tabanlı tanıma ve dil modeli destekli hata düzeltme. Geleneksel sistemler CNN (Evrişimsel Sinir Ağı) ve LSTM kombinasyonunu kullanırken; son nesil Transformer tabanlı modeller — TrOCR, Donut, Nougat, DeepSeek-OCR — görsel kodlayıcı ile dil çözücüsünü birleştirerek belge düzeni anlayışını yeni bir düzeye taşımaktadır. Bu modeller artık sadece karakterleri değil; tabloları, formları, matematiksel ifadeleri ve karmaşık çok sütunlu sayfa yapılarını da yapılandırılmış çıktıya dönüştürebilmektedir. OCR'nin kullanım alanları son derece geniştir: finans sektöründe fatura ve çek işleme, sağlıkta hasta kayıtlarının dijitalleştirilmesi, hukuk alanında sözleşme tarama, e-ticarette ürün katalog otomasyonu, pasaport ve kimlik doğrulama sistemleri, kütüphane arşivlerinde tarihi belgelerin dijital ortama aktarılması bunların başında gelir. Türkçe gibi özel karakterler içeren diller için ğ, ü, ş, ı, ö, ç gibi harflerin doğru tanınması ayrı bir önem taşır; bu nedenle Türkçe dil paketi veya özel eğitilmiş model kullanımı gerekebilir. 2025-2026 itibarıyla çok modelli büyük dil modelleri (GPT-4o, Claude, Gemini) doğrudan görüntüden metin ve anlam çıkartabilmekte; bu durum OCR'yi 'belge zekası' adı verilen daha geniş bir alanda yeniden konumlandırmaktadır. İyi koşullar altında modern OCR sistemleri %99'un üzerinde doğruluk oranına ulaşabilirken, düşük kaliteli görüntü ve el yazısında bu oran %85-95 aralığına düşmektedir.

arrow_forward sentiment_satisfied_alt

Opinion Mining (Görüş Madenciliği)

Opinion Mining (Görüş Madenciliği), metin içindeki öznel ifadeleri, tutumları ve değerlendirmeleri otomatik olarak çıkaran, yapılandıran ve analiz eden bir Doğal Dil İşleme (NLP) disiplinidir. Terim zaman zaman Duygu Analizi (Sentiment Analysis) ile birbirinin yerine kullanılsa da Opinion Mining daha geniş bir çerçevedir: yalnızca genel duygusal tonu değil, kimin neye ilişkin ne düşündüğünü, belirli bir özellik ya da boyut düzeyinde çıkarmayı hedefler. Klasik Sentiment Analysis bir cümleyi olumlu, olumsuz veya nötr olarak etiketler ve burada durur. Opinion Mining ise çok bileşenli görüş birimlerini ayrıştırır: kimin, neye yönelik, hangi özellik üzerinden, hangi polaritede görüş belirttiğini tespit eder. 'Kulaklığın ses kalitesi üst düzey, ancak mikrofon berbat ve Bluetooth bağlantısı sürekli kesiliyor' gibi bir cümlede genel ton yanıltıcı olabilir; Opinion Mining bu metni üç ayrı görüş birimine ayrıştırır. Bu granüler analiz, ürün geliştirme ekiplerinin hangi özelliğin iyileştirilmesi gerektiğini kesin biçimde belirlemesini mümkün kılar. Teknik açıdan Opinion Mining, Aspect-Based Sentiment Analysis (ABSA) alt görevlerini kapsar: Aspect Term Extraction, Opinion Term Extraction ve Aspect-Opinion Pair Extraction. Modern sistemler bu görevler için BERT, RoBERTa veya büyük dil modelleri (LLM) kullanır. Sıfır-örnekli (zero-shot) LLM yaklaşımları, etiketli eğitim verisi gerektirmeksizin örtük görüşleri bile yakalayabilmektedir. Yapısal çıktı biçimi olarak Opinion Quintuple — kanaat sahibi, hedef varlık, özellik, polarite ve zaman damgası — alanın standart gösterimi kabul görmektedir. Endüstriyel kullanım alanları geniş bir yelpazeye yayılmaktadır: e-ticaret platformları ürün özelliklerini müşteri yorumlarından otomatik değerlendirmekte, finans sektörü yatırımcı duyarlılığını haber ve forum metinlerinden ölçmekte, siyasi analistler seçmen tutumlarını sosyal medya verilerinden gerçek zamanlı izlemektedir. Türkçe dahil çok dilli destek XLM-RoBERTa gibi modeller aracılığıyla giderek güçlenmekte; bu da Opinion Mining'i küresel ölçekte uygulanabilir kılmaktadır.

arrow_forward search

Perplexity (Şaşkınlık (Perplexity))

Perplexity (şaşkınlık), bir dil modelinin bir metni tahmin etmekte ne kadar zorlandığını ölçen değerlendirme metriğidir. Model bir sonraki kelimeyi yüksek olasılıkla doğru tahmin ediyorsa perplexity düşer, tahminlerde kararsız kalıyorsa yükselir. Matematiksel olarak çapraz entropinin üssüdür ve kabaca 'model her adımda ortalama kaç seçenek arasında kaldı' sorusunun cevabıdır.

arrow_forward recommend

Recommender Systems (Tavsiye Sistemleri)

Tavsiye Sistemleri (Recommender Systems), büyük veri kümeleri içinde kullanıcıya en uygun içerikleri, ürünleri veya hizmetleri otomatik olarak öne çıkaran yapay zeka alt dalıdır. Netflix'te izleyeceğiniz filmi, Spotify'da dinleyeceğiniz şarkıyı, Amazon'da satın alacağınız ürünü ve TikTok'ta karşınıza çıkan videoyu büyük ölçüde tavsiye algoritmaları belirler. Bu sistemlerin ekonomik etkisi oldukça büyüktür: Amazon'un satışlarının yaklaşık %35'i öneri motorundan kaynaklanmaktadır. Tavsiye sistemleri üç ana yaklaşıma dayanır. İşbirlikçi filtreleme (collaborative filtering), "benzer kullanıcılar benzer şeyleri sever" varsayımıyla çalışır. Bir kullanıcının geçmiş etkileşimleri (tıklama, izleme, satın alma, derecelendirme) incelenir; bu kalıpları paylaşan diğer kullanıcıların beğendiği içerikler önerilir. İki türü vardır: kullanıcı-kullanıcı (user-user) ve öğe-öğe (item-item) filtreleme. Netflix Prize yarışması (2009), işbirlikçi filtrelemenin potansiyelini akademiye ve sektöre kanıtlayan dönüm noktası olmuştur. İçerik tabanlı filtreleme (content-based filtering) ise kullanıcının daha önce beğendiği öğelerin özelliklerine odaklanır. Bir müzik platformunda dinlediğiniz parçanın tempo, akor yapısı ve enstrüman özellikleri analiz edilir; benzer özelliklere sahip parçalar önerilir. Bu yöntemin avantajı soğuk başlangıç (cold start) sorununu kısmen aşabilmesidir: yeni bir öğe sisteme eklendiğinde özellik vektörü hesaplanarak hemen öneri akışına dahil edilebilir. Hibrit sistemler bu iki yaklaşımı birleştirerek her birinin zayıf yönlerini telafi eder. Modern derin öğrenme tabanlı tavsiye sistemleri (örneğin iki-kule mimarileri, graph neural network'ler ve transformer tabanlı sıralama modelleri) ham kullanıcı-öğe etkileşimlerinden otomatik özellik öğrenerek hibrit yaklaşımı daha da güçlendirmektedir. Türkiye'de e-ticaret platformları, müzik uygulamaları ve haber siteleri yerel tavsiye motorları geliştirmektedir. Türkçe içerik için dil özelliklerine duyarlı NLP bileşenlerini sisteme entegre etmek kritik bir mühendislik gerekliliğidir. Etik boyutuyla ele alındığında tavsiye sistemleri, kullanıcı gizliliği, algoritmik önyargı ve bağımlılık riski konularında giderek artan bir incelemeyle karşı karşıya kalmaktadır. Avrupa'daki dijital pazar düzenlemeleri ve Türkiye'deki kişisel verilerin korunması mevzuatı, platform operatörlerinin öneri motorlarında veri minimizasyonu ve şeffaflık prensiplerine uymasını zorunlu kılmaktadır.

arrow_forward sync

RNN (Recurrent Neural Network) (Tekrarlayan Sinir Ağı)

RNN (Recurrent Neural Network, Tekrarlayan Sinir Ağı), sıralı verileri adım adım işlerken önceki adımlardan gelen bilgiyi bir gizli durum (hidden state) vektöründe taşıyan yapay sinir ağı mimarisidir. Klasik ileri beslemeli ağlar her girdiyi bağımsız değerlendirir; RNN ise bir cümleyi okuyan insan gibi soldan sağa ilerler, her kelimede o ana kadar gördüklerinin özetini günceller. Bu döngüsel yapı, çıktının yalnızca mevcut girdiye değil, tüm geçmiş bağlama bağlı olduğu problemler için tasarlanmıştır: dil modelleme, konuşma tanıma, makine çevirisi, zaman serisi tahmini ve sensör verisi analizi. Matematiksel olarak her zaman adımında aynı ağırlık matrisleri paylaşılır: h_t = f(W_x·x_t + W_h·h_(t-1) + b). Eğitim, zaman içinde geri yayılım (Backpropagation Through Time, BPTT) ile yapılır; ağ, dizinin uzunluğu kadar "açılır" ve gradyanlar geriye doğru akıtılır. Bu süreçte gradyanların üstel biçimde küçülmesi (vanishing gradient) standart RNN'in en bilinen zayıflığıdır: 30-50 adımdan uzun bağımlılıklar pratikte öğrenilemez. 1997'de Hochreiter ve Schmidhuber'in LSTM'i, 2014'te Cho ve ekibinin GRU'su bu sorunu kapı mekanizmalarıyla büyük ölçüde çözdü ve 2017'ye kadar NLP'nin fiili standardı oldu. 2017'deki Transformer mimarisi, paralel eğitim avantajıyla büyük dil modellerinde RNN'in yerini aldı; ancak dikkat mekanizmasının dizi uzunluğuyla O(n²) ölçeklenen maliyeti, doğrusal karmaşıklıklı alternatif arayışını yeniden başlattı. RWKV-7 (2025), Mamba-2 ve xLSTM (2024) gibi modern tekrarlayan mimariler, RNN'in O(n) çıkarım verimliliğini Transformer düzeyinde ifade gücüyle birleştirerek 2023-2026 döneminde bir "RNN rönesansı" yarattı. Bu mimarilerin kritik avantajı bağlam uzunluğundan bağımsız sabit boyutlu durum vektörüdür; KV-cache belleği tutmak gerekmediği için uç cihazlarda ve maliyet-duyarlı uygulamalarda belirgin bir ekonomi sunarlar. Bugün RNN ailesi; akış halinde konuşma tanıma, gömülü cihazlarda düşük gecikmeli çıkarım ve uzun bağlamlı verimli dil modelleri araştırmalarında aktif biçimde kullanılmakta, hibrit Transformer-SSM mimarileriyle de yeni bir senteze doğru evrilmektedir.

arrow_forward sentiment_satisfied

Sentiment Analysis (Duygu Analizi (Sentiment Analysis))

Duygu analizi (Sentiment Analysis), metin verilerindeki öznel ifadelerden duygusal eğilimi — pozitif, negatif veya nötr — otomatik olarak çıkaran doğal dil işleme (NLP) görevidir. Müşteri yorumları, sosyal medya paylaşımları, anket yanıtları ve haber metinleri gibi yapılandırılmamış metinleri anlamlandırmak için yaygın biçimde kullanılır. Yöntemler üç ana kategoride incelenir: **Kural tabanlı yaklaşımlar**, önceden tanımlanmış kelime listeleri (VADER, SentiWordNet) ve sözdizimi kuralları kullanır; hızlı ve açıklanabilir ancak bağlam ve ironi konusunda sınırlıdır. **Makine öğrenimi tabanlı yaklaşımlar**, Naive Bayes, SVM ve lojistik regresyon gibi algoritmalarla etiketli veriden öğrenir; kural tabanlıdan daha esnek ama veri bağımlıdır. **Derin öğrenme ve LLM tabanlı yaklaşımlar**, BERT, RoBERTa ve GPT ailesi modeller nüanslı duygu ifadelerini, ironik söylemleri ve alan spesifik jargonu çok daha iyi kavrar. Görev tanımları bakımından temel duygu sınıflandırması (pozitif/negatif/nötr) en basit biçimdir. **Kapsam tabanlı (aspect-based) duygu analizi**, bir ürün yorumundaki farklı özelliklere (kamera, pil, ekran) ayrı duygu puanları atar — "kamerası harika ama pili berbat" gibi ifadeler bu yöntemle doğru işlenir. **Duygu yoğunluğu** analizi, yalnızca yön değil kuvvet de belirler. **Çok dilli duygu analizi**, özellikle Türkçe gibi morfolojik açıdan zengin diller için ek zorluklar barındırır. Uygulama alanları şunlardır: marka itibar yönetimi (sosyal medya izleme), ürün geliştirme (müşteri geri bildirimi önceliklendirme), finans sektöründe haber ve tweet duygusuyla fiyat hareketi tahmini, siyasi kampanya analizi ve çağrı merkezi kayıt analizi. Türkiye'de e-ticaret yorumları ve sosyal medya analitiği en yaygın kullanım alanlarıdır. Başlıca zorluklar: ironi ve alaycılık tespiti, alan değişimi (domain shift) — bir modelin film yorumları üzerindeki başarısı tıp metinlerinde düşebilir —, çok dilli bağlam, gizli duygu ifadeleri ve etiketleyiciler arası anlaşmazlık. Türkçe için TRSentiNet ve Turkish Sentiment Analysis veri setleri geliştirilmiş olmakla birlikte İngilizce kaynaklarla kıyaslandığında hâlâ sınırlı kalmaktadır.

arrow_forward code_blocks

Sesli Asistan (Sesli Asistan)

Sesli asistan (voice assistant), otomatik konuşma tanıma (ASR), doğal dil işleme (NLP) ve metin-ses dönüştürme (TTS) teknolojilerini bir araya getirerek kullanıcıyla sesli diyalog kuran yapay zeka sistemidir. 2024 itibarıyla dünyada 8,4 milyarı aşkın sesli asistan kullanılmakta; Siri, Amazon Alexa, Google Assistant ve Cortana bu sınıfın en yaygın örnekleri arasında yer almaktadır. Sistemin çalışma zinciri dört temel adımdan oluşur: Kullanıcı sesi uyandırma sözcüğüyle (wake word) tetiklenip ASR motoruna iletilir; ASR, ses dalgalarını fonem düzeyinde işleyerek metne dönüştürür. NLU (doğal dil anlama) katmanı bu metni analiz ederek niyet (intent) ve varlık (entity) çıkarımı yapar. Yanıt oluşturulduktan sonra TTS motoru metni doğal seslendirmeye çevirerek kullanıcıya iletir. Gecikme hedefi 500ms altındadır; bunun üzeri gerçek zamanlı hissiyatı bozar. İlk nesil sesli asistanlar kural tabanlı niyet eşleştirme kullanıyordu; bu yaklaşım dar kapsamlı komutlarda tatmin edici olsa da karmaşık ve bağlam gerektiren sorularda yetersiz kalıyordu. Büyük dil modellerinin entegrasyonuyla sesli asistanlar köklü bir dönüşüm geçirmektedir: GPT-4o gerçek zamanlı sesli konuşma modu, Gemini Live ve Claude telefon asistan entegrasyonları bu yeni neslin örnekleridir. OpenAI Realtime API gibi uçtan uca modeller ASR→NLP→TTS zincirini tek modele sıkıştırarak hem gecikmeyi hem de hata birikimini azaltmaktadır. Türkçe sesli asistan ekosistemi açısından Whisper large-v3, Türkçe konuşma tanımada yüksek doğruluk sunan en erişilebilir modeldir. Google Cloud Speech-to-Text ve AWS Transcribe de Türkçe desteği sağlar. Akıllı ev kontrolü, takvim yönetimi, navigasyon ve kurumsal müşteri hizmetleri sesli asistanların başlıca uygulama alanlarıdır. Edge AI çipleri (Apple Neural Engine, Qualcomm AI Hub) bulut bağlantısı gerektirmeden cihaz üzerinde yüksek kaliteli sesli asistan deneyimini mümkün kılmaktadır. Akıllı hoparlörler, akıllı televizyonlar, otomobil infotainment sistemleri ve giyilebilir cihazlar sesli asistanların yaygınlaştığı başlıca donanım platformlarıdır.

arrow_forward code_blocks

Speech Synthesis (Konuşma Sentezi)

Konuşma sentezi (Speech Synthesis veya TTS — Text-to-Speech), yazılı metnin yapay zeka modelleri aracılığıyla sesli konuşmaya dönüştürülmesi sürecidir. Modern TTS sistemleri, insan sesine yakın doğallık ve ifadesellik sunar; vurgu, ritim, ton ve duygusal renk gibi konuşma özelliklerini derin öğrenme modelleriyle üretir. Günümüz nöral TTS sistemleri iki temel aşamadan oluşur: Akustik model, metni ses özelliklerini temsil eden mel-spektrograma dönüştürür; vokal sentezleyici (vocoder) ise bu ara temsili gerçek ses dalgasına çevirir. WaveNet (DeepMind, 2016), Tacotron 2 (Google, 2018) ve FastSpeech (Microsoft, 2019) bu alanın dönüm noktası modellerdir. Paralel çıkarım mimarisine sahip FastSpeech, Tacotron'dan 38 kat daha hızlı ses üretebilmektedir. VALL-E gibi büyük dil modeli tabanlı yaklaşımlar ise yalnızca birkaç saniyelik ses örneğinden birebir ses klonlama yapabilmektedir. Kullanım alanları son derece geniştir: ekran okuyucular ve görme engelliler için erişilebilirlik araçları, sesli asistanlar (Siri, Google Assistant, Alexa), e-öğrenme platformları, çağrı merkezi IVR sistemleri, sesli navigasyon, film lokalizasyonu ve podcast otomasyonu bunların başında gelir. ElevenLabs, OpenAI TTS ve Microsoft Azure Neural TTS gibi ticari platformlar düşük gecikme ve yüksek ifadesellik sunan üretim düzeyinde servisler geliştirmiştir. Ses kalitesini ölçmek için MOS (Mean Opinion Score — insan değerlendirmesine dayalı 1-5 puanlama), WER (Word Error Rate) ve DNSMOS gibi metrikler kullanılır. Türkçe TTS gelişimi ayrı bir zorluk barındırır: sondan eklemeli dil yapısı, sesleme kuralları ve tonlamayı modellemek İngilizce ile kıyaslandığında daha fazla veri ve araştırma gerektirmektedir. Teknolojinin gerçekçilik düzeyi deepfake ses ve kimlik taklitçiliği risklerini de beraberinde getirmektedir. VALL-E ve benzeri modeller sahte yetkilendirme (vishing) saldırılarına zemin hazırlayabilir. Bu nedenle biyometrik ses doğrulama, liveness detection ve ses sahteciliği tespiti (anti-spoofing) araştırmaları paralel yürütülmektedir. Bazı sistemler üretilen sese gizli filigran (watermark) ekleyerek kaynağını işaretler.

arrow_forward code_blocks

Text Classification (Metin Sınıflandırma)

Text classification (metin sınıflandırma), bir metin parçasının önceden tanımlanmış kategorilerden birine veya birkaçına otomatik olarak atanması görevidir. Doğal Dil İşleme'nin (NLP) temel taşlarından biri olan bu teknik; e-posta spam filtrelerinden duygu analizine, haber kategorizasyonundan müşteri hizmetleri otomasyonuna kadar geniş bir uygulama yelpazesine sahiptir. Makine öğrenimi tabanlı yaklaşımlarda metin önce sayısal temsillere dönüştürülür: TF-IDF vektörleri, Word2Vec embeddingler veya BERT gibi transformer tabanlı temsiller. Bu vektörler ardından Naive Bayes, Destek Vektör Makineleri (SVM) veya derin sinir ağları gibi sınıflandırıcılara beslenir. Modern uygulamalarda BERT, RoBERTa ve GPT gibi büyük dil modelleri ince ayar yapılarak (fine-tuning) olağanüstü doğruluk oranları elde edilmektedir. Üç temel türü vardır: ikili sınıflandırma (binary: spam/değil), çok sınıflı sınıflandırma (multi-class: spor/siyaset/ekonomi haber kategorizasyonu) ve çok etiketli sınıflandırma (multi-label: tek metne birden fazla kategori atama). Değerlendirme için salt doğruluk (accuracy) yetersiz kalabilir; sınıf dengesizliği durumlarında precision, recall ve F1 skoru daha güvenilir metriklerdir. Eşik bağımsız ölçüm için ROC-AUC kullanılır; kalibrasyon testi ise model güvenirliğini doğrular. Gerçek dünya uygulamalarının en yaygın zorluğu veri dengesizliğidir: örneğin yüzde bir spam, yüzde doksan dokuz normal e-posta dağılımı. Bu sorun SMOTE örnekleme, class-weight ayarlaması veya threshold kalibrasyonu ile giderilir. Sağlık alanında klinik not kategorizasyonu, hukuk sektöründe belge sınıflandırması ve içerik moderasyonunda zararlı içerik tespiti kritik kullanım alanlarıdır. SetFit gibi few-shot öğrenme çerçeveleri, contrastive learning ile yalnızca 8–64 etiketli örnek kullanarak tam ince ayar düzeyinde performans elde eder. Zero-shot sınıflandırmada GPT-4o veya Claude gibi büyük dil modelleri ek eğitim verisi olmaksızın kategori açıklamalarıyla doğru etiket ataması yapabilir. Türkçe için BERTurk, bert-base-turkish-cased ve XLM-R modelleri güçlü kıyaslama noktaları oluşturmaktadır.

arrow_forward 📝

Text Mining (Metin Madenciliği)

Text mining (metin madenciliği), büyük ve yapılandırılmamış metin veri kümelerinden örüntüler, ilişkiler ve anlamlı içgörüler çıkarmayı amaçlayan multidisipliner bir veri analizi alanıdır. Doğal dil işleme (NLP), istatistik ve makine öğrenimi yöntemlerini bir araya getiren text mining, günümüzde üretilen verinin tahminen yüzde seksenini oluşturan yapılandırılmamış metni işlenebilir bilgiye dönüştürür. KDD (Knowledge Discovery in Databases) sürecinin metin odaklı uzantısı olarak tanımlanan bu alan, 1990'larda üniversite araştırma laboratuvarlarında filizlenmiş ve sosyal medyanın patlamasıyla birlikte endüstriyel ölçeğe ulaşmıştır. Text mining pipeline'ı dört temel aşamadan oluşur: (1) Ön işleme — tokenizasyon, durak sözcük temizleme ve lemmatizasyon; (2) Özellik çıkarımı — TF-IDF, n-gram veya BERT gibi bağlam duyarlı vektörler; (3) Model uygulama — sınıflandırma, kümeleme, konu modelleme veya bilgi çıkarımı; (4) Yorumlama — çıktıların iş kararlarına veya araştırma bulgularına aktarılması. Bu dört adımlı süreç, ham bir tweet koleksiyonundan yöneticilere sunulacak marka algısı raporuna uzanan tüm iş akışlarını kapsar. Tarihsel olarak text mining, 1990'larda Naive Bayes ve TF-IDF tabanlı yöntemlerle gelişti; 2000'lerin ortasında SVM ile güçlendi. 2018'de Google'ın BERT modelini yayımlaması alanda köklü bir dönüşüm başlattı: bağlamı dikkate alan transformer mimarileri, belirsizlik giderme ve çok anlamlılık çözümlemesinde geleneksel yöntemleri geride bıraktı. Günümüzde GPT-4o gibi büyük dil modelleri sıfır atışlı metin sınıflandırması için kullanılırken, üretim iş yüklerinde ince ayarlı küçük modeller genellikle tercih edilmektedir. Türkçe gibi eklemeli dillerde tokenizasyon özellikle güçtür; tek bir köke eklenen onlarca ek aynı kelimenin onlarca farklı biçim almasına yol açar. BERTurk ve XLM-R, Türkçe metin madenciliği projelerinde önerilen temel modellerdir. Uygulama alanları son derece geniştir: sağlıkta elektronik kayıtlardan tanı ipuçları çıkarılması, finansta haber duyarlılığı sinyali üretilmesi, hukukta sözleşme analizi ve akademik literatürde bibliyometrik eğilim tespiti bunların başında gelir.

arrow_forward data_array

Token (Dil Modeli Birimi)

Token, büyük dil modelleri (LLM) ve doğal dil işleme (NLP) sistemlerinde metnin işlenebilir en küçük birimidir. LLM'ler ham metni doğrudan okuyamaz; önce metni token adı verilen parçacıklara böler, ardından her tokena sayısal bir kimlik (token ID) atar ve bu sayısal diziler üzerinde matematiksel işlemler gerçekleştirir. Bir token; tam bir kelime, kelimenin bir parçası (alt-kelime/subword), tek bir karakter ya da noktalama işareti olabilir. Bu dönüşüm sürecine tokenizasyon (tokenization) denir. GPT serisi modellerde kullanılan BPE (Byte Pair Encoding), eğitim verisi üzerinde en sık birlikte geçen karakter çiftlerini yinelemeli olarak birleştirerek bir vocabulary oluşturur. Google'ın geliştirdiği WordPiece de benzer bir mantıkla çalışırken seçim kriterinde maksimum olasılığı kullanır. SentencePiece ise dil bağımsız çalışan ve doğrudan ham karakterlerden token üreten bir yöntemdir. Token kavramı üç kritik boyutu doğrudan etkiler. Birinci boyut bağlam penceresidir (context window): bir modelin aynı anda işleyebildiği maksimum token sayısı o modelin 'hafıza kapasitesini' tanımlar. GPT-4o 128.000 token, Claude 3.5 Sonnet 200.000 token, Gemini 1.5 Pro ise 1.000.000 token bağlam kapasitesiyle öne çıkar. Bu limit aşıldığında model eski bağlamı unutur. İkinci boyut API maliyetidir: OpenAI, Anthropic ve Google gibi sağlayıcılar hizmetlerini giriş (input) ve çıkış (output) token sayısına göre faturalandırır. GPT-4o için 1 milyon giriş tokenu yaklaşık 5 USD, 1 milyon çıkış tokenu ise 15 USD'dir. Aynı görevi daha az tokenla çözen prompt tasarımı maliyeti kayda değer ölçüde azaltır; bu nedenle token ekonomisi LLM uygulama mühendisliğinin temel konularından biri haline gelmiştir. Üçüncü boyut dikkat hesaplamasıdır: Transformer mimarisinde her token diğer tüm tokenlarla dikkat skoru hesaplar. Bu O(n²) karmaşıklık nedeniyle bağlam uzadıkça hesaplama maliyeti hızla büyür; Flash Attention ve diğer verimlilik teknikleri bu soruna çözüm arayışından doğmuştur. Türkçe gibi eklemeli dillerde token kullanımı İngilizce'ye kıyasla daha yüksektir. 'Gidebileceklerinden' gibi tek bir Türkçe kelime birden fazla tokena bölünebilirken, aynı anlam İngilizce'de daha az token harcar. Bu durum Türkçe içerikli API çağrılarında maliyeti ve bağlam penceresi verimliliğini olumsuz etkileyebilir.

arrow_forward receipt_long

Tokenization (Tokenizasyon (Parçalara Ayırma))

Tokenizasyon, metin verisini büyük dil modelleri (LLM) ve doğal dil işleme (NLP) sistemlerinin işleyebileceği temel birimlere —"token"lara— dönüştürme sürecidir. Yapay zeka modelleri metni insan gibi harf harf değil, token kimlik numaraları (ID) cinsinden işler; tokenizasyon bu dönüşümün ilk ve belirleyici adımıdır. Bir token; tam kelime, kelime kökü, hece veya bayt grubu olabilir. Modern LLM'lerin büyük çoğunluğu Byte Pair Encoding (BPE) ya da SentencePiece gibi alt-kelime (subword) algoritmalarını tercih eder. Bu yöntemler yaygın kelimeleri tek token'a sıkıştırırken nadir kelimeleri birden fazla parçaya böler; böylece sözlük boyutu sınırlı tutulurken bilinmeyen kelime (OOV) sorunu ortadan kalkar. WordPiece (BERT), Tiktoken (GPT-4) ve SentencePiece (LLaMA, T5) gibi tokenizer'lar aynı metni farklı parça sayısına bölebilir. Tokenizasyon hem modelin tahmin kalitesini hem de kullanıcının API maliyetini doğrudan etkiler. OpenAI, Anthropic ve Google gibi sağlayıcılar ücretlendirmeyi kelime değil token başına yapar; bu nedenle token sayısını önceden tahmin etmek maliyet yönetiminin temelidir. Tiktoken kütüphanesi veya Hugging Face tokenizers ile prompt'lar göndermeden önce sayılabilir. Türkçe'nin eklemeli (agglutinative) yapısı tokenizasyon açısından ciddi bir dezavantaj yaratır: aynı içeriğin Türkçe versiyonu İngilizce'ye kıyasla genellikle 1,5–2 kat daha fazla token tüketir. Bu durum hem API maliyetini artırır hem de bağlam penceresi (context window) kapasitesini daha hızlı doldurur. Gemma, Qwen ve DeepSeek gibi çok dilli modeller Türkçe içerli eğitim verileriyle bu açığı kısmen kapatmıştır. Son olarak, tokenizasyon modelin bazı basit sorulardaki başarısızlığını da açıklar. Bir LLM'e "Strawberry kelimesinde kaç R var?" diye sorulduğunda alınan yanlış yanıt, modelin harfleri değil token ID'lerini gördüğünden kaynaklanır. Bu temel kısıt, LLM ile çalışan geliştiricilerin anlaması gereken en kritik altyapı konseptlerinden biridir.

arrow_forward topic

Topic Modeling (Konu Modelleme)

Konu modelleme (topic modeling), büyük metin koleksiyonlarındaki gizli tematik yapıları otomatik olarak keşfeden bir doğal dil işleme tekniğidir. Etiketlenmemiş belgelerin içinde hangi konuların ne yoğunlukta geçtiği istatistiksel yöntemlerle çıkarılır; böylece binlerce hatta milyonlarca belgeyi elle incelemeye gerek kalmadan anlamsal gruplamalar elde etmek mümkün olur. Alanın en klasik algoritması Latent Dirichlet Allocation (LDA)'dır. LDA, her belgenin birden fazla konunun karışımından oluştuğunu ve her konunun belirli kelimelerin olasılıklı dağılımı olduğunu varsayar. Model bu dağılımları yinelemeli Bayes çıkarımı (Gibbs örneklemesi veya değişimsel çıkarım) yoluyla öğrenir. Çıktı olarak her konu için en olasılıklı kelimeler listesi elde edilir; araştırmacı bu listeye bakarak konuya anlamsal bir etiket atar. LDA'nın bag-of-words temsili sözcük sırası ve bağlamı yok sayar. BERTopic bu sorunu kökten çözer: cümleler önce BERT gibi bir dönüştürücü modelle bağlam duyarlı vektörlere dönüştürülür, ardından UMAP ile boyut azaltma ve HDBSCAN ile kümeleme uygulanır; son adımda c-TF-IDF ile temsil kelimeleri seçilir. Bu yaklaşım Türkçe gibi morfolojik açıdan zengin dillerde de yüksek kaliteli konular üretir. Pratik kullanım alanları son derece geniştir: müşteri destek ekipleri yüzlerce günlük şikayet e-postasını otomatik kategorilere ayırır; akademisyenler on yıllar içinde yayımlanan binlerce makaleyi tarayarak araştırma trendlerini tespit eder; hukuk firmaları e-keşif süreçlerinde milyonlarca belgeyi konulara göre gruplandırır. Konu sayısının (K hiperparametresi) doğru belirlenmesi kritiktir; coherence score metrikleri (C_v, UMass) K optimizasyonu için kullanılabilir. Durma kelimelerinin ve nadir kelimelerin ön işleme aşamasında temizlenmesi model kalitesini doğrudan etkiler. Türkçe metinler için Zemberek veya TurkishNLP tabanlı lemmatizasyon zorunlu bir adımdır. Ayrıca dinamik konu modelleme (DTM) ve zaman serisi tabanlı yaklaşımlar, konuların zaman içinde nasıl değiştiğini izlemek için kullanılmaktadır.

arrow_forward hub

Transformer (Dönüştürücü Mimarisi)

Transformer, 2017'de Google araştırmacılarının 'Attention Is All You Need' makalesiyle tanıttığı ve bugünkü yapay zeka modellerinin büyük bölümünün temelini oluşturan derin öğrenme mimarisidir. Veriyi kelime kelime, sıralı biçimde işleyen RNN ve LSTM modellerinin aksine Transformer, Self-Attention (öz-dikkat) mekanizmasıyla bir dizideki tüm öğeleri aynı anda işler: her kelime, cümledeki diğer tüm kelimelerle ilişkisini eşzamanlı hesaplar. Bu paralel çalışma biçimi iki büyük sorunu birden çözer. Birincisi, GPU'ların matris çarpımındaki gücünden tam olarak yararlanıldığı için eğitim çok daha hızlıdır; devasa veri setleriyle milyarlarca parametreli model eğitmek ancak bu mimariyle pratik hale gelmiştir. İkincisi, uzak kelimeler arasındaki bağlamsal ilişkiler kaybolmaz; model uzun bir metnin başındaki bilgiyi sonunda da hatırlar. Her token için Query, Key ve Value vektörleri hesaplanır; bu üç vektörün matematiksel etkileşimi, cümledeki her kelimenin hangi diğer kelimelere ne ölçüde 'dikkat edeceğini' belirler. Transformer'ın önemi dil işlemeyle sınırlı kalmadı. ChatGPT, Claude, Gemini ve Llama gibi büyük dil modellerinin (LLM) tamamı bu mimari üzerine kuruludur. Görüntü tarafında Vision Transformer (ViT) sınıflandırma ve nesne tanımada CNN'lere güçlü bir alternatif oldu; Whisper konuşma tanımada, AlphaFold 2 ise protein yapısı tahmininde aynı temeli kullanır. Mimarinin kritik bir özelliği öngörülebilir ölçeklenmesidir: parametre, veri ve hesaplama arttıkça performans da düzenli biçimde artar. Bu ölçekleme yasaları son yılların yapay zeka araştırma gündemini belirlemiş; GPT-2'den itibaren her nesil modelde gözlemlenen tutarlı performans artışı, araştırmacıları modelleri büyütmeye yöneltmiştir. Standart dikkat mekanizmasının karesel hesaplama maliyeti nedeniyle FlashAttention ve kayan pencere dikkati gibi verimlilik teknikleri aktif bir araştırma alanı olmayı sürdürmektedir. Çok modlu Transformer'lar metin, görüntü, ses ve video gibi farklı veri türlerini tek bir model içinde işleyerek yapay zekanın uygulama sınırlarını daha da genişletmektedir.

arrow_forward grid_goldenratio

Vector Space (Vektör Uzayı)

Vektör uzayı (vector space), matematiksel olarak vektörlerin tanımlandığı ve bu vektörler üzerinde toplama ile skaler çarpma işlemlerinin belirli aksiyomları karşılayacak şekilde gerçekleştirilebildiği soyut bir yapıdır. Makine öğrenmesi ve yapay zeka bağlamında ise vektör uzayı, veri noktalarının (metin, görüntü, ses, kullanıcı davranışı gibi) sayısal temsillere dönüştürüldüğü ve bu temsiller arasındaki anlamsal ilişkilerin geometrik mesafe ve yön kavramlarıyla ifade edildiği çok boyutlu bir uzaydır. Doğal dil işleme alanında kelime gömmeleri (word embeddings) bu kavramın en çarpıcı uygulamasını sunar. Word2Vec, GloVe ve fastText gibi modeller, her kelimeyi vektör uzayında bir noktayla temsil eder; anlamca yakın kelimeler geometrik olarak da birbirine yakın konumlanır. Bu sayede "kral - adam + kadın = kraliçe" gibi vektör aritmetiği işlemleri anlam taşıyan sonuçlar verir. Benzer ilişkiler ülke-başkent çiftlerinde, fiil zamanlarında ve cinsiyet analoglarında da gözlemlenir. Transformatör tabanlı dil modellerinde (BERT, GPT, LLaMA) ise gizli katmanların ürettiği gömme vektörleri latent space (gizil uzay) olarak adlandırılır. Bu yüksek boyutlu uzay, modelin öğrendiği soyut özellikleri barındırır; benzer semantik yapıdaki girdiler bu uzayda yakın kümelerde bulunur. Retrieval-Augmented Generation (RAG) sistemlerinde belgeler ve sorgular bu uzayda temsil edilerek kosinüs benzerliğiyle eşleştirilir. Görüntü işlemede CNN ve Vision Transformer modelleri, pikselleri vektör uzayındaki noktalara dönüştürür ve nesne tanıma, yüz tanıma ile stil aktarımı gibi işlemleri bu uzay üzerinde gerçekleştirir. Öneri sistemlerinde kullanıcı ve ürün vektörleri aynı uzaya gömülerek etkileşim olasılığı hesaplanır. Vektör veritabanları (Pinecone, Weaviate, Milvus) bu vektörleri indeksleyerek milyonlarca boyut arasında milisaniyeler içinde benzerlik araması yapar. Boyutsallık laneti (curse of dimensionality) yüksek boyutlu uzaylarda mesafe metriklerinin anlamsızlaşmasına yol açabilir; bu nedenle boyut indirgeme teknikleri (PCA, UMAP, t-SNE) ve Yaklaşık En Yakın Komşu (ANN) algoritmaları modern yapay zeka sistemlerinin vazgeçilmez araçlarıdır.

arrow_forward code_blocks

Word2Vec (Kelime-Vektör Gömme Modeli)

Word2Vec, 2013 yılında Google'dan Tomas Mikolov ve ekibi tarafından geliştirilen, büyük metin korpuslarından kelime vektörleri öğrenen sinir ağı tabanlı bir gömme modelidir. Temel fikir, anlamsal açıdan birbirine yakın kelimelerin yüksek boyutlu uzayda da birbirine yakın noktalara karşılık gelmesidir; bu ilke dağılımsal anlam hipotezi olarak bilinir. Model iki farklı mimariyle eğitilebilir. CBOW (Continuous Bag of Words) mimarisinde bağlam kelimeleri girdi olarak alınır ve merkez kelime tahmin edilir; bu yaklaşım hızlı eğitim ve sık kelimelerde iyi performans sunar. Skip-gram mimarisinde ise tek bir merkez kelimeden yola çıkılarak çevresindeki bağlam kelimeleri tahmin edilir; bu yöntem nadir kelimeler için daha iyi temsiller üretir. Her iki mimari de negatif örnekleme (negative sampling) veya hiyerarşik softmax teknikleriyle milyonlarca parametreyi verimli biçimde optimize eder. Word2Vec'in en çarpıcı özelliği vektör aritmetiğine olanak tanımasıdır. 'Kral − Erkek + Kadın ≈ Kraliçe' örneği, modelin yalnızca birlikte geçme istatistiklerinden cinsiyet, rütbe ve meslek gibi soyut ilişkileri kodladığını göstermektedir. Bu ilişkiler çeviri, anlam genişlemesi ve metafor tespitinde kullanılmaktadır. Word2Vec'in sınırlılıkları da belirgindir: her kelime için tek bir sabit vektör üretir; bu nedenle 'banka' gibi çok anlamlı (polysemous) kelimelerde bağlama göre anlam ayrımı yapılamaz. ELMo (2018) bu sorunu LSTM tabanlı bağlama duyarlı temsiliyle çözmeye başladı; ardından gelen BERT ve GPT gibi transformer tabanlı modeller ise dinamik gömme anlayışını endüstri standardına taşıdı. Buna karşın Word2Vec, hesaplamalı maliyetinin son derece düşük olması nedeniyle kaynak kısıtlı ortamlarda, öneri sistemlerinde ve belge sınıflandırmasında hâlâ tercih edilmektedir. GloVe (Global Vectors for Word Representation) ve FastText, Word2Vec'in temellerini genişleten önemli alternatiflerdir: GloVe küresel birlikte geçme istatistiklerini kullanırken, FastText alt kelime parçalarını (subword) modelleyerek bilinmeyen kelimeleri de temsil edebilir.

arrow_forward code_blocks

ASR (Automatic Speech Recognition) (ASR — Otomatik Konuşma Tanıma)

ASR (Automatic Speech Recognition — Otomatik Konuşma Tanıma), insan sesini gerçek zamanlı olarak metne dönüştüren yapay zeka alt dalıdır. Mikrofon gibi bir ses girişinden alınan ham ses dalgaları; akustik model, dil modeli ve çözümleme (decoding) katmanı üçlüsü aracılığıyla işlenerek yazılı çıktıya dönüştürülür. Teknolojinin kökeni 1950'lerin ilkel rakam tanıma sistemlerine dayanır; ancak derin öğrenme devriminden sonra sıçrama yaşandı. 2014'te CTC (Connectionist Temporal Classification) kaybı ve end-to-end sinir ağları, HMM (Hidden Markov Model) tabanlı geleneksel akışın yerini almaya başladı. 2022'de OpenAI'ın açık kaynaklı Whisper modeli 680.000 saatlik çok dilli veriyle eğitildi; Türkçe dahil 99 dilde yüksek doğruluk sergiledi. Bir ASR sistemi üç temel bileşenden oluşur: Akustik Model ses özelliklerini (MFCCs, mel spektrogramları) fonem olasılıklarına eşler; Dil Modeli kelime dizileri arasında en olası olanı seçer; Decoder ise ışın araması (beam search) gibi algoritmalarla en yüksek skorlu transkripti bulur. Modern transformatör tabanlı sistemlerde bu üç katman tek bir uçtan uca mimaride birleşmiştir. ASR'ın başarımı Kelime Hata Oranı (Word Error Rate — WER) ile ölçülür: %5 WER'in altı insan düzeyine yakın kabul edilir. İngilizce için önde gelen modeller %3–6 WER aralığında yer alırken, Türkçe gibi zengin çekimli dillerde veri azlığı ve morfolojik karmaşıklık nedeniyle WER daha yüksek seyredebilir. Uygulama alanları geniştir: sesli asistanlar (Siri, Google Assistant), gerçek zamanlı altyazı, çağrı merkezi analizi, tıbbi dikte sistemleri, toplantı transkripti ve erişilebilirlik araçları. Gürültülü ortam, aksan çeşitliliği ve konuşmacıya özgü kalıplar hâlâ temel zorluklar olmaya devam etmekte; bu alanda konuşmacı ayrıştırma (speaker diarization) ve gürültü bastırma ön işleme adımları kritik rol üstlenir. Özellikle Türkçe gibi eklemeli dillerde tek bir sözcüğün yüzlerce çekim formu alabilmesi, dil modeli tasarımını önemli ölçüde güçleştirmektedir.

arrow_forward calculate

Cosine Similarity (Kosinüs Benzerliği)

Kosinüs benzerliği (Cosine Similarity), iki vektör arasındaki açının kosinüsünü ölçen ve vektörlerin yönleri arasındaki benzerliği sayısal olarak ifade eden matematiksel bir metriktir. Değeri [-1, 1] aralığında değişir: 1 tam benzer (aynı yön), 0 ortogonal (ilgisiz) ve -1 zıt anlamlıdır. Formülü: cos(θ) = (A·B)/(‖A‖×‖B‖), yani iki vektörün iç çarpımını her birinin uzunluklarının çarpımına böler. Yapay zeka ve doğal dil işleme alanlarında kosinüs benzerliği, çok boyutlu embedding vektörleri arasındaki anlamsal yakınlığı ölçmek için tercih edilir. Vektörlerin büyüklüğünden bağımsız olarak yalnızca yönü dikkate alması, belge uzunluğuna duyarsız bir ölçüm sağlar; bu nedenle tf-idf ve embedding vektörlerinde öklid mesafesine kıyasla daha güvenilir sonuçlar verir. Örneğin kısa bir tweet ile uzun bir makale, aynı konuyu ele alıyorsa benzer kosinüs skoru alırken öklid mesafesi büyük fark gösterir. Vektör veritabanlarında (Pinecone, Weaviate, Qdrant, ChromaDB, pgvector) ve semantik arama motorlarında sorgular önce bir embedding modeline gönderilir; elde edilen vektörle veritabanındaki tüm vektörler arasındaki kosinüs benzerliği hesaplanır ve en yakın k komşu (k-NN) döndürülür. Modern vektör veritabanları HNSW (Hierarchical Navigable Small World) veya IVF (Inverted File Index) gibi yaklaşık en yakın komşu (ANN) algoritmaları sayesinde milyonlarca vektörde bu aramaları milisaniyeler içinde tamamlar. RAG (Retrieval-Augmented Generation) sistemlerinde kosinüs benzerliği kritik bir role sahiptir: kullanıcı sorgusu embedding vektörüne dönüştürülür; bu vektörle belge parçaları (chunk) arasındaki kosinüs benzerliği hesaplanır; en yüksek skoru alan parçalar bağlam olarak LLM'e iletilir. Yaygın kullanılan pratik eşik değeri 0.70–0.85 arasında seçilir. L2-normalize vektörlerde kosinüs benzerliği, nokta çarpımına (dot product) eşdeğer olduğundan GPU matris çarpım işlemleri önemli ölçüde hızlanır. Python'da sklearn.metrics.pairwise.cosine_similarity, torch.nn.functional.cosine_similarity veya NumPy ile np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b)) şeklinde hesaplanabilir. Öneri sistemlerinde kullanıcı profilleri ve içerik özellikleri vektör uzayına yansıtılarak kosinüs benzerliğiyle eşleştirme yapılır. Kümeleme ve sınıflandırma görevlerinde de benzerlik matrisi olarak yaygın biçimde kullanılmaktadır. Sıfır vektörlerle tanımsız olduğu ve izotropik olmayan dağılım üreten modellerde MIPS (Maximum Inner Product Search) daha uygun olabilir.

arrow_forward code_blocks

Data Labeling (Veri Etiketleme)

Veri etiketleme, ham veri örneklerine anlamlı etiket veya meta veri atamanın sürecidir. Makine öğrenimi modelleri yalnızca gördüğü örneklerden öğrenebilir; bu örneklerin hangi sınıfa, nesneye veya kavrama ait olduğunu belirtmek için etiketleme yapılır. Denetimli öğrenme paradigmasında etiketleme, modelin öğrenebileceği altın standardı (ground truth) tanımlar. Etiketleme yöntemleri üç ana grupta incelenir. Manuel etiketleme, insan uzmanlar veya kalabalık kaynak platformları (Amazon Mechanical Turk, Scale AI, Appen) tarafından gerçekleştirilir; yüksek doğruluk sağlar ancak maliyetli ve yavaştır. Yarı otomatik etiketlemede bir makine öğrenimi modeli ön tahmin üretir ve insan uzmanlar yalnızca belirsiz örnekleri düzeltir; maliyet ile hız arasında pratik bir denge sağlar. Otomatik etiketleme (weak supervision) ise kural tabanlı sistemler veya düşük maliyetli modellerin büyük veri kümelerini hızla etiketlemesine dayanır; Snorkel gibi çerçeveler bu yaklaşımı sistematize eder. Etiket kalitesi model performansını doğrudan etkiler. Gürültülü veya tutarsız etiketler, iyi tasarlanmış bir modelin başarısını dahi düşürebilir. Kaliteyi ölçmek için etiketçi anlaşma oranı (inter-annotator agreement) Cohen's Kappa katsayısıyla hesaplanır; düşük kappa değerleri yeniden etiketleme sürecini tetikler. Çift-kör etiketleme ve etiketçi kalibrasyonu en yaygın kalite güvence yöntemlerindendir. Büyük dil modellerinin yaygınlaşmasıyla etiketleme paradigması dönüşüm geçirmektedir. RLHF sürecinde insan değerlendiriciler modelin iki farklı yanıtından daha iyisini seçerek tercih verisi oluşturur. Bu etiket türü modelin yardımcılık ve zararsızlık yetkinliklerini şekillendirir. RLAIF yaklaşımında ise insan yerine gelişmiş bir model etiketleme görevini üstlenerek ölçeklenebilirliği artırır. Aktif öğrenme, sınırlı etiketleme bütçesiyle maksimum bilgi kazanmayı hedefler. Model, tahmininde en belirsiz olduğu örnekleri insanlara göndererek az etiketlenmiş veriyle yüksek performansa ulaşabilir. Bu yöntem özellikle tıbbi görüntüleme ve hukuki belge sınıflandırma gibi uzman emek gerektiren alanlarda kritik bir tasarruf aracıdır. Etiketleme sürecinde sık karşılaşılan sorunlar şunlardır: etiketçi önyargısı, sınıf tanım belirsizliği, ölçeklenebilirlik güçlükleri ve sınıf dengesizliği. Veri artırma teknikleri ve SMOTE, az örnekli sınıflar için sentetik etiketli veri üretiminde kullanılır.

arrow_forward code_blocks

Dynamic Programming (Dinamik Programlama)

Dinamik programlama (DP), karmaşık problemleri birbiriyle örtüşen alt problemlere ayrıştırarak çözen ve her alt problemin sonucunu bellekte saklayarak aynı hesaplamanın tekrar yapılmasını önleyen bir algoritma tasarım paradigmasıdır. Yöntem, 1950'lerde ABD'li matematikçi Richard Bellman tarafından geliştirilmiş; adındaki "programlama" sözcüğü yazılım değil, matematiksel optimizasyonu ifade etmektedir. Dinamik programlamanın iki temel koşulu vardır: optimal altyapı (optimal substructure) — bir problemin optimal çözümü, alt problemlerinin optimal çözümlerinden oluşmalıdır; örtüşen alt problemler (overlapping subproblems) — aynı alt problemler defalarca karşılaşılmalıdır. Bu iki özelliğin bir arada bulunduğu yerde DP büyük verimlilik kazanımları sağlar. Uygulamada iki ana strateji kullanılır: tabanlı yaklaşım (bottom-up/tabulation) en küçük alt problemden başlayarak büyük probleme iteratif biçimde ilerler ve sonuçları bir tabloda depolar; yukarıdan aşağıya yaklaşım (top-down/memoization) özyinelemeli çağrıları önbelleğe alarak aynı hesaplamaların tekrarını engeller. Yapay zeka ve makine öğrenimi alanında dinamik programlama hayati önem taşır. Pekiştirmeli öğrenmede (reinforcement learning) politika değerlendirme (policy evaluation) ve politika yineleme (policy iteration) algoritmaları doğrudan DP ilkelerine dayanır. Bellman denklemi — DP'nin kurucusu tarafından formüle edilmiş — modern Q-öğrenmesinin ve derin pekiştirmeli öğrenmenin (DRL) matematiksel temelini oluşturur. Markov karar süreçleri (MDP) çözümünde hem değer yineleme (value iteration) hem de politika yineleme DP formülasyonuna dayanır. Doğal dil işlemede Levenshtein (düzenleme) mesafesi iki dizi arasındaki minimum edit sayısını DP tablosuyla hesaplar; Viterbi algoritması Gizli Markov Modellerinde (HMM) en olası durum dizisini DP ile bulur; CTC (Connectionist Temporal Classification) kaybı ise ses tanıma modellerinde hizalama belirsizliğini DP ile çözer. Tokenizasyonda kullanılan BPE (Byte Pair Encoding) algoritması da DP prensiplerinden yararlanır. Klasik DP örnekleri arasında En Uzun Ortak Alt Dizi (LCS), 0/1 Sırt Çantası, Matris Zinciri Çarpımı ve Floyd-Warshall en kısa yol algoritması sayılabilir. Modern yapay zeka bağlamında Monte Carlo Ağaç Araması (MCTS) ve bazı hiperparametre optimizasyonu yaklaşımları da DP fikirlerinden faydalanır.

arrow_forward code_blocks

Graph Attention Network (GAT) (Dikkat Mekanizmalı Çizge Sinir Ağı)

Graph Attention Network (GAT), çizge (graf) yapılı verilere dikkat mekanizması uygulayan bir yapay sinir ağı mimarisidir. Velickovic ve ekibi tarafından 2018'de ICLR konferansında önerilen GAT, bir düğümün temsilini güncellerken komşu düğümlere sabit ağırlık atamak yerine, her komşu için ayrı dikkat puanları hesaplayarak hangi komşuların daha önemli olduğunu veri odaklı biçimde öğrenir. GAT, bir düğüm ile her komşusu arasında dikkat katsayısı (attention coefficient) hesaplar. Bu katsayılar Leaky ReLU aktivasyonlu küçük bir sinir ağıyla üretilir ve softmax ile normalize edilir. Son düğüm temsili, komşu özelliklerinin bu ağırlıklı toplamından oluşur. Kararlılık ve farklı ilişki örüntülerini yakalamak için çok başlıklı dikkat (multi-head attention) kullanılır; ara katmanlarda başlık çıktıları birleştirilir, çıkış katmanında ortalaması alınır. Çizge Evrişimsel Ağ (GCN), tüm komşulara eşit ağırlık atarken GAT her komşunun önem derecesini veri odaklı biçimde öğrenir. Bu esneklik, değişken büyüklükteki komşuluk yapılarında ve karmaşık ilişkilerde GAT'a belirgin üstünlük sağlar. GNN (Graph Neural Network) ise bu tür tüm çizge sinir ağlarını kapsayan üst terimdir; GCN ve GAT, GNN'nin özel türleridir. GAT başlıca düğüm sınıflandırma, bağlantı tahmini ve çizge sınıflandırma görevlerinde kullanılır. Pratik uygulamalar arasında sosyal ağ analizi, ilaç-protein etkileşim tahmini, moleküler biyoloji, bilgi grafiği tamamlama ve içerik tabanlı öneri sistemleri yer alır. Dikkat katsayıları komşular arasında paralel hesaplandığı için GAT verimlidir ve farklı büyüklükteki komşuluklara doğal uyum sağlar. Üretilen dikkat ağırlıkları yorumlanabilir olduğundan hangi komşuların belirleyici olduğu analiz edilebilir. Türkiye'de ilaç keşfi ve biyoinformatik alanında çalışan araştırma grupları GAT mimarisini aktif olarak kullanmaktadır. GAT'ın 2021'de önerilen GATv2 varyantı, orijinal mimarideki statik dikkat hesabı sorununu gidererek her adımda tam dinamik dikkat üretir. PyTorch Geometric'in GATConv ve GATv2Conv katmanları, araştırmacılara hazır ve optimize edilmiş implementasyonlar sunar. Büyük çizgelerde ölçeklenebilirlik sorunu için mini-batch örnekleme ve Sparse GAT yaklaşımları yaygınlaşmaktadır; bu varyantlar yalnızca seyrek kenar kümeleriyle çalışarak bellek tüketimini önemli ölçüde azaltır.

arrow_forward shield

Hate Speech Detection (Nefret Söylemi Tespiti)

Nefret söylemi tespiti (Hate Speech Detection), doğal dil işleme ve makine öğrenmesi yöntemlerini kullanarak metin, yorum, gönderi veya konuşma içeriklerindeki nefret ifadelerini, ırkçılığı, cinsiyetçiliği, etnik ayrımcılığı ve şiddete teşvik eden dili otomatik olarak sınıflandırmayı amaçlayan yapay zeka alanıdır. Sosyal medya platformları, haber siteleri ve çevrimiçi topluluklar için içerik moderasyonunun bel kemiğini oluşturur. Temel teknik yaklaşım metin sınıflandırmasıdır. Önceki nesil sistemler TF-IDF ağırlıklı özellikler ve destek vektör makineleri (SVM) veya lojistik regresyon kullanırken, günümüz sistemleri BERT, RoBERTa ve özelleştirilmiş dil modelleri üzerine kuruludur. Fine-tuning yapılmış transformer modelleri, bağlamdan bağımsız anahtar kelime listelerine kıyasla belirgin biçimde üstün performans sergilemektedir: "kesmek" fiili mutfak bağlamında masum iken siyasi söylemde tehdit içerebilir. Teknik zorluğun büyük kısmı veri etiketleme sorunlarından kaynaklanmaktadır. İnsan etiketçiler arasında uyum oranı genellikle %60–70 civarında kalmakta; ironi, argo, mizah ve kültürel bağlam doğru etiketlemeyi güçleştirmektedir. Sınıf dengesizliği de kritik bir sorundur: üretilen içeriklerin çok küçük fraksiyonu gerçek nefret söylemi içerdiğinden, naif modeller sınıfı tamamen yok sayarak yüksek doğruluk iddiasında bulunabilir. Türkçe bağlamında nefret söylemi tespiti ek zorluklar barındırır. Türkçe'nin sondan eklemeli yapısı, argo ve kod-karıştırma (Türkçe-İngilizce karma kullanım) modelleme sürecini karmaşıklaştırır. BERTurk, ConvBERTurk ve çok-dilli modeller bu görev için ince ayar yapılmaktadır. Türkiye'de BTK ve sosyal medya platformlarının içerik moderasyon politikaları nedeniyle Türkçe veri setlerinin geliştirilmesi araştırma gündeminde önemli bir yer tutmaktadır. Etik boyutlar tartışmayı sürekli canlı tutar. Aşırı engelleme (over-blocking), azınlık topluluklarının meşru ifade özgürlüğünü bastırma riskini taşır; az engelleme (under-blocking) ise zararlı içeriklerin yayılmasına zemin hazırlar. Otomatik sistemler insan denetimini tamamlamalı, onun yerini almamalıdır. AB Dijital Hizmetler Yasası (DSA) ve Türkiye'deki sosyal medya düzenlemeleri, bu sistemlerin şeffaflık ve hesap verebilirlik gerekliliklerini yasal zemine taşımaktadır. 2026 itibarıyla çok-modlu nefret söylemi tespiti araştırma gündeminin ön sıralarına yerleşmiştir.

arrow_forward 🔍

Information Extraction (Bilgi Çıkarımı)

Bilgi Çıkarımı (Information Extraction — IE), ham ve yapılandırılmamış metin verilerinden otomatik olarak anlamlı, yapılandırılmış bilgilerin elde edilmesi sürecidir. Doğal dil işlemenin (NLP) temel alt alanlarından biri olan IE; kişi adları, yer isimleri, tarihler ve kurumlar gibi varlıkları tanımlamak, bu varlıklar arasındaki ilişkileri ortaya çıkarmak ve metinde geçen olayları tespit etmek için çeşitli makine öğrenmesi ve dil modeli tekniklerinden yararlanır. İnsan tarafından yazılan doğal dil metni, veritabanlarında sorgulanabilir ve algoritmalar tarafından işlenebilir formata dönüşür. IE sistemi tipik olarak birkaç ardışık aşamadan oluşur: Varlık İsmi Tanıma (Named Entity Recognition — NER) ile metindeki kişi, organizasyon, konum ve tarih gibi kavramlar etiketlenir; İlişki Çıkarımı (Relation Extraction) ile iki varlık arasındaki anlam bağı saptanır; Olay Çıkarımı (Event Extraction) ile belirli bir faaliyetin ne zaman, nerede ve kimler tarafından gerçekleştiğine dair bilgiler yapılandırılır. Modern sistemler bu görevleri gerçekleştirmek için BERT, GPT ve benzeri büyük dil modellerini (LLM) yoğun biçimde kullanmaktadır. Geleneksel kural tabanlı IE sistemleri; düzenli ifadeler (regex) ve el ile hazırlanmış dilbilgisi kurallarına dayanırken, makine öğrenmesi tabanlı yaklaşımlar eğitim verisi üzerinde destek vektör makineleri ve koşullu rastgele alanlar (CRF) gibi olasılıksal modeller kullandı. Günümüzde ön-eğitimli transformer modelleri bu iki yaklaşımı büyük ölçüde geride bırakmış; az örnekli (few-shot) ve sıfır-örnekli (zero-shot) çıkarım yetenekleri pratikte kullanım eşiğini önemli ölçüde düşürmüştür. Bilgi Çıkarımı; haber madenciliği, biyomedikal literatür analizi, finansal doküman işleme ve hukuki metin analizi gibi çok sayıda uygulama alanında kritik bir rol üstlenmektedir. Büyük hacimli metin verilerini insan müdahalesi olmadan işleyebilen IE sistemleri, hem araştırmacılara hem de işletmelere zaman ve maliyet açısından önemli kazanımlar sağlar; aynı zamanda bilgi grafları ve yapısal veritabanlarının zenginleştirilmesine doğrudan katkıda bulunur.

arrow_forward psychology_alt

Lost in the Middle (Ortada Kaybolma Fenomeni)

"Lost in the Middle" (Ortada Kaybolma), büyük dil modellerinin (LLM) uzun bağlamlardaki bilgiyi konumuna göre farklı ağırlıkta işlediğini ortaya koyan bir fenomendir. Nelson F. Liu ve arkadaşları tarafından 2023 yılında yayımlanan "Lost in the Middle: How Language Models Use Long Contexts" makalesiyle sistematik biçimde belgelenmiştir. Araştırma, LLM'lerin bağlamın başına (primacy bias) ve sonuna (recency bias) yerleştirilen bilgiye çok daha fazla dikkat ettiğini, ancak bağlamın ortasındaki bilgiyi büyük ölçüde görmezden geldiğini göstermiştir. Bu etki, bağlam uzunluğu arttıkça güçlenir; onlarca belgenin sıralandığı çok belgeli soru-cevap (multi-document QA) görevlerinde kritik bir sorun haline gelir. Bu bulgunun RAG (Retrieval-Augmented Generation) sistemleri için doğrudan pratik sonuçları vardır: alınan belgelerin bağlama yerleştirilme sırası, modelin nihai doğruluğunu önemli ölçüde etkiler. En ilgili belgeler bağlamın başına veya sonuna yerleştirildiğinde model doğruluğu artarken ortaya yerleştirildiğinde düşer. Bu nedenle modern RAG sistemleri, yüksek puanlı sonuçları bağlamın iki ucuna yerleştiren "çift uç sıralama" (bi-positional ranking) stratejilerini benimsemiştir. Fenomenin kökeni dikkat mekanizmasının pozisyonel önyargılarına dayanmaktadır: eğitim verilerinin doğal yapısında metinlerin başı ve sonu genellikle daha fazla bilgi yoğunluğu içerdiğinden model bu konumlara ağırlık vermeyi öğrenir. Flash Attention ve rotary position encoding (RoPE) gibi teknik geliştirmeler uzun bağlam işlemeyi iyileştirmiş olsa da pozisyonel önyargı tamamen ortadan kalkmamıştır. Türkiye'de RAG tabanlı müşteri hizmetleri ve belge sorgulama sistemleri geliştiren ekipler bu fenomeni göz önünde bulundurarak belge sıralama stratejilerini yapılandırmalıdır. Uzun politika belgeleri veya hukuki metinlere dayanan sistemlerde "ortada kaybolma" etkisi yanıltıcı yanıtlara yol açabilir. Bu bağlamda bağlam penceresini (context window) gereksiz bilgiyle doldurmak yerine bağlam sıkıştırma (context compression) ve seçici bellek (selective memory) yaklaşımlarıyla yalnızca en ilgili pasajların bağlama eklenmesi önerilmektedir.

arrow_forward code_blocks

Multi-Task Learning (Çok Görevli Öğrenme)

Çok görevli öğrenme (Multi-Task Learning, MTL), bir modelin birden fazla ilgili görevi eş zamanlı olarak öğrenmesini sağlayan makine öğrenimi paradigmasıdır. Her görevi bağımsız modelle çözmek yerine, ortak bir temsil katmanı paylaşılır; böylece bir görevden elde edilen bilgi diğer görevlerin öğrenimini güçlendirir. MTL'nin temel dayanağı, farklı görevlerin örtüşen özellik temsillerinden yararlanabileceği varsayımıdır. Örneğin bir model hem nesne tespiti hem derinlik tahmini yapıyorsa, görsel ön işleme katmanlarını paylaşmak her iki görevi de iyileştirir. Paylaşılan temsiller örtük bir düzenleme (regularization) etkisi yaratır; ek görevler modelin tek bir veri kümesine aşırı uymasını engeller ve genel özelliklerin öğrenilmesini teşvik eder. En yaygın MTL mimarisi sert parametre paylaşımıdır (hard parameter sharing): gövde katmanları tüm görevler arasında ortak tutulurken her görevin kendi çıkış başlığı (task head) bulunur. BERT, GPT ve benzeri büyük dil modelleri örtük MTL ile ön eğitim yapar; maskeli dil modelleme ve sonraki cümle tahmini gibi birden fazla sinyal aynı anda optimize edilir. Yumuşak parametre paylaşımında (soft sharing) ise her görevin ayrı parametreleri vardır ancak görevler arasındaki yakınlık kayıp fonksiyonuyla düzenlenir. MTL'nin uygulama alanları oldukça geniştir: doğal dil işlemede duygu analizi, varlık tanıma ve ilişki çıkarımının birlikte eğitimi; bilgisayarlı görüde nesne tespiti, segmentasyon ve derinlik tahmininin ortak optimizasyonu; otonom araçlarda şerit tespiti, trafik işareti tanıma ve mesafe tahmininin eş zamanlı öğrenilmesi öne çıkan örneklerdir. Negatif transfer, MTL'nin en önemli riskidir: ilgisiz veya çelişen görevler birbirinin öğrenimini olumsuz etkileyebilir. Bu durumu önlemek için görev ilişkisi analizi, gradyan çatışma tespiti (PCGrad, GradVac) ve uyarlanabilir kayıp ağırlıklandırma teknikleri kullanılır. Transfer öğrenme görevleri sıralı öğrenirken MTL eş zamanlı optimize eder; bu fark özellikle kısıtlı etiketli veri durumlarında MTL'yi avantajlı kılar. Doğru görev seçimi ve kayıp dengeleme, MTL'yi tek görevli eğitimden üstün kılan kritik tasarım kararlarıdır.

arrow_forward edit_note

Natural Language Generation (NLG) (Doğal Dil Üretimi)

Doğal Dil Üretimi (Natural Language Generation — NLG), yapay zeka sistemlerinin yapılandırılmış verilerden, bilgi grafiklerinden veya diğer makine tarafından okunabilir girdilerden insan diline yakın, anlaşılır metin üretmesini sağlayan doğal dil işlemenin (NLP) alt dalıdır. Haber ajanslarının finansal rapor özetleri, otomatik spor maçı anlatımları ve kişiselleştirilmiş e-ticaret ürün açıklamaları NLG'nin somut uygulamalarına örnek gösterilebilir. NLG sürecinin klasik mimarisi üç aşamadan oluşur: belge planlaması (hangi bilginin aktarılacağı), cümle planlaması (bilginin cümlelere nasıl bölüneceği) ve yüzey gerçekleşmesi (dilbilgisi kurallarına uygun metnin üretilmesi). Kural tabanlı erken sistemlerde bu aşamaların her biri şablon ve dil kurallarıyla ayrı ayrı kodlanırdı. 2017 sonrasında transformatör mimarilerinin benimsenmesiyle NLG kökten dönüştü. GPT serisi, T5 ve LLaMA gibi büyük dil modelleri (LLM), milyarlarca parametreyle eğitilerek belge planlama ile yüzey gerçekleşmesini tek bir öğrenme sürecinde birleştirdi. Bu yaklaşım hem kalitenin hem de esnekliğin dramatik biçimde artmasını sağladı. Kalite değerlendirmesinde BLEU ve ROUGE metrikleri referans metinle n-gram örtüşmesini ölçerken, BERTScore semantik benzerliği vektör uzayında değerlendirir. İnsan değerlendirmesi ise tutarlılık, akıcılık ve bilgi doğruluğu açısından hâlâ altın standart olarak kabul edilmektedir. NLG'nin kritik zorlukları arasında halüsinasyon (gerçek olmayan bilgi üretme), uzun metinlerde tutarlılığı koruma ve kontrollü üretim (belirlenen ton, uzunluk, hedef kitle parametrelerine uyma) sayılabilir. Retrieval-Augmented Generation (RAG) yaklaşımı, modeli güncel dış kaynaklara bağlayarak halüsinasyon riskini azaltmanın yaygın yöntemi haline gelmiştir. Veri odaklı NLG (data-to-text) sistemleri ise tablo, grafik veya veri tabanı sorgularından doğrudan metin üretir. Hava durumu bültenlerini otomatik yazan sistemler veya basketbol maçı istatistiklerinden anlatı oluşturan platformlar bu kategoriye girer. Bu uygulamalarda doğruluk, belirtilen sayısal değerlerin metinde hatasız yansıtılması anlamına gelir. Türkiye'de NLG; haber ajansları tarafından otomatik ekonomi haberciliği, e-ticaret platformlarında ürün açıklaması üretimi ve çağrı merkezi yazışma otomasyonu alanlarında aktif olarak kullanılmaktadır. Türkçenin çok ekli yapısı morfolojik üretimi zorlaştırdığından Türkçeye özgü NLG modellerinde özel tokenizasyon stratejileri kritik önem taşımaktadır.

arrow_forward chat

Natural Language Processing (Doğal Dil İşleme)

Doğal Dil İşleme (NLP — Natural Language Processing), bilgisayarların insan dilini anlama, yorumlama, üretme ve anlamlı biçimde yanıt verme yeteneğini geliştiren yapay zeka dalıdır. Dilbilim, bilgisayar bilimi ve makine öğreniminin kesişim noktasında yer alan NLP, günümüzde ChatGPT gibi sohbet robotlarından Google Arama'ya, otomatik çeviriden sesli asistanlara kadar geniş bir kullanım alanına ulaşmıştır. NLP'nin temel işlem hattı birkaç katmandan oluşur: tokenizasyon (metni sözcük veya alt-sözcük parçalarına ayırma), morfolojik analiz (kelime köklerini ve eklerini çözümleme), sözdizimi çözümlemesi (cümle yapısını ağaçla modelleme) ve anlambilimsel analiz (bağlamı ve niyeti kavrama). Modern derin öğrenme yaklaşımları bu aşamaları büyük ölçüde bütünleşik sinir ağlarıyla uçtan uca öğrenir; BERT ve GPT serisi bu dönüşümün simgesi haline gelmiştir. Türkçe, sondan eklemeli (agglutinative) morfolojisi nedeniyle NLP için özellikle zorlu bir dildir. "Gidebileceklerinden" gibi tek bir sözcük onlarca anlam katmanı barındırabilir. BERTurk, Turkish GPT ve Zemberek gibi projeler Türkçe özelinde çözümler geliştirirken, Byte Pair Encoding (BPE) ve SentencePiece alt-sözcük tokenizasyonu dil modellerinin Türkçeyi verimli işlemesini mümkün kılmaktadır. 2017'de yayımlanan Transformer mimarisi NLP'yi köklü biçimde dönüştürdü: öz-dikkat mekanizması ile modeller uzun menzilli bağımlılıkları yakalayabildi. BERT (2018), GPT-3 (2020) ve ChatGPT (2022) bu dönüşümün kilometre taşlarıdır. Günümüzde büyük dil modelleri (LLM) NLP görevlerinin büyük çoğunluğunda insan düzeyine yaklaşmış ya da aşmıştır. NLP; metin sınıflandırma, adlandırılmış varlık tanıma, makine çevirisi, duygu analizi, soru-cevap sistemleri ve özetleme başta olmak üzere onlarca kritik uygulamaya güç vermektedir. Endüstride NLP bileşenleri yaygın biçimde kullanılmaktadır: müşteri hizmetlerinde chatbot ve otomasyon, hukuk teknolojisinde belge tarama, sağlık alanında klinik not çözümleme ve ilaç literatürü analizi. Retrieval-Augmented Generation (RAG) mimarisinde NLP katmanları, kullanıcı sorgusunu vektör uzayında temsil edip ilgili belgeleri alır; böylece LLM'in güncel ve doğru yanıtlar üretmesi desteklenir. Türkiye'de e-devlet platformları, fintech uygulamaları ve yerli yapay zeka girişimleri Türkçe NLP altyapısına giderek artan yatırım yapmaktadır.

arrow_forward code_blocks

Prompt (Prompt)

Prompt, bir yapay zeka dil modeline verilen yazılı talimat, soru veya girdi metninin genel adıdır. Türkçede "promt" şeklinde de yazılan bu terim, kullanıcının bir YZ sisteminden belirli bir yanıt veya çıktı alabilmek için sisteme ilettiği her türlü mesajı kapsar. Bir prompt; soru, komut, bağlam bilgisi, örnekler ve kısıtlamalar gibi unsurlar içerebilir. Yapay zeka sistemleri, girdinin kalitesine ve açıklığına göre farklı kalitede yanıtlar üretir. Bu nedenle etkili bir prompt yazmak, istenilen sonuca ulaşmak için kritik bir beceri hâline gelmiştir. Buna "prompt mühendisliği" (prompt engineering) denir. Promptlar üç temel kategoriye ayrılır: (1) Sıfır atışlı promptlar (zero-shot): Herhangi bir örnek verilmeden doğrudan soru ya da talimat içerir. (2) Az atışlı promptlar (few-shot): Modele istenen çıktı biçimini göstermek için birkaç örnek sunar. (3) Sistem promptları (system prompt): Modelin genel davranışını, tonunu ve kısıtlamalarını belirleyen arka plan talimatlarıdır. ChatGPT, Claude, Gemini gibi büyük dil modellerinde kullanıcının yazdığı her mesaj bir prompttur. Modelin sisteme gönderilen gizli talimatlar bütünü ise "sistem promptu" olarak adlandırılır. Prompt uzunluğu ve içeriği, modelin bağlam penceresini (context window) doğrudan etkiler. Prompt tasarımı; sadelik, netlik ve bağlam sağlama ilkelerine dayanır. "Bana bir makale yaz" yerine "Yapay zeka etiği üzerine, B2 düzeyinde ve 500 kelimelik bir tanıtım makalesi yaz" gibi spesifik bir prompt çok daha iyi sonuçlar üretir. Türkiye'de artan YZ kullanımıyla birlikte "prompt ne demek" ve "promt nedir" aramaları da hızla artmıştır. Etkili bir prompt genellikle şu bileşenleri içerir: görev tanımı (ne yapılacağı), bağlam (arka plan bilgisi), biçim kısıtlaması (uzunluk, dil, ton) ve varsa örnekler. Özellikle karmaşık görevlerde "chain-of-thought prompting" tekniğiyle modelden adım adım düşünmesi istenerek daha tutarlı ve doğru yanıtlar elde edilebilir.

arrow_forward code_blocks

Question Answering (Soru Cevaplama)

Question Answering (Soru Cevaplama ya da kısaca QA), doğal dil işlemenin (NLP) temel görevlerinden biridir; doğal dil ile yöneltilen sorulara metin pasajlarından, belge koleksiyonlarından veya yapılandırılmış bilgi tabanlarından otomatik yanıt üretmeyi amaçlar. QA sistemleri işleyiş biçimine göre beş ana kategoride incelenir. Extractive QA (Çıkarımsal Soru Cevaplama), verilen bir metin pasajından sorunun yanıtını birebir çıkarır; cevap daima kaynak metindeki bir sözcük dizisidir. SQuAD (Stanford Question Answering Dataset), bu yaklaşım için standart kıyaslama veri setidir. BERT ve RoBERTa gibi önceden eğitilmiş transformer modelleri, extractive QA görevlerinde neredeyse insan düzeyine ulaşmıştır. Abstractive QA (Soyutlayıcı Soru Cevaplama) ise cevabı metinden doğrudan almak yerine yeni cümlelerle yeniden ifade eder; GPT-4 ve Claude gibi büyük dil modelleri (LLM) bu yaklaşımı kullanır. Open-domain QA, belirli bir belgeyle sınırlı kalmaksızın Wikipedia gibi geniş bilgi tabanlarında arama yaparak yanıt üretir; RAG (Retrieval-Augmented Generation) bu kategorinin güncel mimarisidir. Closed-domain QA, tıp veya hukuk gibi belirli bir alana ait sorulara odaklanır. Knowledge-based QA ise Wikidata gibi yapılandırılmış bilgi grafiklerini (knowledge graph) sorgulayarak yanıt verir. QA sistemlerinin başarısı genellikle EM (Exact Match) ve F1 skoru ile ölçülür. Gerçek hayatta bu teknoloji; sesli asistanlarda (Alexa, Siri), müşteri destek chatbotlarında, arama motorlarının öne çıkan snippet özelliğinde ve kurumsal bilgi yönetim platformlarında yaygın biçimde kullanılmaktadır.

arrow_forward travel_explore

Search Engine (Arama Motoru)

Arama Motoru, internet üzerindeki milyarlarca web sayfasını otomatik olarak tarayan, indeksleyen ve kullanıcıların metin sorguları karşısında en alakalı sonuçları sıralayarak sunan yazılım sistemidir. Google, Bing ve Yandex bu alandaki başlıca örneklerdir. Teknik açıdan arama motorları üç temel bileşenden oluşur. Web tarayıcı (crawler/spider), bilinen URL'lerden başlayarak hiperlink grafiğini gezerek yeni sayfaları keşfeder ve içeriklerini indirir. İndeksleme (indexing) aşamasında indirilen içerik ayrıştırılır, tokenize edilir ve tersine çevrilmiş indeks (inverted index) veri yapısına eklenir; bu yapı her kelime için hangi sayfalarda geçtiğini hızla bulmayı sağlar. Sıralama (ranking) aşamasında ise aday sayfalar arasında en alaka düzeyi yüksek olanlar öne çıkarılır. PageRank algoritması (Brin & Page, 1998), sıralamanın temelini uzun yıllar oluşturdu: gelen bağlantı sayısı ve kalitesini oy verme mekanizması olarak değerlendirerek sayfanın otoritesini ölçtü. Günümüzde modern sıralama sistemleri yüzlerce sinyal kullanır: kullanıcı tıklama davranışları, sayfa yükleme hızı, mobil uyumluluk, içerik tazeliği ve derin öğrenme tabanlı alaka modelleri bunlar arasındadır. 2019'dan itibaren Google, BERT ve ardından MUM gibi transformatör tabanlı modelleri arama sıralamasına entegre etti. Bu modeller sorgu amacını anlama, belirsiz sorgu kelimelerini bağlam içinde yorumlama ve çok dilli içerik eşleştirme konularında klasik anahtar kelime tabanlı yaklaşımların çok ötesine geçti. Türkiye'de Google, arama motoru pazarında yaklaşık %90 pay ile baskın konumdadır; Yandex ise özellikle Rusça içerik arayanlar arasında kullanılmaktadır. Yapay zeka destekli yanıt motorlarının (AI Overviews, Perplexity) yaygınlaşmasıyla geleneksel "on mavi bağlantı" modeli değişim baskısıyla karşılaşmaktadır. Retrieval-Augmented Generation (RAG) mimarileri, dil modellerini arama indeksiyle birleştirerek doğrudan cevap üretebilmekte; bu gelişme SEO stratejilerini de kökten dönüştürmektedir. Uzun kuyruk anahtar kelimelere yönelik içerik optimizasyonunun önemi artarken soru-cevap biçimindeki içeriklere olan talep yükselmektedir.

arrow_forward mic

Speech-to-Text (ASR) (Sesten Metne (Otomatik Konuşma Tanıma))

Speech-to-Text (STT) veya Otomatik Konuşma Tanıma (ASR — Automatic Speech Recognition), mikrofondan ya da ses dosyasından gelen konuşulmuş dili analiz ederek yazıya dönüştüren yapay zeka teknolojisidir. Siri, Google Asistan ve otomatik YouTube altyazılarının temelinde bu teknoloji yatar. Modern STT sistemlerinin mimarisi birkaç katmandan oluşur. Akustik model, ham ses sinyallerindeki konuşma birimlerini (fonemleri) tanır; dil modeli ise tanınan ses örüntülerini anlamlı kelime ve cümlelere dönüştürür. 2015 yılından itibaren bu iki ayrı bileşen, uçtan uca (end-to-end) derin öğrenme mimarileriyle tek bir modelde birleştirilmeye başlandı. Günümüzde en yaygın yaklaşım Transformer tabanlı modeller olan Wav2Vec 2.0 (Meta) ve Whisper (OpenAI) gibi sistemlerdir. Whisper, 2022'de OpenAI tarafından piyasaya sürülen ve 680.000 saat ses verisiyle eğitilen çok dilli bir STT modelidir. Açık kaynaklı yapısı geliştiricilerin özgürce kullanımına imkân tanır; Türkçe dahil 99 dili destekler. Google'ın USM (Universal Speech Model) modeli ise 300'den fazla dili kapsayan kurumsal ölçekli bir ASR altyapısı sunar. Kalite ölçütü olarak WER (Word Error Rate — Kelime Hata Oranı) kullanılır: üretilen metin ile referans metin arasındaki kelime düzeyindeki hatalar normalleştirilerek hesaplanır. İnsan seviyesi İngilizce konuşma tanımada WER %5 civarındayken modern sistemler bu eşiğe ulaşmış ya da geçmiştir. Türkiye'de STT teknolojisi müşteri hizmetleri çağrı merkezi analitiği, tıbbi dikte sistemleri ve dil öğrenme uygulamalarında giderek yaygınlaşmaktadır. Türkçenin aglütinatif yapısı (çok ekli sözcük biçimleri) sözcük dağarcığı büyüklüğü açısından STT modellerine ek zorluk çıkarmaktadır; bu nedenle Türkçeye özgü ince ayarlı modeller standart modellere kıyasla daha yüksek doğruluk sunar. Gerçek zamanlı STT uygulamalarında gecikme (latency) kritik bir tasarım parametresidir: çevrimiçi konferans altyazıları için 200 ms altı gecikme hedeflenir. Streaming ASR mimarileri, konuşmacı konuşmaya devam ederken kısmi transkriptler üretir ve sonucu iteratif olarak günceller. Bu yaklaşım, Conformer mimarisi gibi yerel dikkat (local attention) mekanizmalarını kullanan modellerle verimli biçimde uygulanır.

arrow_forward code_blocks

Text Summarization (Metin Özetleme)

Metin özetleme (text summarization), doğal dil işleme (NLP) alanının temel görevlerinden biri olup uzun belgelerin, makalelerin veya konuşmaların yapay zeka tarafından otomatik biçimde kısaltılmasını sağlar. Amaç, kaynak metnin ana fikirlerini ve kritik bilgilerini koruyarak okurun zamanını verimli kullanmasına yardımcı olmaktır. Bu görev iki ana yaklaşımla gerçekleştirilir: çıkarımlı (extractive) ve soyut (abstractive) özetleme. Çıkarımlı yöntemde model, kaynak metinden en önemli cümleleri birebir seçerek bir özet oluşturur; bu yöntem tutarlı ve halüsinasyon riskinin düşük olduğu sonuçlar üretir. Soyut özetlemede ise model, metni anlayarak tamamen yeni cümleler üretir; daha akıcı ve insan yazısına yakın özetler ortaya çıkar ancak yanlış bilgi oluşturma riski de beraberinde gelir. Transformer mimarisinin yükselişiyle birlikte, özellikle BERT ve GPT ailesinin baskın olduğu 2018 sonrası dönemde, soyut özetleme kalitesi dramatik biçimde artmıştır. BART, T5 ve Pegasus gibi modeller bu alanda öne çıkan mimarilerdir. Günümüzde GPT-4, Claude ve Gemini gibi büyük dil modelleri (LLM), binlerce sayfalık belgeleri saniyeler içinde özetleyebilmekte; hukuk, gazetecilik, akademi ve kurumsal iş süreçlerinde yaygın kullanım alanı bulmaktadır. Değerlendirme amaçlı en yaygın metrik olan ROUGE (Recall-Oriented Understudy for Gisting Evaluation), üretilen özet ile referans özet arasındaki n-gram örtüşmesini ölçer. Uzun bağlam pencereleri (128K token ve üzeri) ile donatılmış büyük dil modellerinin yaygınlaşması, metin özetlemeyi yapay zeka asistanlarının en çok kullanılan yeteneklerinden biri haline getirmiştir. Bugün her büyük belge yönetim platformu, haber toplayıcı ve kurumsal yazılım bu teknolojiyi aktif olarak kullanmaktadır.

arrow_forward code_blocks

TF-IDF (TF-IDF (Terim Frekansı-Ters Belge Frekansı))

TF-IDF (Term Frequency-Inverse Document Frequency — Terim Frekansı-Ters Belge Frekansı), metin madenciliği ve bilgi erişiminde bir kelimenin bir belge koleksiyonuna göre o belgede ne kadar önemli olduğunu sayısal olarak temsil eden temel bir yöntemdir. İki bileşenin çarpımından oluşur. TF (Terim Frekansı), hedef kelimenin incelenen belgede kaç kez geçtiğini gösterir. Genellikle toplam kelime sayısına bölünerek normalleştirilir; böylece uzun belgeler haksız avantaj elde etmez. IDF (Ters Belge Frekansı), kelimenin belge koleksiyonunda ne kadar nadir olduğunu ölçer. Koleksiyondaki toplam belge sayısının kelimenin geçtiği belge sayısına oranının logaritması alınarak hesaplanır. Bu sayede "ve", "ile", "bu" gibi anlam taşımayan yaygın kelimeler çok düşük ağırlık alırken belgeye özgü teknik terimler ön plana çıkar. 1972'de Karen Spärck Jones tarafından geliştirilen bu yöntem, onlarca yıldır arama motorlarında belge sıralama, metin sınıflandırma, anahtar kelime çıkarma, belge özeti ve benzerlik hesaplama gibi görevlerde kullanılmaktadır. Elasticsearch ve Apache Solr, arama skorlamasında TF-IDF türevli BM25 algoritmasına dayanır. Python ekosisteminde scikit-learn'ün TfidfVectorizer sınıfı, ham metin koleksiyonunu seyrek TF-IDF matrisine dönüştürür; bu matris makine öğrenmesi modellerine doğrudan girdi olarak verilir. Modern büyük dil modelleri (LLM) ve semantik gömme (embedding) yöntemlerinin yaygınlaşmasıyla birlikte TF-IDF'nin önemi sorgulanmış olsa da, yorumlanabilirlik, düşük bellek ayak izi ve hesaplama verimliliği bu yöntemi uygulamada hâlâ geçerli kılmaktadır. Özellikle BM25 ile hibrit arama sistemleri ve RAG (Retrieval-Augmented Generation) ardışık düzenlerinde TF-IDF temelli geri çağırma katmanı yaygın biçimde kullanılmaktadır. Türkçe doğal dil işleme çalışmalarında TF-IDF, haber sınıflandırma, ürün yorumu analizi ve arama ön işleme katmanlarında kullanılmaktadır. Türkçe'nin zengin çekimli yapısı nedeniyle zemberek veya snowball stemmer ile ön işleme yapılması önerilir. Büyük dil modelleri embedding katmanında TF-IDF'yi geçmiş olsa da, hızlı prototipleme ve küçük veri kümelerinde hâlâ tercih edilmektedir.

arrow_forward memory

Transformer-XL (Transformer-XL (Uzun Bağlamlı Dönüştürücü Mimarisi))

Transformer-XL, Zihang Dai ve ekibinin 2019 yılında Google Brain ile Carnegie Mellon Üniversitesi iş birliğiyle geliştirdiği, uzun bağlamı modelleme sorununu çözmek amacıyla önerilen bir dil modeli mimarisidir. Standart Transformer modelleri metin işlerken sabit uzunluktaki bölütleri birbirinden bağımsız olarak ele alır; bu durum cümle sınırlarını aşan bağlam bağımlılıklarının yakalanamamasına ve bölüt kenarlarında anlam kırılmasına yol açar. Transformer-XL bu sorunu iki temel yenilikle aşar: bölüt özyinelemesi ve göreli konum kodlaması. Bölüt özyinelemesi mekanizmasında her katmanın gizli durum tensörleri önbelleğe alınır ve bir sonraki bölüt işlenirken dikkat mekanizmasına ek bağlam olarak sunulur; bu yapı modelin erişebildiği bağlam uzunluğunu teorik olarak sonsuz kılabilir ve uzun mesafeli bağımlılıkların yakalanmasını mümkün kılar. Göreli konum kodlaması ise mutlak konum gömülerinin farklı bölüt uzunluklarında anlam kaybına yol açma sorununu giderir; dikkat mekanizması token çiftleri arasındaki göreli mesafeyi doğrudan hesapladığından model farklı bölüt konfigürasyonlarına kolayca genellenebilir hâle gelir. WikiText-103 ve enwiki8 standart kıyaslamalarında Transformer-XL yayımlandığı dönemde yeni başarım kayıtları kırmıştır. Eğitim aşamasında bölüt özyinelemesi devre dışı bırakılabilir; çıkarım aşamasında ise önbellekte tutulan gizli durumlar çok daha uzun metinlerin verimli biçimde işlenmesini kolaylaştırır. Hesaplama maliyeti açısından değerlendirildiğinde özyineleme uzunluğunun artmasıyla bellek kullanımı doğrusal olarak artar; bu denge üretim sistemleri için dikkate alınması gereken önemli bir tasarım kararıdır. Transformer-XL mimarisinin kalıcı etkisi ardından gelen büyük dil modellerine kattığı kavramsal zemindir. XLNet, permütasyon tabanlı dil modellemesiyle Transformer-XL üzerine inşa edilmiş ve BERT tarzı çift yönlü eğitimi oto-regresif modellemeyle birleştirmiştir. T5, GPT serisi ve günümüzün uzun bağlam modellerindeki pek çok tasarım kararı bu mimarinin deneyimlerinden beslenmiştir. Transformer-XL aynı zamanda artımlı çıkarım araştırmalarını da yönlendirmiş; literatürde iki binden fazla atıf alarak modern NLP tarihine geçmiştir.

arrow_forward code_blocks

Visual Question Answering (Görsel Soru Yanıtlama)

Visual Question Answering (VQA), bir yapay zeka sisteminin bir görüntü ve doğal dilde yazılmış bir soru alarak metin tabanlı yanıt ürettiği çok modaliteli (multimodal) yapay zeka görevidir. Bilgisayarlı görü (Computer Vision) ile doğal dil işlemenin (NLP) kesişiminde yer alan VQA, makinelerin görsel dünyayı anlamasını ve bu anlayışı dil aracılığıyla ifade etmesini gerektirir. Bir VQA sistemi üç temel bileşenden oluşur: görsel özellik çıkarıcı (vision encoder), dil modeli (text encoder) ve füzyon mekanizması. Görsel encoder — başlangıçta konvolüsyonel sinir ağları (CNN), günümüzde ise Vision Transformer (ViT) mimarileri — giriş görüntüsünü yüksek boyutlu özellik vektörlerine dönüştürür. Metin encoder ise soruyu token dizisine çevirir. Füzyon katmanı, çapraz dikkat (cross-attention) mekanizmasıyla iki modalite arasında bağlantı kurar; böylece model soruyla ilgili görüntü bölgelerine odaklanarak yanıt üretir. VQA'nın pratik uygulamaları geniş bir yelpazeye yayılır. Tıbbi görüntülemede radyoloji raporlarının otomasyonunda kullanılır; 'Bu BT görüntüsünde tümör var mı?' gibi sorulara yanıt üretebilir. Görsel engelli kullanıcılar için erişilebilirlik araçlarında, müze ve kültürel miras sitelerinde interaktif rehberlik sistemlerinde, otonom araçların çevre anlama modüllerinde ve endüstriyel görsel denetimde (kalite kontrol) da yaygın biçimde yer almaktadır. Öne çıkan VQA modelleri şunlardır: Salesforce'un BLIP ve BLIP-2 modelleri (129 milyon görüntü-metin çiftiyle önceden eğitildi), Meta'nın açık ağırlıklı LLaVA serisi, OpenAI'nin GPT-4o/GPT-4V modelleri ve Google'ın Gemini Vision ailesi. 2023-2026 yılları arasında bu modeller VQA2.0, GQA ve OK-VQA kıyaslama veri setlerinde insana yakın doğruluk oranlarına ulaşmış; bilgi tabanlı VQA (knowledge-based VQA), matematiksel akıl yürütme (MathVQA) ve tıbbi VQA gibi özelleşmiş alt alanlarda yeni değerlendirme serileri geliştirilmiştir. VQA'nın en kritik zorluğu dil önkestirimidir (language priors): modeller görüntüyü gerçekten analiz etmek yerine dil istatistiklerinden yanıt üretebilir; 'Gökyüzü hangi renk?' sorusuna görüntüye bakmaksızın 'mavi' yanıtı verebilir. Modern çözümler arasında Chain-of-Thought akıl yürütme, veri artırma teknikleri ve çoklu adım dikkat (multi-hop attention) mekanizmaları öne çıkar. Türkiye'deki kullanım senaryolarında VQA, sağlık, turizm ve e-ticaret sektörlerinde görüntü tabanlı arama ve erişilebilirlik çözümlerine entegre edilmektedir.

arrow_forward code_blocks

Word Embedding (Kelime Gömme)

Kelime gömme (word embedding), kelimeleri yüksek boyutlu gerçek sayı vektörlerine dönüştüren temsil öğrenme tekniğidir. Bu yaklaşım, kelimelerin anlamsal ve sözdizimsel ilişkilerini matematiksel uzayda yansıtır: anlamca yakın sözcükler uzayda birbirine yakın konumlanırken farklı anlamlılar uzakta kalır. Tipik vektör boyutları 50 ile 4096 arasında değişir; daha yüksek boyut daha fazla anlam nüansı taşır ancak bellek ve hesaplama maliyeti de artar. Klasik bag-of-words yaklaşımı kelimeleri birbirinden bağımsız bir-sıcak (one-hot) vektörlerle temsil ederdi; bu yöntem "kral" ile "hükümdar" arasındaki anlamsal bağı yakalayamıyordu. Word2Vec (2013, Google) ve GloVe (2014, Stanford) mimarileriyle birlikte yoğun vektör temsilleri yaygınlaştı. Word2Vec'in ünlü örneğinde "kral − erkek + kadın ≈ kraliçe" vektör aritmetiği, modelin anlam ilişkilerini öğrendiğini kanıtladı. FastText (Meta, 2016) ise kelimeleri karakter n-gramı parçalarına bölerek sözlük dışı sözcükleri de vektöre çevirme becerisini getirdi. Statik kelime gömmelerinin (Word2Vec, GloVe, FastText) temel sınırlaması bağlam körlüğüdür: "banka" kelimesi finans veya nehir kenarı anlamına geldiğinde aynı vektörü alır. Bu sorunu BERT ve türevi modeller çözdü: Transformer katmanları her kelimeye bağlama özgü bir temsil üretir, böylece aynı kelime farklı cümlelerde farklı vektörler alır. Çok anlamlı kelimeler artık cümle bağlamına göre doğru şekilde kodlanabilir hale gelmiştir. Türkçe için özelleştirilmiş gömmeler mevcuttur: BERTurk, TURK-BERT ve çeşitli FastText modelleri geniş Türkçe corpus'larla eğitilmiştir. Türkçe'nin eklemeli morfolojisi nedeniyle alt-kelime gömmeleri ve karakter tabanlı modeller özellikle önem kazanmaktadır: "gidiyorum", "gidiyorsun", "gidiyoruz" gibi çekimli formlar kök anlamını paylaşacak biçimde kodlanabilir. Günümüzde kelime gömmesi kavramı cümle ve belge gömmelerine (sentence/document embeddings) evrilmiştir. OpenAI text-embedding-3, Cohere Embed ve Mistral Embed gibi modeller tüm paragrafı tek bir vektörle temsil ederek Retrieval-Augmented Generation (RAG) altyapıları, semantik arama motorları ve öneri sistemlerinin omurgasını oluşturur. Gömme kalitesi cosine benzerliği ve kNN kıyaslamaları ile ölçülür; STS (Semantic Textual Similarity) benchmark setleri alanda standart değerlendirme ölçütü olarak kullanılır.

arrow_forward