BERT (Bidirectional Encoder Representations) (BERT Doğal Dil Modeli)

İki Yönlü Okuma (Bidirectional) Neden Çığır Açtı?

BERT Mimarisi: Sayılarla Model Aileleri

Ön Eğitim: MLM ve NSP Nasıl Çalışır?

Google BERT Güncellemesi ve SEO'ya Etkisi

BERT'in Kullanım Alanları

• check_circle Arama ve pasaj sıralama: Google arama sorgu anlama ve pasaj indeksleme; Bing de 2019'dan beri benzer Transformer modelleri kullanıyor.
• check_circle Metin sınıflandırma ve duygu analizi: Binlerce müşteri e-postasının şikayet/öneri/iptal olarak otomatik ayrıştırılması; birkaç yüz etiketli örnekle fine-tune yeterli olabiliyor.
• check_circle Varlık ismi tanıma (NER): Sözleşme ve haber metinlerinden kişi, kurum, tarih, tutar çıkarma; BERTurk ile Türkçe NER'de %92+ F1 skorları raporlanıyor.
• check_circle Soru cevaplama: SQuAD tarzı görevlerde verilen paragraftan cevap aralığı bulma; BERT-large SQuAD 1.1'de insan performansını (F1 91,2) ilk geçen modellerdendi.
• check_circle Embedding ve semantik arama: Sentence-BERT (SBERT) türevleri cümleleri vektöre çevirir; RAG sistemlerindeki retriever katmanlarının önemli bir kısmı hâlâ BERT ailesindendir.

BERT mi, GPT mi, Yoksa İkisi de mi? (2026 Perspektifi)

code BERT'i on satırda çalıştırmak: Hugging Face ile ilk kullanım

build Fine-tune adımları ve kaynak ihtiyacı

• check_circle Veri formatı: Etiketli veri iki sütuna iner: metin ve label. datasets kütüphanesiyle CSV yüklemek için load_dataset("csv", data_files="veri.csv") yeterlidir. Eğitim ve doğrulama ayrımını train_test_split(test_size=0.2) ile yapın, aynı cümlenin iki tarafta birden bulunmadığından emin olun.
• check_circle Tokenizasyon: tokenizer(metin, truncation=True, max_length=128, padding="max_length") kalıbı kullanılır. Klasik BERT 512 token'ı aşamaz. Kısa yorumlarda 128, uzun belgelerde 256 veya 512 makul başlangıçtır; max_length'i yarıya indirmek dikkat katmanının maliyetini kabaca dörtte bire düşürür.
• check_circle Hiperparametreler: BERT makalesinin önerdiği aralık hâlâ geçerli: öğrenme oranı 2e-5, 3e-5 veya 5e-5; batch 16 ya da 32; 2 ile 4 arası epoch. TrainingArguments içinde fp16=True eklemek modern GPU'larda süreyi belirgin kısaltır ve belleği rahatlatır.
• check_circle Eğitim ve değerlendirme: Trainer sınıfı eğitim döngüsünü sizin yerinize kurar. compute_metrics fonksiyonuna sklearn'den f1_score bağlayıp her epoch sonunda ölçün. Sınıflar dengesizse accuracy yanıltır, macro F1'e bakın; azınlık sınıfın recall değerini ayrıca izleyin.
• check_circle Donanım ve süre: bert-base ile batch 16 ve 128 token uzunluğunda eğitim yaklaşık 4-6 GB VRAM ister, ücretsiz Colab T4 bunu rahat kaldırır. Birkaç bin örneklik bir sınıflandırma kümesinde 3 epoch tipik olarak dakikalar sürer. bert-large aynı ayarlarda 12-16 GB bandına çıkar.
• check_circle Kaydetme ve kullanım: trainer.save_model("model_dizini") ve tokenizer.save_pretrained("model_dizini") aynı klasöre yazılır. Sonrasında pipeline("text-classification", model="model_dizini") ile doğrudan kullanılır. Paylaşmak isterseniz push_to_hub ile Hugging Face hesabınıza yükleyebilirsiniz.

bug_report Fine-tune sırasında en sık çıkan hatalar

• check_circle Token indices sequence length is longer than 512: Tokenizer çağrısına truncation=True ve max_length verilmemiştir. Uyarıyı görmezden gelirseniz model konumsal gömme sınırını aştığı için hata fırlatır. Gerçekten uzun belgelerle çalışıyorsanız metni parçalara bölün ya da 8192 token destekleyen ModernBERT tabanlı bir encoder'a geçin.
• check_circle CUDA out of memory: Sırayla deneyin: per_device_train_batch_size değerini yarıya indirin, efektif batch'i korumak için gradient_accumulation_steps ekleyin, max_length'i kısaltın, fp16 veya bf16 açın. gradient_checkpointing=True belleği daha da düşürür ama eğitimi yavaşlatır.
• check_circle unexpected keyword argument evaluation_strategy: transformers 4.41 sürümünden itibaren bu parametrenin adı eval_strategy oldu. İnternetteki eski eğitim betikleri bu tek satırda patlar. Ya parametre adını güncelleyin ya da requirements dosyasında sürümü sabitleyin.
• check_circle Model hep aynı sınıfı tahmin ediyor: İki tipik nedeni var. Öğrenme oranı fazla yüksektir, 1e-3 gibi bir değer BERT'in ön eğitilmiş ağırlıklarını bozar; 2e-5 bandına inin. İkincisi sınıf dengesizliğidir, bu durumda sınıf ağırlıklı kayıp veya örnekleme dengelemesi gerekir.
• check_circle Türkçe sonuçlar beklenenden kötü: bert-base-multilingual-cased Türkçe'de BERTurk'e göre geride kalır, ilk denemede model seçimini gözden geçirin. Uncased model seçmek de Türkçe'de özel isimleri silikleştirir; NER ve varlık odaklı görevlerde cased sürümü kullanın.
• check_circle Çıkarım çok yavaş: Cümleleri tek tek değil toplu halde verin, tahmini torch.no_grad içinde çalıştırın, mümkünse DistilBERT'e geçin. CPU üzerinde ONNX Runtime'a dışa aktarıp dinamik kuantizasyon uygulamak bu üç adımla birlikte çoğu zaman birkaç kat hızlanma getirir.

Sık Sorulan Sorular

• check_circle BERT nedir, ne işe yarar? BERT, Google'ın 2018'de yayınladığı, metni iki yönlü okuyarak bağlamı anlayan encoder tabanlı Transformer dil modelidir. Metin sınıflandırma, varlık tanıma, soru cevaplama ve arama sorgusu anlama görevlerinde kullanılır.
• check_circle Google BERT algoritması SEO'yu nasıl etkiler? BERT, sorgudaki edat ve bağlam ilişkilerini doğru okuyarak niyet eşleşmesini iyileştirir. BERT'e özel optimizasyon yapılamaz; en etkili strateji, soruya ilk cümlede net cevap veren, doğal dille yazılmış içerik üretmektir.
• check_circle BERT ile GPT arasındaki fark nedir? BERT encoder-only ve çift yönlüdür, anlama görevleri için optimizedir; GPT decoder-only ve soldan sağadır, metin üretimi için tasarlanmıştır. Sınıflandırma ve NER'de BERT ekonomik ve hızlıdır; yazı üretme ve sohbette GPT tarzı modeller üstündür.
• check_circle BERT hâlâ kullanılıyor mu? (2026): Evet. Google aramada sıralama sistemlerinin parçası olmayı sürdürüyor; Hugging Face'te BERT türevleri en çok indirilen modeller arasında. RAG retriever'ları, moderasyon ve sınıflandırma hatlarında düşük maliyeti nedeniyle yoğun kullanımda.
• check_circle Türkçe için hangi BERT modeli önerilir? Genel görevler için dbmdz/bert-base-turkish-cased (BERTurk), duygu analizi için savasy/bert-base-turkish-sentiment-cased, çok dilli projeler için xlm-roberta-base uygundur. Uzun belgeler gerekiyorsa ModernBERT tabanlı çok dilli encoder'lar değerlendirilebilir.
• check_circle BERT'i fine-tune etmek için ne kadar veri gerekir? Basit sınıflandırma için birkaç yüz etiketli örnek çoğu zaman yeterlidir; 2-4 epoch eğitim tek GPU'da dakikalar sürer. Veri azsa DistilBERT, veri boysa RoBERTa veya DeBERTa daha iyi sonuç verir.
• check_circle BERT nasıl kullanılır, hangi kütüphane gerekir? En kısa yol Hugging Face transformers kütüphanesidir. pip install transformers torch kurulumundan sonra pipeline("fill-mask", model="dbmdz/bert-base-turkish-cased") çağrısıyla modeli birkaç satırda deneyebilirsiniz. Sınıflandırma için AutoModelForSequenceClassification, cümle vektörleri için sentence-transformers kullanılır.
• check_circle BERT fine-tune için hangi hiperparametreler kullanılmalı? Orijinal BERT makalesinin önerdiği aralık başlangıç için yeterlidir: öğrenme oranı 2e-5 ile 5e-5 arasında, batch 16 veya 32, epoch sayısı 2 ile 4 arasında. Daha yüksek öğrenme oranları ön eğitilmiş ağırlıkları bozar ve model tek sınıfa saplanır. fp16=True eklemek süreyi ve bellek kullanımını düşürür.
• check_circle BERT'in 512 token sınırı nasıl aşılır? Klasik BERT'in konumsal gömmeleri 512 token için eğitildiğinden bu sınır modelin kendi mimarisinden gelir. Pratik çözümler: metni örtüşmeli parçalara bölüp parça skorlarını birleştirmek, yalnızca ilgili bölümü seçmek ya da 8192 token destekleyen ModernBERT tabanlı bir encoder'a geçmek. Tokenizer çağrısında truncation=True vermeyi unutmayın.
• check_circle BERT fine-tune etmek için ücretsiz Colab yeterli mi? Evet, çoğu sınıflandırma işi için yeterli. bert-base ile batch 16 ve 128 token uzunluğunda eğitim yaklaşık 4-6 GB VRAM ister, Colab'ın T4 kartı 16 GB sunar. Birkaç bin örneklik veri kümesinde 3 epoch dakikalar sürer; bert-large kullanacaksanız batch'i düşürüp fp16 açmanız gerekir.