Generative Pre-trained Transformer (Üretken Ön-eğitimli Dönüştürücü)

GPT (Generative Pre-trained Transformer), OpenAI tarafından geliştirilen ve Transformer mimarisinin yalnızca decoder (kod çözücü) bloğunu kullanan büyük dil modeli ailesidir. Adındaki üç sözcük mimariyi tam olarak tanımlar: "Generative" (üretici), modelin yeni metin ürettiğini; "Pre-trained" (önceden eğitilmiş), devasa bir metin korpusu üzerinde denetimsiz öğrenimle hazırlandığını; "Transformer", kullanılan sinir ağı mimarisini ifade eder. GPT modelleri, bir sonraki kelimeyi tahmin etme (next-token prediction) görevi üzerinden eğitilir. Model, milyarlarca metin örneğini gördükten sonra dil bilgisi, mantık yürütme, kod yazma ve yaratıcı üretim gibi yetenekleri örtük biçimde edinir; bu sürece "emergent capability" (beliren yetenek) denir. GPT serisi 2018'de GPT-1 ile başlamıştır: 117 milyon parametreli bu model, dil modellemesinde büyük bir sıçrama olmakla birlikte dönemin BERT modeliyle kıyaslandığında sınırlı kaldı. 2019'da yayımlanan GPT-2 (1,5 milyar parametre), o kadar güçlü bir metin üretimi sergiledi ki OpenAI modeli başlangıçta tam sürümüyle kamuya açmaktan kaçındı. GPT-3 (2020, 175 milyar parametre) az örnekli öğrenme (few-shot learning) alanında çığır açtı: Model, yalnızca birkaç örnek gördükten sonra görev genellemesi yapabiliyor, ince ayar (fine-tuning) gerekmiyordu. GPT-3.5 ve ardından 2023'te duyurulan GPT-4, çok modlu (multimodal) girişi ve güçlendirilmiş mantık yeteneklerini bünyesine kattı. GPT-4o ise metin, ses ve görüntüyü tek bir modelde birleştirerek gerçek zamanlı çok modlu diyaloğu mümkün kıldı. GPT modellerinin eğitimi iki ana aşamadan oluşur. İlk aşamada denetimsiz ön eğitim (unsupervised pre-training) ile model internet metinleri, kitaplar ve kod içeren geniş bir veri kümesi üzerinde eğitilir. İkinci aşamada ise RLHF (Reinforcement Learning from Human Feedback — İnsan Geri Bildiriminden Pekiştirmeli Öğrenme) kullanılarak model insan tercihlerine hizalanır; bu süreç güvenli, yararlı ve dürüst yanıtlar üretmeyi hedefler. GPT'nin temel gücü, bağlamsal dil anlama ve üretmedeki esnekliğidir. Farklı sektörlerde müşteri hizmetleri, kod tamamlama, tıbbi yazışma özeti, hukuki belge analizi ve eğitim içeriği üretimi gibi kullanım alanları mevcuttur. ChatGPT, GPT modellerinin bir chat arayüzüyle sunulan versiyonudur ve GPT'nin kendisi ile aynı şey değildir; ChatGPT bir ürün, GPT ise altta yatan model ailesidir.