Self-Supervised Learning Nedir? Etiketsiz Öğrenen AI

ImageNet’e ait 1,2 milyon görüntünün etiketlenmesi için yaklaşık 25.000 insan çalıştı; yıllarca sürdü. 2012’de AlexNet bu veriyle eğitilip rekor kırdığında ortaya çıkan soru şuydu: derin öğrenme çalışıyor, ama her seferinde bu kadar etiketli veri nereden bulacağız?

Sorunun kısa cevabı yoktu. Tıbbi görüntüleme için radyolog emeği, hukuk metinleri için avukat emeği, kod için yazılım mühendisi emeği gerekiyor. Denetimli öğrenme (supervised learning) etiket maliyetiyle büyür. Bir de şu var: internet her gün milyonlarca etiketsiz görüntü, metin ve video üretiyor. Bunları etiketlemek pratik olarak imkânsız.

Self-supervised learning (SSL), bu kısıtı başka bir açıdan ele alan bir eğitim paradigması. Veriyi kendi etiketi olarak kullanır. Bir cümledeki kelimeleri gizleyip modele tahmin ettirirseniz, etiket zaten metnin içinde; insan emeğine gerek yok. Bu fikir, günümüzün en büyük modellerinin eğitim altyapısını oluşturuyor.

GPT, BERT, CLIP, diffusion modelleri, DINOv2: hepsinin eğitim altyapısında SSL var. Bu paradigmayı anlamak, modern AI’ın neden bu ölçeğe ulaşabildiğini anlamaktır.

Temel fikir: pretext task

SSL’in işleyişi pretext task (bahane görevi) kavramına dayanır. Amaç, veri içindeki yapıdan modele öğretecek yapay bir problem üretmek.

Örnek: bir cümledeki kelimelerin bir kısmını maskeleyip modele geri tahmin ettirirseniz, bu bir pretext task’tır. Modelin bunu başarıyla yapması için dili, gramer kurallarını, kelimeler arası ilişkileri ve bağlamı kavraması gerekir. Bunların hiçbiri için insan etiketi üretilmiyor; etiket zaten cümlenin kendisinde gizli.

Eğitim iki aşamada gerçekleşir.

Pretraining: Model büyük etiketsiz veri üzerinde pretext task’ı çözerek genel temsil öğrenir. Bu aşama hesaplama açısından pahalıdır, ama bir kez yapılır.

Downstream: Pretraining’de öğrenilen ağırlıklar başlangıç noktası olarak alınır. Küçük miktarda etiketli veriyle fine-tuning yapılır, model göreve özelleşir.

Bu iki aşamalı yapı, transfer öğrenme mantığını SSL ile birleştirir. Pretraining’den gelen temsiller ne kadar sağlamsa, downstream fine-tuning o kadar az etiketli veriyle o kadar iyi sonuç verir.

SSL’in üç ana paradigması

Araştırmacılar yıllar içinde pretext task’ları üç ana kategoride geliştirdi. Her biri farklı bir “kendini etiketleme” stratejisi.

Autoregressive tahmin: GPT ailesi

En yaygın SSL yöntemi şu: bir sonraki tokeni tahmin etmek. Modele bir metin dizisi verirsiniz; her adımda bir önceki tokenlara bakarak bir sonrakini tahmin etmesini istersiniz. Tahmin doğruysa pekiştirme, yanlışsa ağırlık güncellemesi.

Bu görevi yapabilmek için modelin dil yapısını, dünya bilgisini ve bağlam ilişkilerini kavraması gerekiyor. “Türkiye’nin başkenti…” cümlesini tamamlamak hem dilbilgisi hem coğrafya bilgisi gerektiriyor.

Teknik altyapısı causal masking: transformer dikkat mekanizması sadece önceki pozisyonlara bakabilir, ileriye bakmak yasak. Bu kısıtlama, milyarlarca tokeni aynı anda paralel hesaplamayla eğitmeyi mümkün kılıyor.

GPT-2’den başlayarak tüm GPT serisi, Llama, Mistral, Falcon, Qwen bu yöntemle eğitiliyor. Scaling laws araştırmaları, bu yaklaşımın model büyüdükçe ve veri arttıkça öngörülebilir biçimde iyileştiğini ortaya koydu.

Masked prediction: BERT ve MAE

İkinci paradigma maskelemeye dayanır. Girdideki varlıkların bir kısmı rastgele gizlenir; model bu eksiklikleri doldurmayı öğrenir.

Masked Language Modeling (MLM): BERT, bir cümledeki tokenlerin %15’ini maskeler. Model bu boşlukları doldurmak için hem önceki hem sonraki tokenlara bakabilir; bu çift yönlü dikkat, autoregressive modellerden farklı bir güç katıyor. “Ankara [MASK] Türkiye’nin başkentidir” cümlesinde hem öncesini hem sonrasını görebilirseniz tahmin çok kolaylaşıyor.

Bu yapı BERT’i anlama görevlerinde (sınıflandırma, çıkarım, soru-cevap) güçlü kılıyor. RoBERTa, ALBERT, DeBERTa BERT’in MLM çizgisini sürdürüyor.

Masked Autoencoders (MAE): Aynı maskeleme fikrini görüntülere uygulayan 2022 tarihli bir çalışma. Bir görüntüyü küçük patch’lere bölersiniz; %75’ini maskelersiniz. Model gizlenenleri reconstruct etmek zorundadır. Bu görevi çözmek, görsel yapıyı anlamayı gerektirir: renk geçişlerini, doku örüntülerini, nesne sınırlarını. Etiket yok, ama modelin öğrendiği temsiller ImageNet sınıflandırmasında güçlü çalışıyor.

Metin ve görüntü arasında ilginç bir fark var: metinde %15 maskeleme yeterli çünkü kelimeler birbirini sıkı biçimde belirliyor. Görüntülerde ise %75 maskeleme bile zorlu bir görev üretiyor; pikseller arası bilgi örtüşmesi çok daha yüksek.

Contrastive learning: CLIP, SimCLR, DINO

Üçüncü paradigma karşıtlık üzerine kurulu: aynı içeriğin farklı görünümlerini birbirine yaklaştır, farklı içerikleri uzaklaştır. Model bu çekim-itme dinamiğiyle temsil uzayını şekillendirir.

SimCLR: Aynı görüntünün iki farklı augmentation’ını (rastgele kırpma, renk değişimi, bulanıklaştırma) pozitif çift olarak ele alır. Batch içindeki diğer tüm görüntüler negatif çift. Kontrastif kayıp fonksiyonu, pozitif çiftlerin embedding uzayında birbirine yakın, negatiflerin uzak durmasını zorunlu kılar.

CLIP: OpenAI’ın 400 milyon görüntü-metin çifti üzerinde eğittiği model. “Bu görüntünün embedding’ini karşılık gelen altyazının embedding’ine yaklaştır; yanlış eşleşmeleri uzaklaştır.” Bu kadar basit bir pretext task, sıfır atış (zero-shot) sınıflandırma yapabilen bir modelle sonuçlandı. CLIP hiç görmediği kategorilerin metin açıklamalarından yola çıkarak görüntüleri sınıflandırabiliyor.

DINO / DINOv2: Meta AI’dan Caron ve ekibinin geliştirdiği self-distillation yaklaşımı. Öğretmen ve öğrenci ağı aynı mimariden türetilir; öğrenci, öğretmenin gösterdiği temsili üretmeyi öğrenir. Hiç etiket kullanılmaz; buna karşın DINOv2’nin öğrendiği özellikler pek çok downstream görevde kıyaslama noktası haline geldi. Knowledge distillation literatürüyle de doğrudan bağlantılı: öğretmen-öğrenci dinamiği her iki alanda da merkezi rol oynuyor.

NLP’de SSL: dil modeli pretraining

Doğal dil işleme, SSL’in en belirgin etkisini gösterdiği alan. GPT’den BERT’e, T5’ten Llama 4’e tüm büyük dil modelleri SSL pretraining’e dayanıyor.

Neden bu kadar iyi çalışıyor? İnternet’teki metin doğası gereği sıralı ve yapılı. Common Crawl, The Pile, FineWeb gibi korpuslar trilyonlarca token barındırıyor; içlerindeki örüntüler model için zengin sinyal içeriyor. Next-token prediction veya MLM görevi aracılığıyla model dilbilgisi, nedensellik ilişkileri, mantık yapıları ve dünya bilgisi öğreniyor; bunların hiçbiri için ayrı bir etiket üretilmiyor.

Ölçekleme açısından fark büyük. Wikipedia’nın tamamını etiketlemek yıllarca sürer; ama SSL için Wikipedia zaten kullanılabilir durumda. Bu durum scaling laws çalışmalarının öngördüğü trilyonlarca token’lık eğitim bütçesine ulaşmayı mümkün kılıyor.

SSL pretraining’den sonra gelen hizalama adımı olan RLHF doğrudan pretraining kalitesine bağlı. Model önce SSL ile geniş bir dil anlayışı kazanır; ardından insan geri bildirimiyle tercihler doğrultusunda ince ayar görür. Pretraining temeli ne kadar sağlamsa, RLHF aşaması o kadar verimli çalışıyor.

Görüntü ve çoklu modalitede SSL

SSL yalnızca NLP’de kalmadı. Görüntü, ses ve çoklu modalite alanlarında da belirleyici hale geldi.

Vision Transformers ve tokenization: Convolutional ağlar görüntü SSL’inde uzun süre hâkim kaldı. Vision Transformers’ın (ViT) yaygınlaşmasıyla tablo değişti. Bir görüntüyü patch’lere bölüp her birini bir token gibi işlemek, NLP’nin SSL yöntemlerini görüntülere doğrudan taşıdı. Tokenization kavramı görüntüler için de geçerli oldu; bu geçiş pretraining verimliliğini artırdı.

MAE’nin yüksek maskeleme oranı: Görüntüler metne kıyasla çok daha fazla lokal yedeklilik (local redundancy) içeriyor. Bitişik pikseller birbirine benziyor; bu yüzden %15 maskeleme görüntüler için zor bir görev üretmiyor. He ve ekibinin bulduğu değer %75 oldu. Kalanlar üzerinden gizlenenleri reconstruct etmek, gerçekten zorlu bir probleme dönüşüyor.

Diffusion modelleri ile bağlantı: Diffusion modelleri, görüntüye kademeli gürültü ekleyip bu süreci tersine çevirmeyi öğreniyor. Gürültü kaldırma görevi özünde bir pretext task: veri içindeki yapı eğitim sinyaline dönüşüyor, insan etiketi olmadan. Stable Diffusion ve benzeri modeller bu mantıkla çalışıyor.

CLIP ve vision-language köprüsü: CLIP’in eğitiminde metin ile görüntü eşleştirme görevi, her iki modaliteyi ortak bir temsil uzayına taşıyor. Sıfır atış sınıflandırma, görüntü-metin retrieval ve text-to-image üretimi bu temsil üzerine inşa ediliyor. Stable Diffusion ve DALL-E’nin metin anlayışı, CLIP’in öğrendiği visual-language bağlantısına dayanıyor.

SSL, supervised ve semi-supervised karşılaştırması

SSL ile unsupervised öğrenmeyi ayıran fark şuradan geliyor: unsupervised yaklaşımlar verinin iç yapısını doğrudan keşfetmeye çalışır. SSL ise yapay bir görev üretir ve modeli bu görevi çözerken yapıyı öğrenmeye yönlendirir. Pretext task’ın varlığı, öğrenilen temsil kalitesi üzerinde daha fazla kontrol imkânı tanıyor.

Avantajlar ve sınırlar

Veri ölçeği: İnternetteki etiketsiz veriyi doğrudan kullanabilirsiniz. ImageNet’in 1,2 milyon etiketli örneği ile Common Crawl’ın trilyonlarca tokeni arasındaki fark burada görünür oluyor. Büyüme insan etiketleme kapasitesiyle değil, depolama ve hesaplama kapasitesiyle sınırlı.

Transfer başarısı: Pretraining’de öğrenilen temsiller çok sayıda downstream göreve aktarılıyor. Tek bir SSL modeli onlarca farklı görevi destekleyebilir; her görev için sıfırdan eğitim gerekmez.

Öte yandan sınırlar da gerçek.

Hesaplama maliyeti: Pretraining pahalıdır. GPT-4 ölçeğinde eğitim on milyonlarca dolarlık hesaplama gerektiriyor; bu maliyet küçük ekiplerin erişimini kısıtlıyor.

Pretext task seçimi: Yanlış bir pretext task, downstream performansı olumsuz etkiliyor. “Görüntüyü döndür ve açıyı tahmin et” gibi görevler bazı temsiller için işe yarıyor; ama her downstream göreve iyi transfer edilemiyor. Hangi pretext task’ın ne işe yaradığı hâlâ aktif bir araştırma sorusu.

Representation collapse: Contrastive learning’de modelin tüm girdiler için aynı sabit temsili öğrenmesi riski var. Negatif çiftler, momentum encoder veya stop-gradient bu sorunu çözmek için geliştirildi.

Değerlendirme güçlüğü: Pretraining kalitesini ölçmek zor. Hangi downstream görev gerçek kaliteyi yansıtıyor? Bu soru araştırmacılar arasında tartışmalı olmayı sürdürüyor.

2025-2026 trendleri

Multimodal SSL: Tek modalite pretraining yerini giderek ses, görüntü ve metin birleştiren yaklaşımlara bırakıyor. ImageBind, farklı modaliteleri tek bir embedding uzayında buluşturmayı deniyor; bu, agentic RAG sistemleri gibi çoklu kaynaklı uygulamalarda pratik sonuçlar veriyor.

İçerik-duyarlı maskeleme: Tüm patch’leri rastgele maskelemek yerine, modeli daha zorlu bölgelere yönlendiren stratejiler araştırılıyor. Nesne sınırlarını maskelemek, arka planı değil ön planı gizlemek gibi yaklaşımlar pretraining verimliliğini artırıyor.

SSL ve test-time compute: Akıl yürüten modeller SSL pretraining’in üzerine inference zamanında ek hesaplama katıyor. DeepSeek-R1 ve o3 serisi bu mantıkla çalışıyor; güçlü bir SSL temeli inference-time optimizasyonlarına zemin hazırlıyor.

Video ve world models: Video üzerinde SSL, bir fizik anlayışı öğrenmenin kapısını açıyor. Etiketsiz video akışından hareket örüntülerini, nesne kalıcılığını ve nedenselliği öğrenen modeller üzerine araştırmalar artıyor.

Neden SSL’i anlamak gerekiyor?

GPT’nin next-token tahmini, BERT’in masked language modeling’i, CLIP’in görüntü-metin eşleştirmesi; bunların hepsi aynı soruya farklı cevaplar: veri içindeki hangi yapıyı eğitim sinyaline dönüştürebiliriz?

Bu soruya verilen yanıtlar, modern AI’ın yapı taşlarını oluşturdu. RLHF ve constitutional AI gibi hizalama yöntemleri, iyi bir SSL pretraining’in üzerine inşa ediliyor. Pretraining temeli ne kadar sağlamsa, üstüne eklenen hizalama katmanları o kadar verimli çalışıyor.

SSL aynı zamanda etiket bottleneck’ını kırdığı için ölçekleme kapısını açtı. İnsan etiketleme kapasitesiyle büyüyen bir paradigma belirli bir noktada tıkanmak zorundadır. Etiketsiz veriyle büyüyen bir paradigma ise internetin tüm genişliğini eğitim verisi olarak kullanabiliyor.

Etiketsiz veriden öğrenme sihirli görünebilir. Aslında oldukça somut bir mühendislik tercihi: veri içindeki doğal yapıyı bulmak ve onu eğitim sinyaline çevirmek. SSL bu tercihler toplamının adı.