Transfer Learning Nedir? Önceden Eğitilmiş Modeller

Bir hayal kurun: ImageNet’te milyonlarca fotoğraf üzerinde aylarca eğitilmiş bir model var. Köpekler, arabalar, binalar, yüzler; her biçimi, her ışığı, her açıyı tanıyor. Şimdi bu modeli alıp akciğer röntgenlerindeki nodülleri tespit etmek için kullanmak istiyorsunuz. Elinizde yalnızca birkaç yüz etiketli tıbbi görüntü var. Sıfırdan eğitim için gereken veri? Yüz binlerce. Süre? Aylar. Hesaplama? Onlarca GPU.

Transfer learning işte bu boşluğu kapatıyor.

Bir görev için eğitilmiş modelin öğrendiklerini (ağırlıklarını, iç temsil biçimlerini, içselleştirdiği örüntüleri) farklı ama ilişkili başka bir göreve aktaran makine öğrenimi yaklaşımının adı transfer learning. GPT, BERT, ResNet, ViT ve bugün bilinen modern yapay zeka sistemlerinin büyük çoğunluğu bu kalkış noktasından yükseliyor.

Transfer Learning Olmadan Hayat

Makine öğrenmesinin erken dönemlerinde her yeni problem, temelden başlangıç anlamına geliyordu. Yeni bir veri kümesi, yeni bir mimari, yeni bir eğitim döngüsü. Bu yaklaşım üç temel barikatle boğuşmak zorundaydı.

Veri sorunu: İyi bir model iyi veri ister. Etiketli veri toplamak ise çoğu alanda son derece pahalı ve yavaş bir süreç. Tıbbi görüntüleme için radyolog emeği gerekir; hukuki metinler için uzman avukat; dil çiftleri için ikidilli çevirmenler. Yeterli etiketli veri olmadan model zayıf kalır.

Hesaplama sorunu: Büyük bir modeli sıfırdan eğitmek ciddi GPU saatleri tüketir. 2022’de GPT-3’ü sıfırdan eğitmenin maliyeti tahminen 4-12 milyon dolar arasında. Bu rakamlar yalnızca büyük teknoloji şirketlerine kapı açıyor.

“Küçük veri” tuzağı: Tıp, nadir dil çiftleri, sanayi kusur tespiti gibi alanlarda yeterli veri zaten var olmayabilir. Gizlilik kısıtlamaları, lisans engelleri veya basitçe var olmaması nedeniyle yüzlerce örnekle çalışmak zorunda kalırsınız.

Transfer learning bu üç barrikayı aynı anda aşıyor. Büyük ve genel bir model önceden eğitilmiş; dünya hakkında genel örüntüler zaten öğrenilmiş. Geriye yalnızca bu bilgiyi kendi görevinize kılavuzlamak kalıyor.

Nasıl Çalışır? İki Temel Strateji

Özellik Çıkarma (Feature Extraction)

Önceden eğitilmiş ağın katmanları tamamen dondurulur; ağırlıklar güncellenmez. Yalnızca son bir veya birkaç katman, hedef göreve özgü verilerle eğitilir. Model bir özellik çıkarma motoru gibi çalışır: girdi veriyi anlamlı temsillere dönüştürür, yeni katman bu temsiller üzerinden sınıflandırma veya regresyon yapar.

Bu strateji özellikle şu koşullarda mantıklı:

• Etiketli veri miktarı az (birkaç yüz ila birkaç bin örnek)
• Kaynak görev ile hedef görev birbirine yakın (görsel tanıma → tıbbi görüntü)
• Hesaplama bütçesi kısıtlı

Sonuç genellikle hızlı ve tutarlı. ImageNet’te eğitilmiş bir ResNet’in dondurulmuş katmanları üzerine eklenen küçük bir sınıflandırıcı, radyoloji verisiyle birkaç saat içinde makul doğruluk üretiyor.

İnce Ayar (Fine-tuning)

Tüm modelin ağırlıkları veya önemli bir kısmı, yeni görev verisiyle yeniden eğitilir. Model temelden değişmez; ancak ağırlıklar hedef alana göre hafifçe kaydırılır. Öğrenme oranı tipik olarak ilk eğitimdekinden çok daha küçük tutulur.

İnce ayar daha fazla veri ve hesaplama gerektiriyor. Ama daha yüksek performans potansiyeli taşıyor çünkü model yalnızca son katmanı değil, tüm iç temsil yapısını yeni alana göre biçimlendiriyor.

Fine-tuning ile RAG arasındaki strateji seçimi hakkında ayrıntılı bir karşılaştırmaya bakabilirsiniz.

Tarihsel Gelişim: Görselden Dile

Transfer learning fikri yeni değil, ama büyük ölçekte uygulanabilir hale gelmesi 2010’ların başına denk geliyor.

2012, AlexNet kırılması: ImageNet yarışmasında Alex Krizhevsky’nin derin evrişimli ağı, ikinci sıraya 10+ puan fark atarak kazandı. Daha çarpıcı olan, bu ağın öğrendiği özelliklerin başka görsel görevlere aktarılabilir olmasıydı. “Önceden eğitilmiş ağırlıkları al, üstüne eğit” kalıbı bilgisayarla görme alanında standart hale geldi.

2018, NLP’nin transfere uyanışı: ELMo, ULMFiT ve ardından BERT ile GPT-1, doğal dil işlemeye aynı yaklaşımı getirdi. BERT, büyük metin derlemleri üzerinde iki ön-eğitim görevi (maskeli dil modeli + sonraki cümle tahmini) ile genel dil anlayışı öğrendi. Bu anlayışı duygu analizi, soru yanıtlama veya isimli varlık tanıma gibi görevlere aktarmak artık birkaç GPU saati meselesi haline geldi.

2020’ler, büyük model kalkışı: GPT-3 (175B parametre), T5, ViT ile “önce büyük eğit, sonra küçük göreve uyarla” kalıbı yerleşti. Yalnızca akademi değil, her sektörden uygulayıcı bu modellere erişip kendi verisiyle ince ayar uygulamaya başladı.

2023-2026, foundation model çağı: Claude, GPT-4, Llama, Mistral gibi modeller artık tek bir kaynak model konumunda. Milyarlarca token üzerinde önceden eğitilmiş bu modeller, milyonlarca kullanıcı tarafından kendi özel görevleri için kılavuzlanıyor. Her LoRA çalıştırması, her instruction tuning deneyi temelde bir transfer learning pratiği.

Transfer Öğrenmenin Üç Türü

Tüm transfer senaryoları aynı değil. Makine öğrenmesi literatüründe üç temel tür tanımlanıyor.

Tümevarımsal Transfer (Inductive Transfer Learning): Kaynak ve hedef görev birbirinden farklı. Hedef görev için etiketli veri mevcut. Örneğin: ImageNet’te görsel sınıflandırma için eğitilmiş model, X-ray görüntülerindeki pnömoni tespitine uyarlanıyor. Kaynak model genel görsel anlayış öğreniyor; hedef alan bunu tıbbi alana taşıyor.

Alan Uyarlaması (Transductive / Domain Adaptation): Görev aynı ama veri dağılımı değişiyor. İngilizce makale metinleri üzerinde eğitilmiş bir NLP modeli, farklı yazım stiline sahip sosyal medya verisine uyarlanıyor. Veya farklı hastanelerin farklı cihaz kalitesinden gelen görüntüler arasındaki dağılım farkının kapatılması.

Gözetimsiz Transfer (Unsupervised Transfer Learning): Hedef görevde hiç etiket yok. Model kaynak alanda öğrendiklerini, etiket gerektirmeden hedef alanda kullanıyor. Self-supervised learning ile sıkı bir akrabalığı var; öğrenilen temsiller etiket olmaksızın yeni alana taşınıyor.

NLP’de Pratik Örnekler

BERT ile duygu analizi: BERT önceden Wikipedia ve BooksCorpus üzerinde eğitilmiş; cümle yapısını, bağlamı, belirsizliği öğrenmiş. Ürün yorumlarını pozitif/negatif sınıflandırmak istiyorsunuz ama etiketli yorum veriniz yüzlerce, binlerce düzeyinde. BERT’in katmanlarını dondurup son katmanı sınıflandırıcıyla değiştirerek birkaç epoch içinde güçlü bir model elde edebilirsiniz.

GPT-2 ile özetleme: GPT-2’yi doğrudan fine-tune etmek yerine, prompt ile yönlendirmek de bir transfer biçimi. Model zaten dil örüntülerini öğrenmiş; görevi kılavuzlamak için yalnızca doğru çerçeve yeterli.

Çok dilli transfer: mBERT ve XLM-R gibi modeller 100’den fazla dil üzerinde önceden eğitilmiş. Türkçe için etiketli veri az olan bir görevde bu modeller İngilizce verisinden öğrendiklerini Türkçeye aktarabiliyor. Az kaynaklı diller için bu yetenek kritik.

LoRA ile Türkçe LLM adaptasyonu: LoRA ve Unsloth ile Türkçe LLM ince ayarı makalesinde bu konunun pratik adımlarını bulabilirsiniz. LoRA, tüm modeli yeniden eğitmek yerine yalnızca küçük adaptör matrisler eğiterek transferin verimliliğini katbekat artırıyor.

Bilgisayarla Görmede Transfer Learning

NLP ile paralel bir gelişim çizgisi var ama görsel alanda daha eski bir geçmişe dayanıyor.

ResNet ve EfficientNet: Nesne sınıflandırma, nesne tespiti, segmentasyon gibi pek çok görsel görev için standart başlangıç noktası ImageNet öncesi eğitilmiş bu modeller oldu. Kendi veri kümeniz ne olursa olsun, bu modellerden yola çıkmak sıfırdan başlamaktan neredeyse her zaman daha iyi.

Tıbbi görüntüleme: Radyoloji, patoloji, dermatoloji gibi alanlarda etiketli veri hem az hem de maliyetli. Transfer learning bu dar veri koşullarında bile işe yarar sonuçlar üretiyor. Feature extraction stratejisi özellikle az verili tıbbi görevlerde tercih edilen yol.

Uydu görüntüleri ve sanayi: Uydu görüntülerinden değişim tespiti veya fabrika bantlarındaki kusur tespiti de benzer bir tablo. Etiketleme pahalı, veri az; önceden eğitilmiş bir görsel model bu boşluğu dolduruyor.

Güçlü Yanlar ve Dikkat Edilmesi Gerekenler

Transfer learning güçlü bir araç ama belirli koşullar altında beklentilerin altında kalabiliyor.

Öne çıkan güçlü yanlar:

• Eğitim süresi ve veri gereksinimi dramatik biçimde düşüyor
• Az etiketli veriyle bile makul sonuçlar alınabiliyor
• Hesaplama maliyeti tasarrufu
• Kanıtlanmış mimarilerin özellik çıkarma kalitesinden yararlanma

Riskler ve sınırlılıklar:

Negatif transfer: Kaynak ve hedef görev arasındaki uyumsuzluk performansı sıfırdan eğitime göre bile daha kötü kılabiliyor. Sentetik görüntülerle eğitilmiş model gerçek dünya verisi üzerinde başarısız olabiliyor.

Catastrophic forgetting: Agresif fine-tuning sırasında model önceki bilgisini silip yerine yenisini yazıyor. Öğrenme oranı kontrol edilmezse ve katmanlar dikkatli seçilmezse bu kaymayı durdurmak güç.

Domain kayması ve halüsinasyon: Tıbbi metinler yerine internet dili üzerinde eğitilmiş model, klinik alan uyarlaması sırasında tutarsız çıktılar üretebiliyor. LLM halüsinasyonları hakkında daha fazla bilgi için ilgili makaleye göz atabilirsiniz.

Lisans kısıtlamaları: Bazı önceden eğitilmiş modeller ticari kullanıma kapalı. Hangi temel modeli kullandığınızı ve ne tür ince ayar uyguladığınızı belgelemek, özellikle kurumsal bağlamlarda kritik.

LLM Çağında Transfer Learning

Büyük dil modelleri transfer learning’in mantığını tam anlamıyla somutlaştırıyor. GPT-4, Claude veya Llama ailesi milyarlarca token üzerinde önceden eğitilmiş; dil, mantık, dünya bilgisi ve akıl yürütme örüntüleri zaten orada. Bunları bir göreve bağlamak için instruction tuning, RLHF veya LoRA uygulanıyor.

RLHF (İnsan Geri Bildirimiyle Pekiştirmeli Öğrenme) tam da bu zincirde devreye giriyor: önceden eğitilmiş modeli insan tercihleri doğrultusunda şekillendirme, büyük ölçekli bir transfer pratiği.

Knowledge distillation da bağlantılı bir kavram. Büyük bir modelin öğrendiklerini daha küçük bir modele aktarmak da bir bilgi transferi. Phi-4, DistilBERT ve Llama 3.2 1B gibi modeller bu yoldan çıktı.

Embedding modelleri de aynı mantığı taşıyor. Semantik arama veya vektör veritabanlarında kullanılan embedding modelleri, zaten transfer learning ile oluşturulmuş temsil uzayları üzerinde çalışıyor. Sıfırdan bir embedding modeli eğitmek yerine önceden eğitilmiş modeli alıp kendi verilerinize göre ince ayar uygulamak hem zaman hem maliyet açısından daha verimli.

In-context learning de bir tür çalışma zamanı transferi. Model few-shot örneklerden anında “öğreniyor”; ağırlıklar değişmiyor ama görev kılavuzlanıyor. Transfer learning’in kapsamı bu örneklerle düşündüğünüzden geniş çıkıyor.

Hangi Strateji? Karar Rehberi

Transfer learning artık bir seçenek değil, pratik makine öğrenmesinin varsayılan çıkış noktası. Sorun, hangi modeli kullanacağınız veya ne zaman transfer edeceğiniz değil; kaynak ile hedeviniz arasındaki mesafeyi ne kadar doğru okuyabileceğiniz. Bunu doğru kurduğunuzda, elinizde birkaç yüz veri noktası olsa da güçlü bir model çıkıyor.