Student Model (Öğrenci Model (Student Model))

#StudentModel #KnowledgeDistillation #SLM #ModelKompresyon

Bilgi damıtma sürecinde büyük bir öğretmen modelin yumuşak etiketlerinden öğrenerek çalışan daha küçük ve hızlı sinir ağı.

Öğrenci model (student model), bilgi damıtma (knowledge distillation) sürecinde daha büyük ve güçlü bir öğretmen modelden (teacher model) bilgi aktarımı alarak eğitilen küçük ve hafif sinir ağıdır. Öğrenci modelin hedefi, öğretmenin performansına mümkün olduğunca yaklaşmak — ancak çok daha az parametreyle ve dolayısıyla daha düşük hesaplama maliyetiyle. Yöntemin temelleri Hinton, Vinyals ve Dean'ın 2015 tarihli çalışmasına dayanır. Geleneksel eğitimde model gerçek etiketlerden (one-hot vektörler) öğrenir; damıtma yaklaşımında ise öğrenci bunlara ek olarak öğretmenin yumuşak çıktılarını (olasılık dağılımları) hedef alır. Bu yumuşak etiketler, doğru sınıf dışındaki düşük olasılıkların sınıflar arası benzerlik bilgisini taşıdığı 'karanlık bilgi' (dark knowledge) kavramını somutlaştırır. Sıcaklık parametresi T, softmax dağılımını düzleştirerek bu benzerlik ilişkilerini öğrenciye aktarır; T yükseldikçe öğrenci daha zengin yapısal bilgiye erişir. Eğitim kaybı çoğunlukla iki terimin ağırlıklı toplamıdır: sert etiket kaybı (doğru sınıf) ve öğretmenin yumuşatılmış dağılımı için KL diverjansı ya da çapraz entropi. Üç temel strateji uygulamada öne çıkmaktadır. Yanıt tabanlı damıtmada öğrenci yalnızca son katman çıktılarını taklit eder. Özellik tabanlı damıtmada ara katman aktivasyonları da eşleştirilir; bu yaklaşım DistilBERT ve TinyBERT'te kullanılmıştır. İlişki tabanlı damıtmada ise öğrenci, örnekler arası mesafe yapısını korumayı öğrenir. DistilBERT, BERT'in %40 küçük versiyonu olarak parametre sayısını 110M'den 66M'ye indirirken GLUE kıyaslamasında %97 performansı korumakta ve çıkarımda %60 hız kazanmaktadır. LLM damıtmasında öğrenci modelin önemi daha da büyümüştür. Phi-4 (Microsoft, 14B), Gemma 3 (Google, 1-27B) ve Qwen 3 gibi küçük dil modelleri (SLM), GPT-4 veya Claude gibi öğretmen modellerden üretilen sentetik verilerle eğitilerek boyutlarına kıyasla olağanüstü performans sergilemektedir. DeepSeek-R1-Distill serisinde büyük R1 modelinin akıl yürütme yetenekleri 7B-70B arası daha küçük modellere aktarılmış; bu modeller MATH ve coding kıyaslama setlerinde çok daha büyük modelleri geride bırakmıştır. Bu yaklaşım, tüketici cihazları ve uç (edge) sistemleri için güçlü modeller üretmenin pratik yolu haline gelmiştir.

Öğrenci Model Mimarisi

compress Küçük Transformer

Öğretmenle aynı mimari ancak daha az katman ve/veya daha dar gizli boyut. DistilBERT: 6 katman (BERT'in %50'si), %97 GLUE performansı.

architecture Mimari Farklılaşma

Öğrenci farklı mimari de kullanabilir. Öğretmen transformer, öğrenci CNN veya GRU olabilir; görev basit ve hıza odaklıysa.

tune LoRA Adaptörü

Büyük baz modeli dondur, küçük adaptör matrislerini eğit. Teknik olarak temel model öğretmen gibi davranır; adaptör ise öğrenci rolündedir.

memory Niceleme+Damıtma

INT8/INT4 nicemleme ile birleştirme: hem parametre azaltma hem de hassasiyet düşürme. Uç cihazlara dağıtım için ideal.

star Ünlü Öğrenci Modeller

DistilBERT: BERT'in %40 daha küçük, %60 daha hızlı damıtılmış versiyonu. TinyBERT: 4 katman, BERT-base performansının %96'sı. Phi-4 (3.8B): GPT-4 kalitesine yakın SLM; sentetik veri damıtmasının öncüsü. Gemma 3 (1B/4B): tüketici donanımında çalışan Google SLM. Qwen3 (0.6B-4B): Çince ve çok dilli görevlerde güçlü öğrenci modeller.

Bilgi Damıtma Süreci ve Stratejileri

  • check_circle Yanıt Tabanlı Damıtma (Response-Based): Öğrenci modeli, öğretmen modelinin yumuşak etiket çıktılarını taklit eder. Hinton ve ekibinin orijinal knowledge distillation yöntemi.
  • check_circle Özellik Tabanlı Damıtma (Feature-Based): Öğrenci, öğretmenin ara katman aktivasyonlarını da öğrenmeye çalışır. Daha fazla bilgi transferi sağlar ama uygulama daha karmaşık.
  • check_circle İlişki Tabanlı Damıtma (Relation-Based): Öğrenci modeli, öğretmenin örnekler arası ilişki yapısını korumayı öğrenir. Yapısal bilgiyi aktarmak için kullanılır.
  • check_circle Sıcaklık Parametresi: Öğretmen çıktısını yumuşatmak için kullanılan parametre. Yüksek sıcaklık daha fazla sınıflar arası bilgi aktarır; düşük sıcaklık sert etiketlere yaklaşır.
  • check_circle Birleşik Kayıp Fonksiyonu: Çoğu distilasyon uygulaması, sert etiket kaybı (doğru sınıf) + soft label kaybı (öğretmen dağılımı) kombinasyonunu kullanır.
  • check_circle LLM Damıtması: GPT-4 gibi büyük modelin yanıtlarını öğrenci için eğitim verisi olarak kullanmak (data distillation). DeepSeek-R1'in küçük model versiyonları bu yöntemle üretildi.

Öğrenci Modelin Üretim ve Maliyet Avantajları

Bilgi damıtma, AI sistemlerini daha küçük, hızlı ve maliyet etkin hale getirmenin temel tekniğidir. Başarılı örnekler: DistilBERT, orijinal BERT'in %40 daha küçük versiyonudur ve performansın %97'sini koruyarak 60% daha hızlı çalışır. TinyBERT, bilgi damıtmayı hem ara katmanlara hem son çıktıya uygular. DeepSeek-R1-Distill serisinde, büyük R1 modelinin akıl yürütme yetenekleri 7B-70B arası daha küçük Qwen/LLaMA modellere başarıyla aktarılmıştır. Üretim değeri: büyük modeli geliştir, kaliteli eğitim verisi veya soft label oluştur, küçük öğrenci modele damıt; sonuç olarak 10-100× daha hızlı ve ucuz çıkarım, benzer kalite. Sınırlamalar: öğrenci her zaman öğretmeni aşamaz; çok küçük öğrenci modeller, öğretmenin karmaşıklığını temsil edemez. Aynı zamanda öğretmen modelinin telif hakkı ve kullanım kısıtlamaları distile modelin dağıtımını kısıtlayabilir.

🎓 Öğrenci Model Eğitiminde En İyi Uygulamalar

  • check_circle Öğretmen ve öğrenci modeli aynı görev alanında ön eğitimden geçirilmişse damıtma daha etkilidir
  • check_circle Sıcaklık parametresini (T=2-5) kullanarak öğretmen çıktılarını yumuşatın ve bilgi transferini artırın
  • check_circle Ara katman damıtması: yalnızca çıktı değil, öğretmenin gizli temsilleri de öğrenciye aktarılabilir
  • check_circle Görev kaybı ve damıtma kaybını birleştirin; sadece damıtma kaybı görev performansını düşürebilir
  • check_circle Öğrenci kapasitesini doğru seçin; çok küçük öğrenci bilgiyi absorbe edemez

quiz Sık Sorulan Sorular

  • check_circle Öğrenci model her zaman öğretmenden daha mı düşük performanslıdır? Genel olarak evet, ancak görev özeli ince ayar sonrasında öğrenci model öğretmeni belirli kıyaslamalarda geçebilir. Özellikle görev-spesifik verilerle ince ayar yapıldığında.
  • check_circle Öğrenci model eğitimi için öğretmen modeli canlı gereksinim var mı? Çevrimiçi damıtmada (online distillation) evet. Çevrimdışı damıtmada (offline) ise öğretmenin önceden ürettiği çıktılar yeterlidir; eğitim sırasında öğretmene erişim gerekmez.
  • check_circle Öğrenci model nedir? Bilgi damıtma sürecinde büyük öğretmen modelin davranışını taklit ederek eğitilen daha küçük, hızlı ve kaynak verimli modeldir. DistilBERT ve DeepSeek-R1-Distill örneklerdir.
  • check_circle Bilgi damıtma (knowledge distillation) nedir? Büyük modelin (öğretmen) bilgi ve davranışını küçük modele (öğrenci) aktarma tekniğidir. Öğrenci, öğretmenin soft label çıktılarını taklit ederek kesin etiketlerin ötesinde bilgi öğrenir.
  • check_circle Öğrenci model neden öğretmenden küçük ama hâlâ iyi? Öğretmenin soft label'ları (olasılık dağılımı) sınıflar arası ilişki bilgisi taşır. Bu bilgi zenginliği, öğrencinin yalnızca sert etiketlerle eğitilmesine göre çok daha iyi genelleme yapmasını sağlar.
  • check_circle DistilBERT öğrenci model midir? Evet. DistilBERT, orijinal BERT'in bilgi damıtmayla oluşturulan kompakt versiyonudur. Parametre sayısı %40 azalırken BERT performansının %97'sini korur ve 60% daha hızlı çalışır.