tag ModelKompresyon
Bu sayfada ModelKompresyon etiketi ile işaretlenmiş 2 yapay zeka kavramını bulabilirsiniz.
Öğrenci model (student model), bilgi damıtma (knowledge distillation) sürecinde daha büyük ve güçlü bir öğretmen modelden (teacher model) bilgi aktarımı alarak eğitilen küçük ve hafif sinir ağıdır. Öğrenci modelin hedefi, öğretmenin performansına mümkün olduğunca yaklaşmak — ancak çok daha az parametreyle ve dolayısıyla daha düşük hesaplama maliyetiyle. Yöntemin temelleri Hinton, Vinyals ve Dean'ın 2015 tarihli çalışmasına dayanır. Geleneksel eğitimde model gerçek etiketlerden (one-hot vektörler) öğrenir; damıtma yaklaşımında ise öğrenci bunlara ek olarak öğretmenin yumuşak çıktılarını (olasılık dağılımları) hedef alır. Bu yumuşak etiketler, doğru sınıf dışındaki düşük olasılıkların sınıflar arası benzerlik bilgisini taşıdığı 'karanlık bilgi' (dark knowledge) kavramını somutlaştırır. Sıcaklık parametresi T, softmax dağılımını düzleştirerek bu benzerlik ilişkilerini öğrenciye aktarır; T yükseldikçe öğrenci daha zengin yapısal bilgiye erişir. Eğitim kaybı çoğunlukla iki terimin ağırlıklı toplamıdır: sert etiket kaybı (doğru sınıf) ve öğretmenin yumuşatılmış dağılımı için KL diverjansı ya da çapraz entropi. Üç temel strateji uygulamada öne çıkmaktadır. Yanıt tabanlı damıtmada öğrenci yalnızca son katman çıktılarını taklit eder. Özellik tabanlı damıtmada ara katman aktivasyonları da eşleştirilir; bu yaklaşım DistilBERT ve TinyBERT'te kullanılmıştır. İlişki tabanlı damıtmada ise öğrenci, örnekler arası mesafe yapısını korumayı öğrenir. DistilBERT, BERT'in %40 küçük versiyonu olarak parametre sayısını 110M'den 66M'ye indirirken GLUE kıyaslamasında %97 performansı korumakta ve çıkarımda %60 hız kazanmaktadır. LLM damıtmasında öğrenci modelin önemi daha da büyümüştür. Phi-4 (Microsoft, 14B), Gemma 3 (Google, 1-27B) ve Qwen 3 gibi küçük dil modelleri (SLM), GPT-4 veya Claude gibi öğretmen modellerden üretilen sentetik verilerle eğitilerek boyutlarına kıyasla olağanüstü performans sergilemektedir. DeepSeek-R1-Distill serisinde büyük R1 modelinin akıl yürütme yetenekleri 7B-70B arası daha küçük modellere aktarılmış; bu modeller MATH ve coding kıyaslama setlerinde çok daha büyük modelleri geride bırakmıştır. Bu yaklaşım, tüketici cihazları ve uç (edge) sistemleri için güçlü modeller üretmenin pratik yolu haline gelmiştir.
Student Model (Öğrenci Model (Student Model))
Öğrenci model (student model), bilgi damıtma (knowledge distillation) sürecinde daha büyük ve güçlü bir öğretmen modelden (teacher model) bilgi aktarımı alarak eğitilen küçük ve hafif sinir ağıdır. Öğrenci modelin hedefi, öğretmenin performansına mümkün olduğunca yaklaşmak — ancak çok daha az parametreyle ve dolayısıyla daha düşük hesaplama maliyetiyle. Yöntemin temelleri Hinton, Vinyals ve Dean'ın 2015 tarihli çalışmasına dayanır. Geleneksel eğitimde model gerçek etiketlerden (one-hot vektörler) öğrenir; damıtma yaklaşımında ise öğrenci bunlara ek olarak öğretmenin yumuşak çıktılarını (olasılık dağılımları) hedef alır. Bu yumuşak etiketler, doğru sınıf dışındaki düşük olasılıkların sınıflar arası benzerlik bilgisini taşıdığı 'karanlık bilgi' (dark knowledge) kavramını somutlaştırır. Sıcaklık parametresi T, softmax dağılımını düzleştirerek bu benzerlik ilişkilerini öğrenciye aktarır; T yükseldikçe öğrenci daha zengin yapısal bilgiye erişir. Eğitim kaybı çoğunlukla iki terimin ağırlıklı toplamıdır: sert etiket kaybı (doğru sınıf) ve öğretmenin yumuşatılmış dağılımı için KL diverjansı ya da çapraz entropi. Üç temel strateji uygulamada öne çıkmaktadır. Yanıt tabanlı damıtmada öğrenci yalnızca son katman çıktılarını taklit eder. Özellik tabanlı damıtmada ara katman aktivasyonları da eşleştirilir; bu yaklaşım DistilBERT ve TinyBERT'te kullanılmıştır. İlişki tabanlı damıtmada ise öğrenci, örnekler arası mesafe yapısını korumayı öğrenir. DistilBERT, BERT'in %40 küçük versiyonu olarak parametre sayısını 110M'den 66M'ye indirirken GLUE kıyaslamasında %97 performansı korumakta ve çıkarımda %60 hız kazanmaktadır. LLM damıtmasında öğrenci modelin önemi daha da büyümüştür. Phi-4 (Microsoft, 14B), Gemma 3 (Google, 1-27B) ve Qwen 3 gibi küçük dil modelleri (SLM), GPT-4 veya Claude gibi öğretmen modellerden üretilen sentetik verilerle eğitilerek boyutlarına kıyasla olağanüstü performans sergilemektedir. DeepSeek-R1-Distill serisinde büyük R1 modelinin akıl yürütme yetenekleri 7B-70B arası daha küçük modellere aktarılmış; bu modeller MATH ve coding kıyaslama setlerinde çok daha büyük modelleri geride bırakmıştır. Bu yaklaşım, tüketici cihazları ve uç (edge) sistemleri için güçlü modeller üretmenin pratik yolu haline gelmiştir.
Teacher Model (Öğretmen Model (Teacher Model))
Öğretmen model (teacher model), bilgi damıtma (knowledge distillation) sürecinde büyük, güçlü ve pahalı sinir ağını ifade eder; bu ağın öğrendiği bilgi daha küçük bir öğrenci modele aktarılır. Geoffrey Hinton, Oriol Vinyals ve Jeff Dean'in 2015 tarihli "Distilling the Knowledge in a Neural Network" makalesi bu kavramı sistematik biçimde tanımlamış; öğretmen modelinin softmax çıktılarının sıcaklık (T) parametresiyle yumuşatılarak öğrenciye aktarılması gerektiğini ortaya koymuştur. Öğretmen modelin temel işlevi, eğitim sırasında öğrenciye rehberlik etmektir. Sert etiketler (ground truth) yerine olasılık dağılımları (yumuşak etiketler) üreterek öğrenciye daha zengin bilgi sinyalleri iletir. T = 1 iken standart softmax çıktısı elde edilir; T > 1 değerleri (tipik olarak T = 2–5) dağılımı yumuşatır ve düşük olasılıklı sınıfların bilgisini ön plana çıkarır. Bir nesne sınıflandırıcısında öğretmenin köpek için 0,85, kedi için 0,12 vermesi; öğrencinin köpek-kedi benzerliğini de öğrenmesini sağlar. Bilgi aktarımı üç farklı düzeyde gerçekleştirilebilir: yanıt tabanlı damıtma öğretmenin nihai softmax çıktılarını aktarır; özellik tabanlı damıtma (FitNets, ICLR 2015) öğretmenin ara katman aktivasyonlarını transfer eder; ilişki tabanlı damıtma ise veri örnekleri arasındaki yapısal ilişkiyi öğrenciye öğretir. Bu üç yaklaşım tek başına veya birlikte uygulanabilir; kombinasyon genellikle en yüksek öğrenci başarımını üretir. Modern LLM ekosisteminde öğretmen modeller iki farklı biçimde kullanılır: gerçek zamanlı damıtmada öğrenci eğitim sırasında öğretmenden canlı yumuşak etiket alır; veri damıtmasında ise öğretmen eğitimden önce büyük miktarda yüksek kaliteli sentetik veri üretir. DeepSeek-R1'in tam modeli, DeepSeek-R1-Distill-Llama-70B ve Qwen-7B/14B öğrencilerinin öğretmeni olmuş; bu öğrenciler matematik ve kodlama kıyaslamalarında çok büyük modellere yakın skorlar elde etmiştir. Phi-4 ve Orca serisinin başarısı da aynı veri damıtma stratejisine dayanmaktadır.