tag TeacherModel

Bu sayfada TeacherModel etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

Öğretmen model (teacher model), bilgi damıtma (knowledge distillation) sürecinde büyük, güçlü ve pahalı sinir ağını ifade eder; bu ağın öğrendiği bilgi daha küçük bir öğrenci modele aktarılır. Geoffrey Hinton, Oriol Vinyals ve Jeff Dean'in 2015 tarihli "Distilling the Knowledge in a Neural Network" makalesi bu kavramı sistematik biçimde tanımlamış; öğretmen modelinin softmax çıktılarının sıcaklık (T) parametresiyle yumuşatılarak öğrenciye aktarılması gerektiğini ortaya koymuştur. Öğretmen modelin temel işlevi, eğitim sırasında öğrenciye rehberlik etmektir. Sert etiketler (ground truth) yerine olasılık dağılımları (yumuşak etiketler) üreterek öğrenciye daha zengin bilgi sinyalleri iletir. T = 1 iken standart softmax çıktısı elde edilir; T > 1 değerleri (tipik olarak T = 2–5) dağılımı yumuşatır ve düşük olasılıklı sınıfların bilgisini ön plana çıkarır. Bir nesne sınıflandırıcısında öğretmenin köpek için 0,85, kedi için 0,12 vermesi; öğrencinin köpek-kedi benzerliğini de öğrenmesini sağlar. Bilgi aktarımı üç farklı düzeyde gerçekleştirilebilir: yanıt tabanlı damıtma öğretmenin nihai softmax çıktılarını aktarır; özellik tabanlı damıtma (FitNets, ICLR 2015) öğretmenin ara katman aktivasyonlarını transfer eder; ilişki tabanlı damıtma ise veri örnekleri arasındaki yapısal ilişkiyi öğrenciye öğretir. Bu üç yaklaşım tek başına veya birlikte uygulanabilir; kombinasyon genellikle en yüksek öğrenci başarımını üretir. Modern LLM ekosisteminde öğretmen modeller iki farklı biçimde kullanılır: gerçek zamanlı damıtmada öğrenci eğitim sırasında öğretmenden canlı yumuşak etiket alır; veri damıtmasında ise öğretmen eğitimden önce büyük miktarda yüksek kaliteli sentetik veri üretir. DeepSeek-R1'in tam modeli, DeepSeek-R1-Distill-Llama-70B ve Qwen-7B/14B öğrencilerinin öğretmeni olmuş; bu öğrenciler matematik ve kodlama kıyaslamalarında çok büyük modellere yakın skorlar elde etmiştir. Phi-4 ve Orca serisinin başarısı da aynı veri damıtma stratejisine dayanmaktadır.

school

Teacher Model (Öğretmen Model (Teacher Model))

Öğretmen model (teacher model), bilgi damıtma (knowledge distillation) sürecinde büyük, güçlü ve pahalı sinir ağını ifade eder; bu ağın öğrendiği bilgi daha küçük bir öğrenci modele aktarılır. Geoffrey Hinton, Oriol Vinyals ve Jeff Dean'in 2015 tarihli "Distilling the Knowledge in a Neural Network" makalesi bu kavramı sistematik biçimde tanımlamış; öğretmen modelinin softmax çıktılarının sıcaklık (T) parametresiyle yumuşatılarak öğrenciye aktarılması gerektiğini ortaya koymuştur. Öğretmen modelin temel işlevi, eğitim sırasında öğrenciye rehberlik etmektir. Sert etiketler (ground truth) yerine olasılık dağılımları (yumuşak etiketler) üreterek öğrenciye daha zengin bilgi sinyalleri iletir. T = 1 iken standart softmax çıktısı elde edilir; T > 1 değerleri (tipik olarak T = 2–5) dağılımı yumuşatır ve düşük olasılıklı sınıfların bilgisini ön plana çıkarır. Bir nesne sınıflandırıcısında öğretmenin köpek için 0,85, kedi için 0,12 vermesi; öğrencinin köpek-kedi benzerliğini de öğrenmesini sağlar. Bilgi aktarımı üç farklı düzeyde gerçekleştirilebilir: yanıt tabanlı damıtma öğretmenin nihai softmax çıktılarını aktarır; özellik tabanlı damıtma (FitNets, ICLR 2015) öğretmenin ara katman aktivasyonlarını transfer eder; ilişki tabanlı damıtma ise veri örnekleri arasındaki yapısal ilişkiyi öğrenciye öğretir. Bu üç yaklaşım tek başına veya birlikte uygulanabilir; kombinasyon genellikle en yüksek öğrenci başarımını üretir. Modern LLM ekosisteminde öğretmen modeller iki farklı biçimde kullanılır: gerçek zamanlı damıtmada öğrenci eğitim sırasında öğretmenden canlı yumuşak etiket alır; veri damıtmasında ise öğretmen eğitimden önce büyük miktarda yüksek kaliteli sentetik veri üretir. DeepSeek-R1'in tam modeli, DeepSeek-R1-Distill-Llama-70B ve Qwen-7B/14B öğrencilerinin öğretmeni olmuş; bu öğrenciler matematik ve kodlama kıyaslamalarında çok büyük modellere yakın skorlar elde etmiştir. Phi-4 ve Orca serisinin başarısı da aynı veri damıtma stratejisine dayanmaktadır.

arrow_forward