tag KnowledgeDistillation
Bu sayfada KnowledgeDistillation etiketi ile işaretlenmiş 4 yapay zeka kavramını bulabilirsiniz.
Knowledge Distillation (Bilgi Damıtma), büyük ve güçlü bir öğretmen modelin bilgisini daha küçük ve verimli bir öğrenci modele aktarma sürecidir. Öğrenci model, doğrudan ham etiketlerden değil; öğretmenin yumuşak olasılık çıktılarından (soft labels) öğrenerek eğitim veri kümesindeki sinyallerin ötesine geçen genelleme yeteneği kazanır. Tekniğin temeli 2015 yılında Geoffrey Hinton, Oriol Vinyals ve Jeff Dean'in yayımladığı "Distilling the Knowledge in a Neural Network" başlıklı makaledir. Hinton, öğretmenin softmax çıktılarının ham etiketlere kıyasla çok daha zengin bir öğrenme sinyali taşıdığını ortaya koydu: bir görüntü sınıflandırıcısının "kedi" olasılığı %90 iken "köpek" olasılığının %7 olması, modelin sınıflar arasındaki benzerlik yapısını kodladığını gösterir ve öğrenci bu yapıyı devralır. Teknik açıdan distilasyon iki kayıp teriminin ağırlıklı toplamını minimize eder: öğrencinin öğretmen çıktılarına ne kadar yaklaştığını ölçen KL Divergence tabanlı distilasyon kaybı ve standart çapraz entropi kaybı. Sıcaklık (temperature) parametresi softmax dağılımını yumuşatarak sınıflar arası ilişkileri belirginleştirir; tipik değerler 2-5 arasındadır. Pratik uygulamalarda distilasyon, üretim ortamları için belirleyici bir teknik haline gelmiştir. DistilBERT orijinal BERT modelinin %97 performansını %40 daha küçük ve %60 daha hızlı biçimde yeniden üretir. TinyBERT hem öğretmen çıktısından hem de ara katman temsil bilgisinden öğrenir; MobileBERT ise mobil cihaz kısıtları gözetilerek tasarlanmıştır. Distilasyon çeşitleri arasında self-distillation (modelin kendisinden öğrenmesi), multi-teacher distillation (birden fazla öğretmenden bilgi sentezi) ve cross-modal distillation (görüntü modelinin bilgisinin metin modeline aktarılması) sayılabilir. LLM çağında bu teknik, 70B+ büyük modellerin bilgisini 7B veya daha küçük görev-odaklı modellere aktarmak için kritik bir role bürünmüştür. Açık ağırlıklı büyük modeller öğretmen, küçük görev-odaklı modeller öğrenci rolü üstlenir; bu yaklaşım model sıkıştırma, budama (pruning) ve kuantizasyon ile birlikte kullanılarak donanım sınırlı ortamlarda yüksek performans elde etmeye olanak tanır.
Knowledge Distillation (Bilgi Damıtma)
Knowledge Distillation (Bilgi Damıtma), büyük ve güçlü bir öğretmen modelin bilgisini daha küçük ve verimli bir öğrenci modele aktarma sürecidir. Öğrenci model, doğrudan ham etiketlerden değil; öğretmenin yumuşak olasılık çıktılarından (soft labels) öğrenerek eğitim veri kümesindeki sinyallerin ötesine geçen genelleme yeteneği kazanır. Tekniğin temeli 2015 yılında Geoffrey Hinton, Oriol Vinyals ve Jeff Dean'in yayımladığı "Distilling the Knowledge in a Neural Network" başlıklı makaledir. Hinton, öğretmenin softmax çıktılarının ham etiketlere kıyasla çok daha zengin bir öğrenme sinyali taşıdığını ortaya koydu: bir görüntü sınıflandırıcısının "kedi" olasılığı %90 iken "köpek" olasılığının %7 olması, modelin sınıflar arasındaki benzerlik yapısını kodladığını gösterir ve öğrenci bu yapıyı devralır. Teknik açıdan distilasyon iki kayıp teriminin ağırlıklı toplamını minimize eder: öğrencinin öğretmen çıktılarına ne kadar yaklaştığını ölçen KL Divergence tabanlı distilasyon kaybı ve standart çapraz entropi kaybı. Sıcaklık (temperature) parametresi softmax dağılımını yumuşatarak sınıflar arası ilişkileri belirginleştirir; tipik değerler 2-5 arasındadır. Pratik uygulamalarda distilasyon, üretim ortamları için belirleyici bir teknik haline gelmiştir. DistilBERT orijinal BERT modelinin %97 performansını %40 daha küçük ve %60 daha hızlı biçimde yeniden üretir. TinyBERT hem öğretmen çıktısından hem de ara katman temsil bilgisinden öğrenir; MobileBERT ise mobil cihaz kısıtları gözetilerek tasarlanmıştır. Distilasyon çeşitleri arasında self-distillation (modelin kendisinden öğrenmesi), multi-teacher distillation (birden fazla öğretmenden bilgi sentezi) ve cross-modal distillation (görüntü modelinin bilgisinin metin modeline aktarılması) sayılabilir. LLM çağında bu teknik, 70B+ büyük modellerin bilgisini 7B veya daha küçük görev-odaklı modellere aktarmak için kritik bir role bürünmüştür. Açık ağırlıklı büyük modeller öğretmen, küçük görev-odaklı modeller öğrenci rolü üstlenir; bu yaklaşım model sıkıştırma, budama (pruning) ve kuantizasyon ile birlikte kullanılarak donanım sınırlı ortamlarda yüksek performans elde etmeye olanak tanır.
Soft Labels (Yumuşak Etiketler (Soft Labels))
Yumuşak etiketler (soft labels), bir sınıflandırma modelinin kesin ('kedi: 1, köpek: 0') one-hot kodlu etiketler (sert etiketler, hard labels) yerine olasılık dağılımlarını ('kedi: 0.8, köpek: 0.15, diğer: 0.05') hedef olarak kullanmasını ifade eder. Bu yaklaşım özellikle bilgi damıtma (knowledge distillation) sürecinde öğretmen modelin ürettiği tahmin dağılımlarını öğrenci modele aktarmanın yolu olarak kritik bir rol üstlenir. Sert etiketlerin aksine yumuşak etiketler 'karanlık bilgi' (dark knowledge) taşır: öğretmen model, yanlış sınıflar için de sıfır olmayan küçük olasılıklar atar. Örneğin bir 'kedi' görüntüsü için model 'kaplan: 0.03' skoru verebilir — bu, iki sınıf arasındaki görsel benzerliği kodlar. Öğrenci model bu ilişkileri öğrenince genelleme kapasitesi artar. Sıcaklık parametresi (temperature), yumuşak etiket üretiminde kritiktir. T > 1 değerleri dağılımı daha yumuşak ve bilgisi zengin hale getirir; T = 1 standart softmax çıktısına karşılık gelir. Damıtma sürecinde öğretmen hem yüksek T ile üretilen yumuşak etiketleri hem de gerçek etiketler üzerinden hesaplanan doğruluk kaybını birlikte öğrenciye aktarır. Geoffrey Hinton'ın 2015 tarihli öncü çalışması bu temeli atmıştır.
Student Model (Öğrenci Model (Student Model))
Öğrenci model (student model), bilgi damıtma (knowledge distillation) sürecinde daha büyük ve güçlü bir öğretmen modelden (teacher model) bilgi aktarımı alarak eğitilen küçük ve hafif sinir ağıdır. Öğrenci modelin hedefi, öğretmenin performansına mümkün olduğunca yaklaşmak — ancak çok daha az parametreyle ve dolayısıyla daha düşük hesaplama maliyetiyle. Yöntemin temelleri Hinton, Vinyals ve Dean'ın 2015 tarihli çalışmasına dayanır. Geleneksel eğitimde model gerçek etiketlerden (one-hot vektörler) öğrenir; damıtma yaklaşımında ise öğrenci bunlara ek olarak öğretmenin yumuşak çıktılarını (olasılık dağılımları) hedef alır. Bu yumuşak etiketler, doğru sınıf dışındaki düşük olasılıkların sınıflar arası benzerlik bilgisini taşıdığı 'karanlık bilgi' (dark knowledge) kavramını somutlaştırır. Sıcaklık parametresi T, softmax dağılımını düzleştirerek bu benzerlik ilişkilerini öğrenciye aktarır; T yükseldikçe öğrenci daha zengin yapısal bilgiye erişir. Eğitim kaybı çoğunlukla iki terimin ağırlıklı toplamıdır: sert etiket kaybı (doğru sınıf) ve öğretmenin yumuşatılmış dağılımı için KL diverjansı ya da çapraz entropi. Üç temel strateji uygulamada öne çıkmaktadır. Yanıt tabanlı damıtmada öğrenci yalnızca son katman çıktılarını taklit eder. Özellik tabanlı damıtmada ara katman aktivasyonları da eşleştirilir; bu yaklaşım DistilBERT ve TinyBERT'te kullanılmıştır. İlişki tabanlı damıtmada ise öğrenci, örnekler arası mesafe yapısını korumayı öğrenir. DistilBERT, BERT'in %40 küçük versiyonu olarak parametre sayısını 110M'den 66M'ye indirirken GLUE kıyaslamasında %97 performansı korumakta ve çıkarımda %60 hız kazanmaktadır. LLM damıtmasında öğrenci modelin önemi daha da büyümüştür. Phi-4 (Microsoft, 14B), Gemma 3 (Google, 1-27B) ve Qwen 3 gibi küçük dil modelleri (SLM), GPT-4 veya Claude gibi öğretmen modellerden üretilen sentetik verilerle eğitilerek boyutlarına kıyasla olağanüstü performans sergilemektedir. DeepSeek-R1-Distill serisinde büyük R1 modelinin akıl yürütme yetenekleri 7B-70B arası daha küçük modellere aktarılmış; bu modeller MATH ve coding kıyaslama setlerinde çok daha büyük modelleri geride bırakmıştır. Bu yaklaşım, tüketici cihazları ve uç (edge) sistemleri için güçlü modeller üretmenin pratik yolu haline gelmiştir.
Teacher Model (Öğretmen Model (Teacher Model))
Öğretmen model (teacher model), bilgi damıtma (knowledge distillation) sürecinde büyük, güçlü ve pahalı sinir ağını ifade eder; bu ağın öğrendiği bilgi daha küçük bir öğrenci modele aktarılır. Geoffrey Hinton, Oriol Vinyals ve Jeff Dean'in 2015 tarihli "Distilling the Knowledge in a Neural Network" makalesi bu kavramı sistematik biçimde tanımlamış; öğretmen modelinin softmax çıktılarının sıcaklık (T) parametresiyle yumuşatılarak öğrenciye aktarılması gerektiğini ortaya koymuştur. Öğretmen modelin temel işlevi, eğitim sırasında öğrenciye rehberlik etmektir. Sert etiketler (ground truth) yerine olasılık dağılımları (yumuşak etiketler) üreterek öğrenciye daha zengin bilgi sinyalleri iletir. T = 1 iken standart softmax çıktısı elde edilir; T > 1 değerleri (tipik olarak T = 2–5) dağılımı yumuşatır ve düşük olasılıklı sınıfların bilgisini ön plana çıkarır. Bir nesne sınıflandırıcısında öğretmenin köpek için 0,85, kedi için 0,12 vermesi; öğrencinin köpek-kedi benzerliğini de öğrenmesini sağlar. Bilgi aktarımı üç farklı düzeyde gerçekleştirilebilir: yanıt tabanlı damıtma öğretmenin nihai softmax çıktılarını aktarır; özellik tabanlı damıtma (FitNets, ICLR 2015) öğretmenin ara katman aktivasyonlarını transfer eder; ilişki tabanlı damıtma ise veri örnekleri arasındaki yapısal ilişkiyi öğrenciye öğretir. Bu üç yaklaşım tek başına veya birlikte uygulanabilir; kombinasyon genellikle en yüksek öğrenci başarımını üretir. Modern LLM ekosisteminde öğretmen modeller iki farklı biçimde kullanılır: gerçek zamanlı damıtmada öğrenci eğitim sırasında öğretmenden canlı yumuşak etiket alır; veri damıtmasında ise öğretmen eğitimden önce büyük miktarda yüksek kaliteli sentetik veri üretir. DeepSeek-R1'in tam modeli, DeepSeek-R1-Distill-Llama-70B ve Qwen-7B/14B öğrencilerinin öğretmeni olmuş; bu öğrenciler matematik ve kodlama kıyaslamalarında çok büyük modellere yakın skorlar elde etmiştir. Phi-4 ve Orca serisinin başarısı da aynı veri damıtma stratejisine dayanmaktadır.