Knowledge Distillation (Bilgi Damıtma)

Bilgi damıtma (knowledge distillation), büyük ve hesaplama açısından pahalı bir modelin (öğretmen) kazandığı temsil bilgisini daha küçük, verimli bir modele (öğrenci) aktarmayı hedefleyen model sıkıştırma tekniğidir. 2015 yılında Hinton, Vinyals ve Dean'in 'Distilling the Knowledge in a Neural Network' makalesiyle formalize edilen bu yöntem, öğretmenin ham sınıf tahminleri yerine softmax olasılık dağılımlarını eğitim sinyali olarak kullanır. Bu yumuşak etiketler (soft labels), öğrenciye sınıflar arası benzerlik ilişkilerini de öğretir; örneğin bir 'kedi' görselinde modelin 'köpek' için de küçük ama sıfırdan yüksek bir olasılık ataması, ham etiketle kaybolacak bir bilgiyi taşır.

Eğitim sırasında öğrenci modeli iki kayıp bileşenini optimize eder. Birincisi, gerçek etiketlerle hesaplanan standart cross-entropy kaybı; ikincisi, öğretmenin yumuşatılmış softmax çıktılarıyla hesaplanan damıtma kaybı (KL diverjansı). Yumuşatma işlemi için temperature (T) parametresi kullanılır: T>1 değerleri softmax dağılımını düzleştirerek sınıflar arası ilişkiyi daha net aktarır; tipik değer 2-5 arasında seçilir. Son kayıp fonksiyonu bu iki bileşenin ağırlıklı ortalamasıdır: L = α·L_distill + (1-α)·L_CE. Öğretmen ağırlıkları eğitim boyunca sabit tutulurken yalnızca öğrenci güncellenir; bu tasarım hesaplama maliyetini önemli ölçüde düşürür. Öğrenci mimarisi öğretmenle aynı türde olmak zorunda değildir: bir transformer öğretmenden küçük bir CNN öğrenciye transfer mümkün olduğundan cross-architecture damıtma alanı giderek genişlemektedir.

Büyük dil modellerinin (LLM) yaygınlaşmasıyla bilgi damıtma kritik bir araç haline geldi. GPT-4 veya Claude gibi kapalı modellerin gizli çıktılarından faydalanarak Phi-3-mini, Mistral-7B veya DeepSeek-R1 gibi açık modeller damıtıldı. 2025 başında DeepSeek-R1'in 32B öğrenci varyantı, matematik akıl yürütmede OpenAI o1-mini'yi geride bıraktı; bu bulgu, damıtmanın kapasite aktarım sınırları konusundaki önyargıları kırdı. Damıtma, aynı zamanda edge deployment için belirleyici: mobil veya gömülü cihazlarda çalışması gereken modeller tipik olarak 5-10× boyut küçültmesi ve 2-4× hız artışı elde ederken doğruluk kaybı genellikle yüzde 3-5 ile sınırlı kalır. Ayrıca damıtma, veri gizliliği gerektiren ortamlarda öğretmenin eğitim datasına dokunmadan bilgisini öğrenciye aktarmanın etik bir yolunu sunar.

Bilgi damıtmanın başlıca avantajları şunlardır: daha az veri ve hesaplama ile öğretmene yakın performans, düşük bellek ve gecikme gerektiren üretim ortamları için uygunluk, öğretmenin özel verisiyle eğitilmiş olmasına karşın genel geçer bir öğrenci elde edilebilmesi. Öte yandan sınırlamalar da göz ardı edilemez: öğrenci kapasitesi yetersizse bilgi transferi yetersiz kalır (capacity gap sorunu); öğretmen modelinin tamamen erişilebilir olmaması durumunda yalnızca API çıktılarıyla çalışmak gerekir (black-box distillation); ayrıca çok büyük model—çok küçük öğrenci kombinasyonlarında doğruluk düşüşü kabul edilemez seviyelere ulaşabilir. Damıtma, kuantizasyon veya pruning ile birleştirildiğinde sinerjik kazanımlar elde edilir.

Hugging Face Transformers kütüphanesi, DistilBERT ve TinyBERT gibi önceden damıtılmış modelleri doğrudan sunmaktadır. Özel damıtma deneyleri için PyTorch'ta öğretmen modelini dondurup (model.eval(), torch.no_grad()) öğrenciye KL diverjans kaybı uygulamak yeterlidir. Intel'in Neural Compressor, NVIDIA TensorRT ve Microsoft'un DeepSpeed ZeroQuant araçları damıtmayı kuantizasyonla birleştiren üretim odaklı pipeline'lar sunar. LLM alanında Alpaca ve Vicuna, GPT-4 API çıktılarından fine-tuning yapan popüler örneklerdir; bu yaklaşım zaman zaman 'imitation learning' olarak da anılır. Açık akademik implementasyonlar için PKD (Patient Knowledge Distillation) ve CKD (Contrastive Knowledge Distillation) repoları iyi bir başlangıç noktası sunar.