Distilasyon (Model Damıtma (Distilasyon))
Model damıtma (Knowledge Distillation — Bilgi Damıtma), büyük ve pahalı bir öğretmen modelin (teacher model) bilgisini küçük ve verimli bir öğrenci modele (student model) aktarma sürecidir. Öğretmen modelin sert sınıf etiketleri yerine yumuşak olasılık dağılımları — 'yumuşak etiketler' (soft labels) — kullanılarak öğrenci modelin eğitilmesi, öğrencinin yalnızca etiket değil modelin genelleme bilgisini de öğrenmesini sağlar.
Klasik damıtma yöntemi 2015 yılında Hinton ve arkadaşları tarafından 'Distilling the Knowledge in a Neural Network' makalesiyle tanıtılmıştır. Temel fikir şudur: Büyük bir model bir sınıflandırma görevi için olasılık dağılımı ürettiğinde, yanlış sınıflar için de sıfır değil küçük pozitif olasılıklar atar. Bu 'karanlık bilgi' (dark knowledge) öğrenciye aktarıldığında eğitim sinyali zenginleşir.
LLM dünyasında damıtma önemli bir rol üstlenir: GPT-4 veya Claude Opus gibi büyük modellerin ürettiği sentetik veriler ya da yumuşak etiketler kullanılarak çok daha küçük modeller (Phi-4, Gemma 2 vb.) güçlü performanslara ulaşabilmektedir. Bu yaklaşım 'spec distillation' veya 'alignment distillation' olarak da anılır. LoRA ile birleştirilen damıtma teknikleri, tüketici donanımlarında etkili ince ayar yapılmasını kolaylaştırmaktadır.