SFT (Supervised Fine-Tuning (Denetimli İnce Ayar))
SFT (Supervised Fine-Tuning — Denetimli İnce Ayar), önceden eğitilmiş (pretrained) bir dil modelinin, (istek, yanıt) çiftlerinden oluşan yüksek kaliteli bir veri kümesiyle talimat izleme yeteneği kazandırmak amacıyla ek eğitime tabi tutulması sürecidir. RLHF boru hattının ilk hizalama adımını oluşturur.
Ön eğitim (pretraining) sırasında model yalnızca sonraki kelimeyi tahmin etmeyi öğrenir; bu model herhangi bir talimatı takip edemez. SFT aşamasında model, "Bu metni özetle → Metin: ... → Özet: ..." biçimindeki çiftlerle eğitilir. Standart dil modellemesi kaybı (cross-entropy) kullanılır; ancak yalnızca yanıt tokenleri için kayıp hesaplanır (istek tokenleri maskelenir).
SFT veri kümesinin kalitesi son derece önemlidir: InstructGPT'de OpenAI, yalnızca birkaç on bin örneğin yeterli olduğunu göstermiştir. Alpaca gibi projelerde 52.000 GPT-4 üretimi örnek kullanılmıştır; bu, insan yazımı veriyle kıyaslanabilir sonuçlar vermiştir. Modern yaklaşımlar büyük LLM'lerle sentetik veri üretimini içerir.
SFT tek başına da güçlü bir hizalama tekniğidir; bazı durumlarda RLHF'ye gerek kalmadan yeterince iyi modeller üretilmektedir. Llama ve Mistral tabanlı açık kaynak modellerin büyük çoğunluğu SFT ile oluşturulmaktadır.