tag SFT

Bu sayfada SFT etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

SFT (Supervised Fine-Tuning — Denetimli İnce Ayar), önceden eğitilmiş (pretrained) bir dil modelinin, yüksek kaliteli (istek, yanıt) çiftlerinden oluşan bir veri kümesiyle talimat izleme yeteneği kazandırmak amacıyla ek eğitime tabi tutulması sürecidir. RLHF boru hattının ilk hizalama adımını oluşturur ve GPT-4, Claude, Llama-2-Chat gibi modellerin temelinde yer alır. Ön eğitim (pretraining) sırasında model yalnızca sonraki kelimeyi tahmin etmeyi öğrenir; bu model herhangi bir talimatı takip edemez. SFT aşamasında model, 'Bu metni özetle → Metin: ... → Özet: ...' biçimindeki çiftlerle eğitilir. Standart dil modellemesi kaybı (cross-entropy) kullanılır; ancak yalnızca yanıt tokenleri için kayıp hesaplanır — istek tokenleri maskelenir. Bu maskeleme ile model yanıt üretmeyi öğrenir, isteği yinelemez. SFT veri kümesinin kalitesi, miktarından çok daha kritiktir. InstructGPT'de OpenAI, yalnızca birkaç on bin örneğin yeterli olduğunu göstermiştir. Alpaca projesinde 52.000 GPT-4 üretimi sentetik örnek kullanılmış; bu, insan yazımı veriyle kıyaslanabilir sonuçlar vermiştir. Modern yaklaşımlar büyük LLM'lerle sentetik veri üretimini ve filtrelemesini içerir. SFT araçları açısından Axolotl ve Unsloth, LoRA/QLoRA ile tüketici GPU'larında verimli fine-tuning yapılmasına imkân tanır; Hugging Face TRL kütüphanesi SFTTrainer sınıfı aracılığıyla süreci standartlaştırır. Tek bir RTX 4090 üzerinde 7B modelin LoRA ile SFT eğitimi saatler içinde tamamlanabilir. SFT, DPO veya RLHF öncesinde zorunlu temel adımdır; bazı durumlarda SFT tek başına yeterince iyi chat modelleri üretmektedir. Llama ve Mistral tabanlı topluluk modellerinin büyük çoğunluğu yalnızca SFT ile oluşturulmaktadır. Chat GPT'nin ilk sürümleri dahil birçok öncü model, SFT'nin şaşırtıcı derecede güçlü bir hizalama tekniği olduğunu kanıtlamıştır. Verinin çeşitliliği — kodlama, çeviri, özetleme, soru-cevap, çok adımlı akıl yürütme — modelin genel talimat izleme kapasitesini genişletir. Tek alan veriyle SFT, modelin diğer alanlardaki performansını düşürebilir (catastrophic forgetting); bu nedenle genel amaçlı fine-tuning'de veri çeşitliliği vazgeçilmezdir.

school

SFT (Supervised Fine-Tuning (Denetimli İnce Ayar))

SFT (Supervised Fine-Tuning — Denetimli İnce Ayar), önceden eğitilmiş (pretrained) bir dil modelinin, yüksek kaliteli (istek, yanıt) çiftlerinden oluşan bir veri kümesiyle talimat izleme yeteneği kazandırmak amacıyla ek eğitime tabi tutulması sürecidir. RLHF boru hattının ilk hizalama adımını oluşturur ve GPT-4, Claude, Llama-2-Chat gibi modellerin temelinde yer alır. Ön eğitim (pretraining) sırasında model yalnızca sonraki kelimeyi tahmin etmeyi öğrenir; bu model herhangi bir talimatı takip edemez. SFT aşamasında model, 'Bu metni özetle → Metin: ... → Özet: ...' biçimindeki çiftlerle eğitilir. Standart dil modellemesi kaybı (cross-entropy) kullanılır; ancak yalnızca yanıt tokenleri için kayıp hesaplanır — istek tokenleri maskelenir. Bu maskeleme ile model yanıt üretmeyi öğrenir, isteği yinelemez. SFT veri kümesinin kalitesi, miktarından çok daha kritiktir. InstructGPT'de OpenAI, yalnızca birkaç on bin örneğin yeterli olduğunu göstermiştir. Alpaca projesinde 52.000 GPT-4 üretimi sentetik örnek kullanılmış; bu, insan yazımı veriyle kıyaslanabilir sonuçlar vermiştir. Modern yaklaşımlar büyük LLM'lerle sentetik veri üretimini ve filtrelemesini içerir. SFT araçları açısından Axolotl ve Unsloth, LoRA/QLoRA ile tüketici GPU'larında verimli fine-tuning yapılmasına imkân tanır; Hugging Face TRL kütüphanesi SFTTrainer sınıfı aracılığıyla süreci standartlaştırır. Tek bir RTX 4090 üzerinde 7B modelin LoRA ile SFT eğitimi saatler içinde tamamlanabilir. SFT, DPO veya RLHF öncesinde zorunlu temel adımdır; bazı durumlarda SFT tek başına yeterince iyi chat modelleri üretmektedir. Llama ve Mistral tabanlı topluluk modellerinin büyük çoğunluğu yalnızca SFT ile oluşturulmaktadır. Chat GPT'nin ilk sürümleri dahil birçok öncü model, SFT'nin şaşırtıcı derecede güçlü bir hizalama tekniği olduğunu kanıtlamıştır. Verinin çeşitliliği — kodlama, çeviri, özetleme, soru-cevap, çok adımlı akıl yürütme — modelin genel talimat izleme kapasitesini genişletir. Tek alan veriyle SFT, modelin diğer alanlardaki performansını düşürebilir (catastrophic forgetting); bu nedenle genel amaçlı fine-tuning'de veri çeşitliliği vazgeçilmezdir.

arrow_forward