Phi-4, Microsoft Research tarafından Aralık 2024'te yayımlanan ve küçük model mimarisindeki verimliliği zirveye taşıyan 14 milyar parametreli bir dil modelidir.
Phi-4, Microsoft Research tarafından Aralık 2024'te yayımlanan ve küçük model mimarisindeki verimliliği zirveye taşıyan 14 milyar parametreli bir dil modelidir. Phi serisinin önceki üyelerine (Phi-1, Phi-2, Phi-3) kıyasla daha geniş ve daha kaliteli eğitim verisi kullanan Phi-4; matematik, mantık ve bilim kıyaslamalarında çok daha büyük modellere üstün performans sergilemiştir.
Phi-4'ün en önemli özelliği 'veri kalitesi > veri miktarı' felsefesini somutlaştırmasıdır: model ham internet verisinin yanı sıra sentetik olarak üretilmiş yüksek kaliteli matematik ve akıl yürütme örnekleriyle eğitilmiştir. Bu yaklaşım, 14B parametrenin çok üzerindeki yeteneklere ulaşmayı mümkün kılmıştır. GPQA Diamond (doktora düzeyinde bilim), AMC ve MATH kıyaslamalarında Phi-4, 70B ölçekli birçok modeli geride bırakmıştır.
Phi-4, Apache 2.0 lisansıyla HuggingFace'de yayımlanmıştır; tüketici GPU'larında kolayca çalışır ve ince ayar yapılabilir. Özellikle eğitim, kodlama yardımcısı ve araştırma uygulamaları için maliyet-performans dengesi açısından dikkat çekicidir. Microsoft'un Phi serisi, 'small but mighty' (küçük ama güçlü) SLM (Small Language Model) kategorisinin en güçlü temsilcilerinden biri hâline gelmiştir.
school Phi-4 Eğitim Felsefesi
Phi-4 eğitiminde ham internet verisi yerine sentetik veri ön planda tutulmuştur. Çeşitli kaynaklardan türetilmiş yüksek kaliteli matematik problemleri, akıl yürütme örnekleri ve kod veri setleri; modelin parametre sayısıyla orantısız güç kazanmasını sağlamıştır. Veri kalitesinin veri miktarından önemli olduğu hipotezi, LIMA ile başlayan trend'in devamıdır.
Kıyaslama Sonuçları
science GPQA Diamond
Doktora düzeyinde bilim soruları. Phi-4 14B, çoğu 70B modeli geride bırakmaktadır.
calculate MATH / AMC
Rekabetçi matematik kıyaslamaları. Küçük model için olağanüstü performans.
code HumanEval
Kod üretimi. Phi-4, 14B sınıfında en güçlü modellerden biri olarak konumlanır.
quiz Sık Sorulan Sorular
- check_circle Gemma 3 27B ile kıyaslaması?: Phi-4 matematik ve akıl yürütmede öne çıkar. Gemma 3 27B çok modlu destek ve uzun bağlamda avantajlıdır.
- check_circle Nasıl çalıştırılır?: `ollama pull phi4` veya HuggingFace'den doğrudan indirilebilir. RTX 3090/4090 ile rahatça çalışır.
- check_circle İnce ayar yapılabilir mi?: Apache 2.0 lisansı tam ticari ve araştırma kullanımına izin verir. Unsloth veya TRL ile QLoRA fine-tuning mümkündür.