SkyPilot ile Hugging Face'te Sıfır Egress: Herhangi Bir Bulutta Yapay Zeka İş Yükü Çalıştırın

Hugging Face ve SkyPilot Entegrasyonu

Hugging Face ve SkyPilot, yapay zeka (YZ) iş yüklerini yönetmek için devrim niteliğinde bir entegrasyon duyurdu. Bu iş birliği sayesinde, modellerinizi ve veri kümelerinizi Hugging Face Hub'da tutarken, SkyPilot ile herhangi bir bulut sağlayıcısındaki GPU'ları kullanarak geliştirme, eğitim veya sunum yapabilirsiniz. Tek yapmanız gereken, bir `hf://` URL'si ve mevcut `HF_TOKEN`'ınızı kullanarak bir Hugging Face Bucket'ı veya Hub deposunu SkyPilot işine bağlamak. Ardından, iş yükünüzü kapasitenin olduğu her yerde başlatabilirsiniz. Hugging Face, veri çıkış (egress) ücreti almadığı için, verilerinizi GPU'lara okumak hiçbir maliyet oluşturmaz. Bu, özellikle büyük modellerin (örneğin 70 milyar parametreli modeller) sık sık yüklendiği senaryolarda ciddi tasarruf sağlar.

Nasıl Çalışır?

SkyPilot, 20'den fazla bulut, Kubernetes, Slurm ve şirket içi (on-prem) sistemlerde iş yüklerini planlayabilir. Yeni `store: hf` seçeneği ile Hugging Face Storage, SkyPilot'un desteklediği diğer nesne depolama (object store) çözümlerine (S3, GCS, Azure Blob, R2) eklenmiştir. İşte temel özellikler:

• Hub Verilerinizi Herhangi Bir İşte Kullanın: `store: hf` ile bir Hugging Face Bucket'ı (okuma-yazma) veya herhangi bir model/veri kümesi/Space deposunu (salt okunur) SkyPilot görevine bağlayabilirsiniz. `hf://` şeması, `MOUNT` veya `COPY` modunda çalışır. `MOUNT` modu, FUSE dosya sistemi aracılığıyla tembel okuma (lazy read) yaparak yalnızca ihtiyaç duyulan baytları ağ üzerinden çeker ve diskte önbelleğe alır. `COPY` modu ise `huggingface_hub` kütüphanesi ile dosyayı tamamen indirir.
• Herhangi Bir GPU'da, Herhangi Bir Bulutta Çalıştırın: SkyPilot, aynı iş yükünü ayırdığınız veya talep üzerine kullanılabilir GPU'ların olduğu herhangi bir satıcıda çalıştırır. Bu, özellikle H100 ve H200 gibi yüksek talep gören GPU'lara erişimi olan ekipler için büyük esneklik sağlar.
• Veri Çıkış Ücreti Yok: Hugging Face Storage, veri çıkış veya CDN ücreti almaz. Bu sayede, SkyPilot işi nereye yerleştirirse yerleştirsin, modellerinizi ve veri kümelerinizi aynı bucket'tan okuyabilirsiniz. Karşılaştırma yapmak gerekirse, AWS S3'ten veri çıkışı GB başına yaklaşık 0.09 dolar iken, Hugging Face'te bu ücret sıfırdır. Ayrıca Hugging Face Storage fiyatlandırması TB başına aylık 12-18 dolar arasında değişirken, AWS S3 yaklaşık 23 dolar civarındadır.
• Xet Tabanlı Yinelenen Veri Kaldırma (Dedup): Bucket'lar Xet üzerine inşa edilmiştir. Bu sayede, artımlı kontrol noktaları (incremental checkpoints) ve model varyantları yalnızca değişen parçaları depolar ve aktarır. Örneğin, 10 bin satır eklenen 100 bin satırlık bir tabloda yalnızca yaklaşık 10 MB veri aktarılırken, tamamı 106 MB olurdu. Bu özellik, özellikle sık sık kontrol noktası alan veya aynı temel modelin farklı ince ayarlarını yapan ekipler için depolama ve bant genişliği maliyetlerini önemli ölçüde azaltır.

Kullanım Örneği: İnce Ayar (Fine-Tuning)

SkyPilot ekibi, Qwen/Qwen3.5-4B modelini HuggingFaceH4/Multilingual-Thinking veri kümesi üzerinde ince ayar yapmak için bir örnek çalıştırdı. Aynı SkyPilot YAML dosyası AWS, GCP ve Lambda'da çalıştırıldı. Sonuçlar:

• Model yükleme her bulutta ücretsizdi: Tembel okuma (lazy read) sayesinde model yaklaşık 30 saniyede yüklendi ve hiçbir veri çıkış ücreti oluşmadı. Okuma hızı 500 MB/s'ye kadar ulaştı.
• Kontrol noktaları bucket'a 170 MB/s hızla yazıldı ve GPU örneği sona erdikten sonra da saklandı. Her bir kontrol noktası 8.43 GB ağırlığındaydı.
• Yeniden yükleme hızı arttı: Xet sayesinde, daha önce yüklenmiş 8.43 GB'lık bir blob'un yeniden yüklenmesi 8 saniye sürerken, ilk yükleme 24 saniye sürmüştü. Bu, yalnızca değişen parçaların (chunk) aktarılması sayesinde mümkün oldu.

Neden Önemli?

Bu entegrasyon, özellikle Türkiye'deki ve dünyadaki YZ ekipleri için önemli bir maliyet avantajı sunuyor. Bulut sağlayıcıları arasında veri taşıma maliyetleri (egress ücretleri) genellikle yüksektir ve ekipler, verilerini tek bir bulutta tutarak esnekliklerini kaybederler. Hugging Face Storage'ın sıfır egress politikası sayesinde, ekipler artık verilerini merkezi bir yerde tutabilir ve GPU kapasitesini en uygun fiyatlı veya kullanılabilir bulutta kullanabilir. Bu, özellikle birden fazla bulut sağlayıcısında rezerve kapasitesi olan veya hibrit altyapı kullanan şirketler için büyük bir kolaylık. Ayrıca, Xet tabanlı yinelenen veri kaldırma, depolama maliyetlerini ve ağ bant genişliği kullanımını azaltarak daha verimli bir iş akışı sağlıyor. Türk YZ topluluğu, bu entegrasyonu kullanarak hem maliyetleri düşürebilir hem de daha esnek bir altyapıya kavuşabilir. Örneğin, bir Türk girişimi, modelini Hugging Face'te tutup SkyPilot ile Türkiye'deki veya yurtdışındaki farklı bulut sağlayıcılarındaki GPU'ları kullanarak eğitebilir ve veri çıkış ücreti ödemeden çalışmalarını sürdürebilir. Bu, kaynakların daha verimli kullanılmasını ve YZ projelerinin hızlanmasını sağlayacaktır.