GPU Yönetimi: Boşta Bekleyen GPU'ların Yeni Yerdeki Uçaklar Gibi Olması

Giriş: GPU'lar ve Uçaklar Arasındaki Benzerlik

Havacılık sektörü, tarih boyunca bir havayolunun hayatta kalıp kalmayacağını belirleyen en önemli sayının, uçakların gün içinde yerde geçirdiği süre olduğunu acı tecrübelerle öğrendi. Bunun nedeni yapısaldır: Bir uçağın maliyetleri takvim saatiyle işler; finansman, amortisman, gövde sigortası, planlı bakım ve mürettebat sözleşmeleri gibi giderler, uçak uçmasa da birikir. Gelir ise yalnızca uçuş saatiyle artar. Yerde geçen her saat, maliyet tarafı aynen devam ederken gelir tarafını küçültür. Kullanım oranı, havayolunun yaptığı neredeyse her şeyin bir sonucudur: dönüş disiplini, ağ tasarımı, bakım planlaması, mürettebat çizelgeleme ve yedek parça bulunabilirliği. Bu faktörlerin hepsi sonuçta tek bir rakama yansır; çünkü altta yatan operasyon bozuksa, başka her şey doğru gitse bile uçaklar yerde kalır. Daha büyük bir filo elbette avantaj sağlar; daha fazla uçak, daha fazla kapasite demektir. Ancak benzer filolara ve rotalara sahip iki havayolu çok farklı ekonomik sonuçlar elde edebilir ve bu farkın çoğu, filo büyüklüğünden çok kullanım oranına bağlıdır.

Kurumsal yapay zeka (kurumsal yapay zeka) da aynı yapıyla, farklı bir donanım üzerinde karşı karşıya. Bir GPU (grafik işlem birimi) da takvim saatiyle maliyet biriktirir; finansman, amortisman, güç ve soğutma gibi giderler, GPU o anda faydalı bir iş yapmasa da devam eder. Gelir ise yalnızca hesaplama saatiyle artar. Daha fazla GPU satın almak, bir havayolunun daha büyük bir filoya sahip olmasına benzer: gerçek kapasite, gerçek bir avantaj, ancak kazananı belirleyen sonucu garanti etmez. Benzer GPU bütçelerine sahip iki şirket, giderek artan bir şekilde, donanımlarının ne kadarının herhangi bir anda faydalı iş yaptığına göre ayrışıyor; sahip oldukları donanım miktarına göre değil. Bu sayı, havayolundaki kullanım oranı gibi, şirketin yaptığı neredeyse tüm altyapı kararlarının bir sonucudur.

Yapay Zekada Yeni Kısıt: Hesaplama Gücü

Zeka, sektörü bugüne kadar taşıdı; ancak sıradaki gerçek kısıt, kullanım oranında şekilleniyor. Kıtlık, yapay zeka ölçeklendikçe kaybolmadı; zincirin yukarısına taşındı ve tamamen farklı bir kaynağa yerleşti. Kurumsal yapay zekanın ilk dalgası, model kalitesiyle kazanıldı. Daha büyük modeller, daha fazla hesaplama gücüyle eğitildi ve daha zorlu kıyaslamalarda değerlendirildi; parametre sayısı ve liderlik tablosundaki konum, tartışmanın merkezindeydi. Bu yarış, gerçekten kurumsal iş yüklerini çalıştırabilecek kadar iyi modeller üretti. Ancak bu yetenek, bir bağımlılıkla birlikte geliyor: Üretim yapay zekası özel donanım üzerinde çalışıyor ve bugün bu donanım neredeyse tamamen GPU'lardan oluşuyor. GPU'lar pahalı, arzı sınırlı ve talebi mevcut arzın çok üzerinde; bu durum pazarın en tepesinde bile geçerli. 2020'de Microsoft, OpenAI için 10.000'den fazla GPU ve 285.000 CPU çekirdeğine sahip özel bir süper bilgisayar kurdu; o zamanlar dünyanın en büyük beş sisteminden biri olarak raporlandı ve GPT-3'ü eğitmek için kullanıldı. O dönemde bu, neredeyse akıl almaz bir donanım yoğunluğu gibi görünüyordu; hesaplama gücünü, erişimi olan herkes için çözülmüş bir problem gibi gösteren bir rakamdı. Altı yıl sonra, bu rakam bir tavan değil, bir başlangıç noktası gibi okunuyor. 2026'ya gelindiğinde, en iyi finanse edilen laboratuvarlar bile hesaplama gücüne erişimi, çözülmüş bir sorun olarak değil, canlı bir stratejik kısıt olarak görüyordu. Anthropic tek başına, Amazon, Google, Microsoft ve AMD olmak üzere dört farklı donanım platformunda eşzamanlı çoklu gigawatt taahhütleri yürütüyordu; Meta ise kendi çoklu gigawatt anlaşmasını imzaladı. Dört satıcıya birden yayılan taahhütler, hesaplama gücü kıtlığının, alıcının etkin bir şekilde sınırsız sermayeye sahip olduğu ancak yine de tek bir kaynaktan yeterli miktarı alamadığı durumdaki görünümüdür. Aradan geçen altı yıl içinde değişen şey, yapay zekanın daha yetenekli hale gelmesinden çok, yetenekliliğin artık bağlayıcı kısıt olmaktan çıkmasıdır.

API Maliyetleri ve Kendi GPU'larına Geçiş

Aynı model, laboratuvarların alt kademelerinde farklı bir biçimde kendini gösteriyor. Bu modelleri API üzerinden tüketen kuruluşlar, donanım sorunundan çok fiyatlandırma sorunuyla karşı karşıya. Maliyet, kullanılan token sayısıyla doğrusal olarak artar ve bu tek gerçek, bir kavram kanıtının (proof of concept) ekonomisini üretim ekonomisinden neredeyse tamamen ayırır. Ayda birkaç bin istek işleyen bir PoC uygun görünür; aynı iş yükü üretim hacminde, hiç kapanmayan bir maliyet kalemine dönüşebilir. Öne çıkan alternatif oldukça basit: kuruluşlar kendi GPU'larını satın alıp modelleri yerel olarak çalıştırarak, değişken ve doğrusal ölçeklenen bir maliyeti sabit bir sermaye maliyetine dönüştürüyor. API maliyeti kullanımla artarken, sahip olunan altyapı sabite yakın kalır. Başabaş noktasını geçtikten sonra denge tersine döner. Bu değişim, GPU'yu bir kalem olmaktan çıkarıp altyapıya dönüştürür; büyümeye göre, talep tepelerine göre boyutlandırılır ve bu nedenle herhangi bir haftanın gerçek ihtiyacının üzerinde kapasiteye sahip olur. Yani satın alma sorunu kapatmaz; yeni bir sorun açar. Küme (cluster) çevrimiçi olduğu gün, soru "hızlandırıcıları alabilir miyiz" olmaktan çıkar ve "onları meşgul tutabilir miyiz" haline gelir; sadece ilk sorunun bir tedarik ekibi vardır. Donanım için imza atmak, son tarihi ve sahibi olan kısımdır. Onu yerde tutmamak, anlaşmanın imzalanmaya değer olup olmadığına sessizce karar veren kısımdır.

GPU Yönetimi: Yeni Disiplin

Bu anlaşmalar kapasite taahhütlerini tanımlar, verimliliği değil. Kapasitenin ne kadar iyi kullanıldığı, farklı insanların sahip olduğu, çok daha az titizlikle ölçülen ve çözülmekten oldukça uzak ayrı bir sorudur. Meşgul GPU'larla dolu bir küme, potansiyelinin çoğunu hâlâ boşa harcıyor olabilir ve neden neredeyse her zaman aynıdır. GPU'lar gece gündüz sürekli çalışırken, onlara yöneltilen talep öyle değildir. Altyapı, eğitim çalıştırmaları, toplu işler ve gerçek zamanlı trafiğin aynı anda çakıştığı tepe noktasına göre boyutlandırılmalıdır; bu da kapasitenin önemli bir kısmının tepe noktası dışında kullanılmadan bekletilmesine yol açar. Daha iyi tahmin, her GPU her tür işi eşit derecede iyi emebilseydi bu sorunu kendi başına çözebilirdi; ancak çok az GPU bunu yapabilir ve bu, sorunun daha zor olan yarısını oluşturur. Uyumsuzluk bir katman daha derinde başlar. Kurumsal yapay zekanın ilk neslinde bir GPU'nun işi büyük ölçüde tekti: çıkarım (inference) yapmak. Bugün aynı donanım; eğitim, ince ayar (fine-tuning), niceleme (quantization), gerçek zamanlı çıkarım, toplu çıkarım, gömme (embedding) üretimi ve model değerlendirmeyi destekliyor; genellikle aynı kuruluş için, bazen aynı model için, aynı küme üzerinde. Bu iş yüklerinin her biri donanımdan farklı şeyler ister ve farklılıklar derindir. Gerçek zamanlı çıkarım, neredeyse her şeyin üzerinde düşük gecikme süresi (düşük gecikme süresi) ister; çünkü yavaş bir yanıt başarısız sayılır. Toplu işler verim (throughput) ile ilgilenir ve bazen saatlerce sürebilen gecikmeyi tolere eder. Eğitim, bir GPU'yu saatler veya günler boyunca sürekli meşgul edebilir. Niceleme, büyük miktarda kapasite gerektirir ancak yalnızca kısa bir süre için. Bu iş yüklerinden birine göre ayarlanmış bir zamanlayıcı (scheduler), diğer üçünü neredeyse varsayılan olarak yanlış tahsis eder. Arıza her zaman kullanım panelinde görünmez; bir küme yüksek ortalama doluluk raporlarken, sıradaki birkaç iş, başka bir şey çalıştırmakla meşgul olan belirli bir GPU şeklini bekliyor olabilir. İş yükü karışımı kuruluşa göre değişir; sorunun şekli değişmez.

Uçak benzetmesinin sınırı da burada ortaya çıkar ve bu sınır, karşılaştırmayı nitelendirmekten çok bir şey öğretir. Boşta bir uçak genellikle filodaki herhangi bir rotaya yeniden atanabilir: Şikago'daki bir 737, Dallas yerine Denver'a uçabilir; çok az kayıpla. Boşta bir GPU ise yalnızca bellek, gecikme ve süre profiline uygun bir iş yükünü emebilir. Bu fark, orkestrasyonu filo çizelgelemeden daha zor hale getirir ve sorunun GPU'ların meşgul olup olmadığından çok, hangi iş yükünün hangi GPU'da, hangi zamanda, hangi öncelikle çalışacağına dönüşmesinin nedenidir. Başka bir raf GPU satın almak kapasite ve maliyet ekler, uyumsuzluğa bir çözüm getirmez; bu yeni kapasite de tıpkı mevcut kapasite gibi yanlış şekilde ve yanlış zamanda boşta kalabilir. GPU yatırım getirisini (ROI) en üst düzeye çıkarmak, tek seferlik bir tedarik kararından daha fazlasını gerektirir; altyapının sürekli, aktif yönetimini, yalnızca tedarik zamanında değil her saat çalışan bir yönetimi gerektirir. Buna yanıt olarak ortaya çıkan şey, GPU Yönetimi adı verilen ayrı bir disiplindir; iş yükleri, modeller ve donanım arasında duran bir orkestrasyon katmanı. Görevi, hangi iş yükünün ne zaman, nasıl ve kümedeki hangi belirli GPU üzerinde çalışacağına sürekli karar vermektir. Bunların hiçbiri kavramsal olarak egzotik değildir; iyi bir operasyon ekibinin içgüdüsel olarak yaptığı şeye daha yakındır, ancak resmileştirilmiş ve birinin bir sorunu fark etmesine bağlı olmak yerine sürekli çalışır.

Uzmanlaşma ve Orkestrasyon: İki Kaldıraç

Zeka, model sınırında durmaz. Orkestrasyon katmanı, modelin görmediği gerçek zamanlı tahsis kararları alır. Zeka eskiden neredeyse tamamen modeldeydi: daha büyük, daha iyi eğitilmiş, daha yetenekli; oyunun çoğu buydu. Şimdi zekanın altyapıda da olması gerekiyor; hangi iş yükünün boşalan GPU'yu alacağına ve kuyruktaki diğer her şeye göre hangi öncelikle alacağına anlık karar veren katmanda. GPU'ları meşgul tutmak tek başına hedef olmaktan çıkıyor; çünkü meşgul olmak, bekleyebilecek düşük öncelikli işler çalıştırılarak kolayca taklit edilebilir. Kurulu her GPU'nun ürettiği getiriyi en üst düzeye çıkarmak asıl hedef haline gelir ve bu, kendisinden önce gelen tedarik sorunundan çok daha sürekli bir sorundur. İyi tedarik, bu sorunu ortadan kaldırmaz; sadece şeklini değiştirir. Tedarik kararı satın alma anında bir kez verilir. Tahsis kararı ise sürekli verilir: her iş bittiğinde, her yeni istek geldiğinde, müşteriye dönük bir hizmet ile dahili bir eğitim çalıştırması arasındaki öncelik değiştiğinde. Bu sıklık, kararın bir kişinin vaka bazında ele almasından, otomatik olarak çalışması gereken bir şeye taşındığını açıklar. Hiçbir mühendis sabahın üçünde, biten bir eğitim çalıştırmasının GPU'sunu sıradaki toplu işe mi yoksa gelen müşteri trafiği için mi tutacağına karar vermek için bir panel izlemez. Başka bir şey bu kararı sürekli vermeli ve kimsenin kontrol etmesine gerek kalmayacak kadar sık doğru vermelidir.

Uzmanlaşma ve orkestrasyon, aynı sorunun farklı yarılarını çözer. Uzmanlaşmış, daha küçük modeller, belirli görevleri, büyük bir genelci modelin aynı iş için ihtiyaç duyacağı kaynak maliyetinin çok daha azıyla, görevin gerektirdiği kaliteden ödün vermeden gerçekleştirebilir. Bunun kullanım oranı üzerinde doğrudan bir etkisi vardır. Bir zamanlar tek bir büyük modelin küme kapasitesinin büyük bir kısmını işin tamamı boyunca işgal etmesini gerektiren iş yükleri, artık bu ayak izinin çok daha küçük bir bölümünü kaplayan daha küçük, göreve özel modellerle çalıştırılabilir. Önceden tamamen ayrılmış olan kapasite aniden boşalır. Uzmanlaşmanın ne kadar kapasite boşalttığı iş yüküne ve modele göre değişir; ancak boşalan kapasitenin yine de bir yere gitmesi gerekir, yoksa orada öylece durur. Daha küçük bir uzmanlaşmış model, ancak bir şey boşalttığı alanla ne yapılacağına aktif olarak karar veriyorsa GPU ROI'sine dönüşür; onu başka bir iş yüküne, başka bir modele, arkasında bekleyen başka bir kuyruğa yeniden tahsis eder. Yönetilmezse, boşalan kapasite bir kazanım olmaktan çıkar, farklı bir boşta kalma türü haline gelir; açıkça kullanılmayan bir GPU'dan farklı bir şekilde görünmez, ancak daha üretken değildir. Uzmanlaşma olmadan orkestrasyon, geri kazanılmaya değer daha az kapasiteye sahiptir. Her iki kaldıraç da tek başına işi tamamlamaz; her biri diğerinin ulaşabileceği tavanı yükseltir. Kurulu kapasite ile faydalı çıktı arasındaki boşluğu kapatmak, israfın nerede durduğunu değiştirmekten ziyade gerçekten kapatmak istiyorsanız, ikisi de zorunludur.

Neden Önemli?

Model mimarisi ve GPU yönetimi, aynı soruna iki farklı yönden yaklaşmanın iki yoludur ve sonunda birbirlerine dayanırlar. Biri her iş yükünün ihtiyacını küçültür; diğeri farkın nereye gideceğine sürekli karar verir. Daha büyük bir filo her zaman gerçek bir avantaj olmuştur ve buradaki hiçbir şey bunun aksini iddia etmez. Benzer filolara sahip havayolları arasında, bazen daha küçük bir filoyla daha büyük bir rakibe karşı kazanan, genellikle sahip olduğunu daha eksiksiz uçuran taraftı; havayolunun iyi yaptığı her şeyin ağırlığını taşıyan. Kurumsal yapay zeka da aynı disipline farklı bir yönden ulaşıyor. GPU'lar zaten kurulu, zaten amortismana tabi, zaten taahhüt edilmiş durumda. Uzmanlaşmış modeller ve GPU yönetimi paralel çözümlerdir. Uzmanlaşma, her iş yükünün ihtiyacını küçültür. Yönetim, altyapının getirisini en üst düzeye çıkarır. İkisinde de ustalaşan kuruluşlar, önümüzdeki on yıl boyunca yapay zeka rekabetinin temposunu belirleyecek. Türkiye'deki kuruluşlar için bu, yalnızca GPU satın almanın yeterli olmadığı anlamına geliyor; bu kaynakları verimli kullanacak bir strateji ve araç seti geliştirmek, küresel rekabette ayakta kalmanın anahtarı olacak. Yerel şirketler, uzmanlaşmış modelleri ve GPU yönetimini benimseyerek, sınırlı kaynaklarla bile küresel oyuncularla rekabet edebilir. Bu, yapay zeka yatırımlarından maksimum değer elde etmek isteyen her Türk şirketi için stratejik bir öncelik haline gelmelidir.