PrismML'den devrim niteliğinde küçük dil modeli: Bonsai 2 27B

PrismML ve Bonsai 2 27B

Yapay zeka dünyasında büyük dil modelleri (LLM) genellikle devasa boyutlarıyla gündeme gelir. Ancak Kaliforniya Teknoloji Enstitüsü (Caltech) kökenli bir girişim olan PrismML, tam tersi bir yaklaşımla dikkat çekiyor. Şirket, yüksek performanslı akıl yürütme modellerinin illa büyük olması gerekmediğini savunuyor ve modelleri PC'lere, hatta akıllı telefonlara sığacak kadar küçültüyor.

PrismML'in son hamlesi, Bonsai 2 27B adlı model oldu. Bu model, Alibaba'nın yaygın kullanılan açık kaynak modeli Qwen3.8 27B'yi 5.9 GB'a sıkıştırıyor. Bu boyut, bir PC'ye ve muhtemelen üst düzey bir akıllı telefona sığacak kadar küçük. Orijinal modele kıyasla bellek kullanımında 9-10 kat azalma anlamına geliyor. Örneğin, orijinal Qwen3.8 27B modeli tipik olarak 50-60 GB civarında yer kaplarken, Bonsai 2 bunu 5.9 GB'a indiriyor. Bu, bir dizüstü bilgisayarın veya yüksek donanımlı bir telefonun RAM'inde rahatça çalışabilecek bir boyut.

Sıkıştırma teknolojisinin detayları

PrismML'in başarısının arkasında, model ağırlıklarını (weights) sıkıştıran özgün bir teknik yatıyor. Normalde her ağırlık 16 bit ile temsil edilirken, PrismML "üçlü" (ternary) ağırlıklar kullanarak bunu üç değere indiriyor: +1, -1 veya 0. Bu sayede her ağırlık için saklanan veri miktarı dramatik şekilde azalıyor ve model çok daha az yer kaplıyor. Teknik, ağırlıkların sürekli değerler yerine üç ayrık değerle ifade edilmesiyle çalışıyor; bu da depolama ve hesaplama yükünü ciddi ölçüde düşürüyor.

Şirketin iddiasına göre bu sıkıştırma, modelin performansında neredeyse hiç kayıp yaşatmıyor. Bonsai 2, Qwen'in toplam benchmark skorlarının %98'ini yakalıyor. Mart ayında yayınlanan ilk Bonsai sürümü %95 başarı gösterirken, yeni sürümle bu oran %98'e yükselmiş durumda. İlk model 11 milyondan fazla indirilmiş, daha küçük modeller ise toplamda 2.6 milyon indirme almış. Bu rakamlar, topluluğun bu tür sıkıştırılmış modellere yoğun ilgi gösterdiğini kanıtlıyor.

Ekip, yatırımcılar ve rekabet

PrismML, Caltech'ten bir grup araştırmacı tarafından kuruldu ve sıkıştırma teknolojileri konusunda uzman bir profesör olan Babak Hassibi tarafından yönetiliyor. Şirketin danışmanları arasında Databricks'in kurucu ortaklarından ve Berkeley'in ünlü Sky Computing Lab'in direktörü Ion Stoica da bulunuyor. Girişim, Khosla Ventures, Cerberus Capital ve Caltech'in desteğini almış durumda. Henüz sadece 22.25 milyon dolarlık bir tohum yatırımı toplamış olsa da, arkasındaki teknik kadro ve geliştirdiği teknoloji potansiyel olarak oyun değiştirici görünüyor.

Ancak PrismML, LLM sıkıştırma alanında tek oyuncu değil. İspanya'daki Donostia International Physics Center'dan tanınmış bir profesörün kurduğu Multiverse Computing de benzer bir alanda çalışıyor ve önemli miktarda yatırım toplamış durumda. Yine de Hassibi, PrismML'in teknolojisinin benzersiz olduğunu çünkü modellerinin orijinaline kıyasla neredeyse hiç performans kaybetmediğini vurguluyor. Bonsai 2'nin %98'lik benchmark eşleşmesi, bu iddiayı destekler nitelikte.

Gelecek planları ve teknik zorluklar

PrismML'in bir sonraki hedefi, bu sıkıştırma tekniğini çok daha büyük modellere uygulamak. Hassibi, önümüzdeki birkaç ay içinde yüz milyarlarca parametreye sahip modelleri yayınlamayı planladıklarını ve bu modellerde zekayı korumanın daha kolay olacağını belirtiyor. Model boyutu büyüdükçe, sıkıştırma sırasında performans kaybı yaşanmadan daha yüksek sıkıştırma oranlarına ulaşmak mümkün olabiliyor. Hassibi'ye göre, "Daha büyük modellerde %100'e ulaşmak daha kolay." Bu, ölçek büyüdükçe gereksiz parametrelerin ayıklanmasının daha az zarar verdiği anlamına geliyor.

Elbette sıkıştırmanın her zaman bir miktar etkisi olacak. Hassibi, mükemmel benchmark eşitliğinin zaten oldukça akademik bir hedef olduğunu, çünkü LLM'lerin sıkıştırılmamış hallerinin bile mükemmel olmadığını ve benchmark'ların gerçek görevleri tam yansıtmadığını söylüyor. %2'lik bir düşüşün pratikte anlamlı bir fark yaratması beklenmiyor. Ayrıca modelin içinde çalıştığı yazılım katmanı (harness) da doğruluk üzerinde büyük rol oynuyor.

Neden Önemli?

PrismML'in geliştirdiği sıkıştırma teknolojisi, yapay zeka erişimini demokratikleştirme potansiyeli taşıyor. Büyük dil modellerini yerel cihazlarda çalıştırmak, bulut bağımlılığını azaltırken gizliliği artırıyor ve maliyetleri düşürüyor. Ion Stoica'nın dediği gibi, "Parmağınızın ucunda, ücretsiz ve özel" bir yapay zeka mümkün hale geliyor; çünkü model buluta gönderilmeden, halihazırda sahip olduğunuz cihazda çalışıyor.

Türkiye'de de yapay zeka uygulamaları geliştiren girişimler ve araştırmacılar için bu tür teknolojiler, sınırlı donanımla güçlü modelleri kullanma imkanı sunabilir. Özellikle yerli ve milli dil modellerinin geliştirilmesinde sıkıştırma teknikleri kritik bir rol oynayabilir; böylece modeller daha geniş kitlelere ulaşabilir ve yerel cihazlarda çalıştırılabilir. Ayrıca, veri gizliliği konusunda hassas olan sağlık, finans ve savunma gibi sektörlerde, buluta veri göndermeden yapay zeka kullanmak büyük avantaj sağlayacaktır. PrismML'in başarısı, yapay zekanın geleceğinin sadece devasa sunucularda değil, herkesin cebinde olabileceğini gösteriyor.