Transformer Sonrası: Yeni Girişimler LLM'lerin Geleceğini Nasıl Şekillendiriyor?

Transformer'ların Yükselişi ve Sınırları

2017 yazında Google araştırmacıları, "Attention Is All You Need" başlıklı bir makale yayımlayarak transformer adı verilen yeni bir sinir ağı türünü tanıttı. Bu mimari, özellikle metin gibi uzun veri dizilerini işlemede oldukça başarılı oldu. Dokuz yıl sonra transformerlar, piyasadaki her büyük dil modelinin (LLM) kalbinde yer alıyor. Yapay zeka girişimi Subquadratic'in CEO'su Justin Dangel, "Tüm yapay zeka endüstrisi transformerlar üzerine inşa edildi" diyor ve ekliyor: "Bunlar bilgisayar bilimi tarihindeki en önemli yeniliklerden biri ve dünyayı değiştirdiler."

Ancak transformerlar yaşlanmaya başladı. Son dönemdeki birçok ilerleme, örneğin akıl yürüten modeller ve büyük miktarda girdiyi aynı anda işleme yeteneği, bu temel teknolojinin doğal uzantıları değil; aksine temel kusurlarını yamamaya çalışan geçici çözümler. Giderek artan sayıda bilim insanı ve mühendis, sırada ne olduğunu sorguluyor. LLM'ler ortadan kalkmayacak, ancak nasıl inşa edildikleri tartışmaya açık. Bu belirsizlik, bir dizi yeni girişimin bu teknolojinin sınırlarını zorlamasına zemin hazırlıyor. Bazıları başarısız olacak, ancak önlerinde büyük bir fırsat var ve kaybedecekleri, bugünün önde gelen şirketlerine kıyasla çok daha az.

Dikkat Mekanizmasını Yeniden Düşünmek

Transformerların temel gücü, yoğun dikkat (dense attention) adı verilen bir mekanizmada yatıyor. Bu mekanizma, bir metin bloğunun anlamını bir dizi sayıya kodluyor. Süreç, metindeki her kelimenin (veya kelime parçasının, token olarak da bilinir) diğer her kelimeyle bir tür çarpma işlemiyle karşılaştırılmasını içeriyor. Yoğun dikkat, metnin anlamını dikkate değer bir doğrulukla yakalayabiliyor. Ancak metin uzunluğu arttıkça, işlemek için gereken hesaplama sayısı hızla artıyor. 10.000 kelimelik bir belge, bir transformerın 50 milyon çarpma işlemi yapmasını gerektirebilir. Bu, LLM'lerin bu kadar çok enerji tüketmesinin ana nedeni. Maliyetler devasa boyutlarda; OpenAI'ın bu yıl bilgi işlem için 50 milyar dolar harcaması bekleniyor ve Uluslararası Enerji Ajansı, veri merkezlerinin elektrik tüketiminin 2030'a kadar ikiye katlanacağını öngörüyor.

Bu sorunu çözmek için bazı girişimler doğrudan dikkat mekanizmasını değiştirmeye odaklanıyor. Miami merkezli Subquadratic, seyrek dikkat (sparse attention) adı verilen bir mekanizma geliştirdiğini ve bunun ana akım LLM'lerle rekabet edebildiğini iddia ediyor. Seyrek dikkat, metindeki tüm kelime çiftleri yerine yalnızca bazılarında hesaplama yaparak işlem yükünü azaltıyor. Şirket, SubQ adlı modelinin arama ve kodlama dahil birçok görevde üstün performans gösterdiğini öne sürüyor. San Francisco merkezli Manifest AI ise farklı bir açıdan yaklaşıyor: dikkat mekanizmasını tamamen başka bir şeyle değiştiriyor. Geliştirdikleri güç tutma (power retention) mekanizması, yalnızca görev için en alakalı bilgileri saklıyor ve modelin takip etmesi gereken veri miktarının patlamasını önlüyor. Bu yöntem, modele bağlam penceresinin sürekli güncellenen bir özetini sağlıyor; yeni bilgi eklendikçe daha az alakalı olanlar atılıyor. Manifest AI, bu teknolojiyi kullanarak PowerCoder adlı bir model geliştirdi ve Alibaba'nın popüler açık kaynak modeli Qwen'in bazı sürümleriyle rekabet edebileceğini iddia ettiği Brumby adlı bir model yayınladı.

Modelleri Küçültmek ve Esnekleştirmek

MIT kökenli Liquid AI, transformerları tamamen terk etmiyor, ancak kendi teknolojisi olan sıvı sinir ağlarıyla (liquid neural networks) birleştiriyor. Bu sayede çok daha küçük ve enerji tasarruflu modeller elde ediyor. Şirketin CEO'su Ramin Hasani, bu modellere sıvı temel modeller (LFM) adını veriyor. Liquid AI'nin modelleri, otomobil üreticileri için araç içi çiplerde çalışacak kadar küçük; hatta 50 dolarlık bir Raspberry Pi'da bile çalışabiliyor. Sıvı sinir ağları, solucan beyinlerinden ilham alıyor ve modelin yeni bilgilere uyum sağlamasına, yani öğrenmeye devam etmesine olanak tanıyor. Transformerlarda ise model eğitildikten sonra davranışı sabit kalıyor. Liquid AI'nin yeni modelleri, kendilerinden dört kat büyük rakiplerle (Alibaba'nın Qwen ve Google'ın Gemma'sı dahil) rekabet edebiliyor. Şirket, modellerini tasarlamak için başka bir yapay zeka sistemi kullanıyor; bu sistem, farklı sinir ağı türlerini (sıvı, evrişimli, transformer) birleştirerek en iyi performans-verimlilik dengesini buluyor. Hasani'ye göre transformerlar sadece bir başlangıç: "Beyniniz 20 watt güçle çalışan bir AGI sistemi. Bu nasıl mümkün? Çok daha yenilikçi olabiliriz."

Metni Tek Seferde Üretmek

Neredeyse tüm LLM'ler çıktılarını her seferinde bir kelime üretir. Bu, insanların konuşma ve yazma biçimine uygun olduğu için mantıklı, ancak bilgisayarlar için oldukça verimsiz. Metni tek seferde, yani tüm cümleleri veya paragrafları birden üretmek çok daha hızlı ve ucuz. Palo Alto merkezli Inception, bu yaklaşımı benimsiyor ve difüzyon (diffusion) adı verilen bir teknik kullanıyor. Difüzyon, görüntü ve video üretim modellerinde bilinen bir teknoloji; rastgele piksel karelerini yüksek çözünürlüklü bir görüntüye dönüştürme prensibine dayanıyor. Inception, bu tekniği metne uyarlayarak rastgele kelime dizilerini anlamlı cümlelere dönüştüren modeller eğitti. Difüzyon tabanlı LLM'ler hala transformerları kullanıyor, ancak metni bloklar halinde üreterek transformerların daha az hesaplamayla daha fazla iş yapmasını sağlıyor. Inception'ın kurucu ortağı ve CEO'su Stefano Ermon, "Hala büyük bir transformer modeli kullanıyorsunuz, ancak aynı anda birçok token tahmin edebiliyorsunuz. Bu yüzden bu modeller çok daha hızlı ve maliyet açısından verimli" diyor. Şirket, Mercury 2 adlı modelinin OpenAI'ın GPT-4 modelleriyle rekabet edebildiğini, ancak 10 kat daha hızlı olduğunu iddia ediyor. Google da bu yaklaşımı deniyor ve Diffusion Gemma adlı bir prototip geliştirdi.

Dilin Ötesine Geçmek

Palo Alto merkezli Pathway, bu yeni girişimler arasında belki de en radikal olanı. Şirket, LLM'leri dilin kısıtlamalarından kurtarmayı hedefliyor. Dragon Hatchling adlı modelleri, 250.000'den fazla zor sudoku bulmacasını içeren bir testte %97'den fazla başarı gösterdi; önde gelen laboratuvarların birçok LLM'si ise hiçbirini çözemedi. Pathway'in kurucu ortağı ve CEO'su Zuzanna Stamirowska, transformerların LLM'leri her şeyi metinle yapmaya zorladığını, ancak dilin bazı akıl yürütme türleri için en iyi araç olmadığını savunuyor. "Bir sudoku tahtasını kelime kelime temsil etmek çok zor" diyor. Pathway'in çözümü, transformerın arkasındaki matematiği değiştirmek: dikkat mekanizmasını durum uzayı (state space) adı verilen matematiksel bir yapıyla değiştirmek. Bu teknik, bilgiyi kelime kelime kodlamak yerine daha soyut bir temsile sıkıştırıyor. Dragon Hatchling hala metin işleyip üretebiliyor, ancak kelime dizileri içermeyen akıl yürütme biçimlerini de taklit edebiliyor. Bu, modeli daha verimli kılmakla kalmıyor, aynı zamanda diğer LLM'lerin yapamayacağı görevleri üstlenmesine olanak tanıyor. Stamirowska, "Umarız yapay zeka sudoku çözmek için değil, kanseri tedavi etmek için kullanılır. Bunun için bir kitap yok" diyor.

Neden Önemli?

Bu girişimler, yapay zeka endüstrisinin geleceğine dair önemli sinyaller veriyor. Türkiye'de ve dünyada, büyük dil modellerinin enerji tüketimi ve maliyeti giderek artan bir sorun haline geliyor. Bu yeni yaklaşımlar, daha verimli ve daha hızlı modeller vaat ediyor; bu da yapay zekanın daha geniş kitlelere ulaşmasını sağlayabilir. Özellikle Türkiye gibi gelişmekte olan pazarlarda, maliyet ve altyapı kısıtları nedeniyle büyük modelleri kullanmak zor olabiliyor. Bu nedenle, daha küçük ve enerji tasarruflu modeller, yerel girişimlerin ve araştırmacıların yapay zekadan daha fazla faydalanmasına olanak tanıyabilir. Ayrıca, Transformer sonrası mimarilerin gelişmesi, yapay zekanın sadece dil işleme değil, matematik, bilim ve mühendislik gibi alanlarda da daha yetkin hale gelmesini sağlayabilir. Bu da Türkiye'deki teknoloji ekosistemi için yeni fırsatlar yaratabilir. Ancak bu teknolojilerin henüz erken aşamada olduğunu ve iddiaların doğrulanması gerektiğini unutmamak önemli. Yine de, bu girişimlerin başarılı olması, yapay zeka alanında köklü bir değişimin habercisi olabilir.