Çocuklar Yapay Zekayı Geride Bırakıyor: Verimlilik Açığı

Dil Öğrenmede Devasa Fark

İnsanlar en az 100.000 yıldır birbirleriyle konuşuyor. Bu süre boyunca dünyada bir dili kusursuz akıcılıkla öğrenebilen tek varlık insan çocuğuydu. Şimdi ise iki tane var. ChatGPT'nin piyasaya sürülmesinden dört yıl sonra, telefonlarımızla veya bilgisayarlarımızla doğal bir şekilde sohbet edebilmek artık çoğumuz için sıradan bir durum. Claude, DeepSeek ve OpenAI'ın GPT modelleri gibi büyük dil modelleri (LLM), insanları kandıracak kadar akıcı ve esnek. Ancak bu başarının arkasında önemli bir sorun var: Bir bilgisayara insan dilini öğretmek hâlâ insanüstü miktarda veri gerektiriyor. Bir LLM, bir insanın ana dilini öğrenirken deneyimlediği kelime sayısının yüz bin katından fazlasını kolayca işleyebiliyor. Üstelik bu, çocukların ilk doğum günlerinde duydukları kelime sayısından çok daha fazla. Stanford Üniversitesi'nden bilişsel bilimci Michael C. Frank, LLM'lerdeki ilerlemeyi "şaşırtıcı" olarak nitelendiriyor ancak "yine de bir ormanı yakıp tüm insan bilgisini kazımamız gerekiyor" diye ekliyor.

Veri Verimliliği Açığı Nedir?

Çocuklar ve makineler arasındaki bu uçuruma "veri verimliliği açığı" adı veriliyor. Bu açık, bilişsel bilim insanları için cezbedici bir soru ve yapay zeka mimarları için bir meydan okuma oluşturuyor: Çocuklar, şimdiye kadar yapılmış en dilbilimsel açıdan sofistike makineleri nasıl geride bırakabiliyor? Bu sorunun yanıtı hem yapay zeka araştırmaları hem de bilişsel bilim için kritik öneme sahip. Son on yılda dil modelleri çoğunlukla büyüyerek daha iyi hale geldi. Meta'nın iki yıl önce yayınlanan açık ağırlıklı LLM'i Llama 3.1, ön eğitimde (bir modelin belirli bir görev için ince ayar yapılmadan önceki ana eğitim adımı) 15 trilyon token (kelime benzeri dil parçaları) işledi. Georgetown Üniversitesi'nden bilişsel bilimci ve dilbilimci Ethan Gotlieb Wilcox, sınır modellerinin 10 kat daha fazla veriyle ön eğitim yapabileceğini söylüyor. Ancak eğitilebilecek internet verisi sınırlı ve 2030'lar gibi erken bir tarihte kolayca erişilebilir veri kaynağı tükenebilir. Çocuklar, daha azla daha fazla öğrenmenin mümkün olduğunu gösteriyor.

Çocukların Dil Öğrenme Sırrı

Dilbilimsel açıdan zengin bir evde büyüyen bir çocuk, yaklaşık 100 milyon kelime duymuş olabilir. Okuryazarlık eklendiğinde bu sayı 20 yaşına kadar 300 milyon kelimeye çıkabilir. Ölçek farkını ancak bir benzetmeyle anlatmak mümkün. Wilcox, "Claude, bir şehrin bir nesilde deneyimleyeceği dil miktarını görmüştür" diyor. Modern bir LLM'i eğitmek için kullanılan tüm kelimeler kağıda basılsa, Uluslararası Uzay İstasyonu'na ulaşan bir yığın oluşurdu. İnsan çocuğunun 100 milyon kelimesi ise sadece 20 metrelik bir yığın yapardı. Çocukların nasıl öğrendiğini tersine mühendislikle çözerek, bilim insanları daha veri verimli yapay zeka modelleri yaratmayı umuyor. Bu modeller, videodan yapay zeka eğitimine ve azınlık dil topluluklarına hizmet eden sohbet robotlarına kadar birçok alanda faydalı olabilir. İnsan öğrenmesiyle ilgili hipotezleri makine modellerinde test etmek, dil ve çocukların gelişen zihinleri hakkındaki kalıcı soruları da çözebilir. Dile doğuştan mı sahibiz, yoksa bir çocuğun dili tamamen deneyimden öğrenmesi mümkün mü? Dil işleme biçimimiz biyolojimizin bir tuhaflığı mı, yoksa en azından bazı yönleri dillerin nasıl kullanılabileceği ve öğrenilebileceğine dair evrensel kısıtlamaları mı yansıtıyor?

BabyLM: Küçük Veriyle Büyük Model

Alex Warstadt, 2019'da BERT ve GPT-2'nin piyasaya sürüldüğü dönemi hatırlıyor. O zamanlar New York Üniversitesi'nde dilbilim doktora öğrencisiydi ve alanının gözleri önünde değiştiğini görüyordu. Dil modellerinin metin işleyerek İngilizce öğrenebilmesi, Chomskyci fikirlere bir meydan okumaydı. Ancak birçok dilbilimci, LLM'lerin insan dil edinimi hakkında bir şey söyleyebileceğine şüpheyle yaklaşıyordu. Warstadt, "İnsan ölçeğinde dil modelleri eğitildiği hiçbir zaman etkilenmedik" diyor. Yine de Warstadt LLM'lerde potansiyel gördü: Bilimsel bir modelin bilgilendirici olması için mükemmel olması gerekmez. Çocukların nasıl öğrendiğine dair hipotezleri modellere yerleştirip performanslarını ölçerek, bilim insanları fikirlerini test edebilirdi. Ağustos 2022'de Warstadt, sinir ağlarının dil edinimi için faydalı modeller olabileceğini savunan bir Twitter dizisi yayınladı. Yorumlarda yapay zeka araştırmacısı Leshem Choshen ile yapılan tartışmaların ardından BabyLM fikri doğdu. BabyLM, küçük veri setleriyle modeller eğitmek için düzenlenen yıllık bir yarışma. Ana etkinlik, katılımcıları hikaye kitapları, diyaloglar, film altyazıları, Basit İngilizce Vikipedi, normal Vikipedi ve çocuklara yönelik konuşma transkriptlerinden oluşan "gelişimsel olarak makul" bir derlemle (100 milyon kelime veya 10 milyon kelimelik yürümeye başlayan çocuk ölçeği) modeller eğitmeye zorluyor. Modeller, psikodilbilimcilerin insanlarla kullandığı dilbilgisi kriterlerine göre değerlendiriliyor. Örneğin, deneklere cümleler sunulup dilbilgisi dışı özelliklere karşı şaşkınlık belirtileri aranıyor. İnsanlar için bu şaşkınlık göz hareketleriyle ölçülürken, dil modelleri için sürpriz değeri (surprisal) kullanılıyor. Yarışma, müfredat öğrenimi (curriculum learning) gibi bazı varsayımları sorguladı. Müfredat öğrenimi, basit eğitim verileriyle başlayıp daha karmaşık girdilere doğru ilerlemeyi içeriyor. İlk BabyLM turunda en popüler yaklaşımdı ancak beklendiği kadar iyi çalışmadı. Boston Üniversitesi'nden Aaron Mueller, "Dönüştürücülerin (transformers) verilerin bu şekilde sıralanmasına ihtiyacı yok gibi görünüyor" diyor. 2024 şampiyonu GPT-BERT, hem modern LLM'ler gibi bir dizideki sonraki tokeni tahmin etmek hem de BERT gibi boşlukları doldurmak üzere eğitilmiş bir dönüştürücü. Yaklaşık 100 milyon kelimeyle ön eğitim aldığında, BabyLM kriterlerinden birinde Meta'nın Llama 2 70B modelini (yaklaşık 15.000 kat daha fazla veriyle eğitilmiş) geride bırakmayı başardı. Yine de BabyLM modelleri LLM'lerle aynı seviyede değil; çoğu metin üretemiyor.

Görsel ve Sosyal Öğrenme

Çocuklar, dünyayı duyularıyla, özellikle görme ve işitmeyle algılar. Veri açığını kapatmak için makinelerin çocukların gözlerinden ve kulaklarından öğrenmesi gerektiğini düşünen araştırmacılar var. Michael Frank, laboratuvarını kurduğunda bebeklerin dünyayı nasıl deneyimlediğini kimse bilmiyordu. SAYCam projesi, üç bebeğin 6 ay ile 2,5 yaş arasındaki hayatlarının haftada iki saatini kaydetti. Bu verilerle eğitilen modeller, nesneleri tanımayı ve kelimelerle ilişkilendirmeyi öğrendi. Princeton'dan Brenden Lake, 2024'te 61 saatlik SAYCam verisiyle eğitilen bir modelin, önyargılar olmadan nesneleri ve kelimeleri ilişkilendirebildiğini gösterdi. Ancak bu modeller bir çocuğun yeteneklerini tam olarak taklit edemiyor. Uri Hasson, 17 çocuğun ilk 1000 gününü kaydeden bir proje yürüttü; evlerin her yaşam alanına kamera ve mikrofon yerleştirildi ve neredeyse her gün 12 saat kayıt yapıldı. Bu veri seti, yapay zeka araçları olmadan işlenmesi imkansız olurdu. Çocukların aktif olarak keşfettiklerini ve kendi verilerini seçtiklerini savunan Alison Gopnik, bunun eksik bileşen olabileceğini söylüyor. Araştırmalar, çocukların oyun oynarken neden-sonuç ilişkilerini etkili bir şekilde öğrendiğini gösteriyor. Elizabeth Bonawitz ise çocukların bilgi açıklarını doldurma dürtüsüne sahip olduğunu ve sosyal yaşamlarının öğrenmelerine yardımcı olduğunu belirtiyor. Modeller ise pasif ve izole bir şekilde öğreniyor. Geçen yılki BabyLM, modellerin diğer modellerle etkileşime girerek öğrenmesine izin verdi ancak sosyal modeller standart olanlardan daha iyi performans göstermedi.

Neden Önemli?

Veri verimliliği açığını kapatmak, yalnızca yapay zeka araştırmaları için değil, aynı zamanda kendimizi anlamak için de büyük önem taşıyor. Türkiye gibi İngilizce dışındaki dillerin konuşulduğu ülkeler için bu konu özellikle kritik. Türkçe gibi diller için yeterli veri bulmak zor; bu da Türkçe dil modellerinin gelişimini sınırlıyor. Çocukların öğrenme mekanizmasını çözmek, az kaynakla daha iyi modeller geliştirmenin yolunu açabilir. Bu, Türkçe ve diğer azınlık dillerinde çalışan yapay zeka sistemlerinin önünü açabilir. Ayrıca, dil edinimi üzerine yapılan bu araştırmalar, insan bilişine dair temel soruları aydınlatabilir. LLM'ler, insan dilini kullanabilen tek varlık olmanın ötesinde, dilin doğasını anlamak için bir model organizma haline geliyor. Bu, hem bilişsel bilim hem de yapay zeka alanında devrim niteliğinde bir gelişme. Türkiye'deki araştırmacılar ve teknoloji şirketleri, bu alandaki gelişmeleri yakından takip etmeli ve kendi dillerine yönelik verimli modeller geliştirmek için iş birliği yapmalı.