OpenAI Habitat: 1 milyar kullanıcıya ulaşan depolama hikayesi

Habitat Nedir ve Neden Gerekli?

OpenAI, her ürününün hızlı ve güvenilir veri erişimine ihtiyaç duyduğunu belirtiyor. Kullanıcılar ChatGPT'de oturum açtığında, Codex ayarlarını kontrol ettiğinde veya yeni bir sohbet başlattığında, arka planda onlarca veri sorgusu çalışıyor. Bu sorgular yavaş olursa ürün yavaş hissettiriyor; başarısız olursa ürün tamamen çalışmaz hale geliyor. İşte bu noktada OpenAI'ın geliştirdiği Habitat devreye giriyor. Habitat, OpenAI ürünlerinin ihtiyaç duyduğu bilgilere hızlı ve güvenilir şekilde erişmesini sağlayan çevrimiçi depolama platformu.

Habitat şu anda saniyede 70 milyondan fazla istek işliyor, haftada 1 milyardan fazla kişiye hizmet veriyor ve 500 petabayttan fazla veriyi yönetiyor. Bu veriler, neredeyse 40 coğrafi bölgeye dağılmış durumda. İki yıl önce tek bir veritabanına bağlı basit bir Python kütüphanesi olarak başlayan Habitat, bugün karmaşık bir dağıtık sisteme dönüşmüş durumda.

Python Kütüphanesinden Servise Geçiş

Habitat başlangıçta, ürün geliştiricilerinin veritabanı yönetimiyle uğraşmasını engellemek için tasarlanmış küçük bir Python kütüphanesiydi. Bu kütüphane, veri depolama ve alma işlemlerini basitleştiriyor; şema arama, yönlendirme, yetkilendirme, şifreleme, serileştirme gibi karmaşık işleri arka planda hallediyordu. Kısa sürede OpenAI içinde hızla benimsenen bu yapı, 2025 ortalarına gelindiğinde istemci tarafında sınırlarına ulaştı.

Örneğin, kritik veri kümelerini bölgesel olarak dağıtılmış Azure Cosmos DB hesaplarına taşımak istediklerinde, istemciye ek yönlendirme mantığı eklemek, bunu tüm istemcilere yaymak ve özellik bayrağını etkinleştirmek günler sürüyordu. Üstelik bir ekip ilgisiz bir nedenle eski hatalı bir istemci sürümüne geri döndüğünde, kaçınılmaya çalışılan kesinti yine de yaşanabiliyordu. Bu tür operasyonel zorluklar, Habitat'ın ayrı bir servis olarak çalıştırılması kararını doğurdu. Böylece dağıtımlar, gözlemlenebilirlik ve platform iyileştirmeleri tek merkezden yönetilebilir hale geldi. Ayrıca erişim kontrolü, denetim günlüğü ve alttaki depolama kaynaklarına erişim kısıtlamaları da merkezi olarak uygulanabiliyor.

Python ile Ölçeklenme Zorlukları

Habitat'ı bir Python servisi olarak çalıştırmak, performans açısından ideal değildi. Python'un ek yükü ağ gecikmesini artırıyor, CPU ve bellek maliyetlerini yükseltiyordu. Ancak OpenAI ekibi, bunu stratejik bir teknik borç olarak kabul etti. Öncelikleri maliyet optimizasyonu değil, ürün geliştiricilerinin önünü açmak ve platform kararlılığını sağlamaktı. Ayrıca kendi kodlama modellerinin hızla gelişmesiyle ileride Python'dan tamamen kurtulabileceklerine dair bir bahse girdiler. Bu bahis doğru çıktı.

Python servisinin en büyük zorluğu, kuyruk gecikmeleri (tail latency) oldu. Ortalama bir kullanıcı isteği yüzlerce veritabanı çağrısına yol açtığında, kullanıcının hissettiği gecikme en yavaş çağrıdan kaynaklanıyor. Asyncio, G/Ç yoğun iş yüklerini eşzamanlı yürütmeye yardımcı olsa da Python GIL'i nedeniyle CPU paralelliği sağlayamıyor. Habitat'ın yönlendirme, sıkıştırma, şifreleme, sağlama toplamı, aşağı akış sağlık kontrolü gibi CPU yoğun görevleri de var. Bu nedenle asyncio zamanlama gecikmesi, kuyruk gecikmelerini kolayca domine edebiliyor.

OpenAI mühendisleri, yüksek kullanımda olay döngüsü zamanlama gecikmesini gerçek zamanlı ölçmek için arka plan görevlerini periyodik olarak planlayıp beklenen ve gerçek yürütme süreleri arasındaki farkı kaydediyor. Yüksek kullanımda, süreç başına ılımlı sayıda eşzamanlı istek bile yüzlerce milisaniyeye varan zamanlama titremesine yol açabiliyor. Bu yüzden her sürecin yalnızca az sayıda eşzamanlı istek işlemesini sağlayıp Python çalışan süreç sayısını devasa boyutlara çıkarıyorlar.

Bağlantı Havuzu ve Metastabil Hata

İlk servis lansmanında, Statsig aracılığıyla özellik bayrağı yapılandırmalarının periyodik JSON ayrıştırması, yüksek asyncio gecikmesinin kök nedenlerinden biri olarak keşfedildi. Varsayılan olarak Statsig her dakika yapılandırmayı yokluyordu ve bu yapılandırma tüm servislerdeki her üretim kuralını içeriyordu. Pod başına 8 Python süreci çalıştırıldığında, her dakika tüm çalışanlar dev bir yapılandırma dosyasını ayrıştırmakla meşgul oluyor ve istekleri işleyemiyordu. Çözüm basitti: daha küçük hedefli bir yapılandırma dağıtmak, yenileme aralığını uzatmak ve arka plan görevlerine titreme eklemek.

Bir diğer kritik sorun, istemci tarafı bağlantı havuzunun yük dengelemesini bozmasıydı. Tek bir istemci süreci, birkaç sunucu bağlantısı kurup tüm yükü bu süreçlere gönderiyordu. Bu da bazı süreçlerin ortalamanın 5-10 katı eşzamanlı istek almasına neden oluyordu. Bir keresinde, aşırı yüklenmiş bir istemci durdurulmasına rağmen bazı süreçler bozulmaya devam etti ve giderek daha fazla istek alarak kurtarılamaz hale geldi. Bu, metastabil hata olarak bilinen bir başarısızlık sınıfıydı. Sorunun kaynağı, Python'un aiohttp TCPConnector'ının varsayılan LIFO bağlantı yeniden kullanımıydı: yavaş sunuculardan dönen bağlantılar havuza daha sonra dönüyor ve sonraki istekler tarafından daha sık seçiliyordu. Bu da zaten zorlanan pod'lara daha fazla trafik yığıyordu. Bağlantı havuzunu FIFO yeniden kullanıma geçirmek bu geri besleme döngüsünü kırdı. Bugün OpenAI, Istio ve Envoy kullanarak bağlantı havuzu ve sunucu yüküne duyarlı dengeleme stratejilerinden faydalanıyor.

NoSQL API ve Tasarım Ödünleşimleri

Habitat'ın ölçeklenebilirliğinin bir nedeni de kısıtlı API'si. İstemcilerin keyfi SQL sorguları oluşturmasına izin vermek yerine, Habitat basit bir NoSQL API sunuyor. Bu API, TAO'dan ilham alan, istemci tanımlı nesne ve kenar türleri etrafında modellenmiş. İstemciler nesneleri ve kenarları önceden tanımlıyor, ancak içeriklerini değil. Ortaya çıkan ilişkiler bir grafiğe benziyor, fakat Habitat belirli bir nesnenin doğrudan kenarlarını sorgulamak dışında tipik grafik gezinme sorgularını desteklemiyor. Bu grafik, her nesne ve ilgili kenarları bir depolama düzeyi bölümünde bir arada olacak şekilde bölümleniyor. Bu model yatay ölçeklenmeyi kolaylaştırıyor, ancak grafik gezinmeleri verimsiz çünkü nesneler arası her atlama farklı bölgelerdeki iki ayrı Azure Cosmos DB hesabından veri çekmeyi gerektirebiliyor.

Daha karmaşık sorgulama ihtiyaçları için Habitat, Rockset aracılığıyla çevrimdışı ikincil bir görünüm sunuyor. Değişiklik verisi yakalama (CDC) ile çevrimiçi depolamadaki değişiklikler neredeyse gerçek zamanlı olarak izole Rockset örneklerine akıtılıyor. Her istemci ekibi kendi Rockset örneğini ölçeklendirmekle yükümlü. Bu, istemcilere ek yük getirse de basit sorguları varsayılan yapmak ve karmaşık sorgular için bir kaçış kapısı sunmak açısından doğru bir ödünleşim olarak görülüyor.

Rust'a Geçiş ve Gelecek Planları

Python'da geçirilen bir yıl, hiperbüyüme döneminde daha acil sorunlara odaklanmayı sağladı. Ancak platform olgunlaşıp büyüme hız kesmeden devam ederken, Python'dan geçme zamanı geldi. Zirvede Python, saniyede 20 milyondan fazla isteğe hizmet etti. 2026'nın ikinci çeyreğinde, sadece 2 mühendis, Codex ve GPT-5.5 kullanarak tüm servisi Rust ile yeniden yazdı. Yeni Rust servisi şu anda üretim isteklerinin %95'ini karşılıyor ve Python önümüzdeki haftalarda tamamen devre dışı bırakılacak. OpenAI'nin verilerine göre Rust servisi, Python sürümüne kıyasla 6 kat daha CPU verimli ve 15 kat daha bellek verimli, ayrıca ortalama ve kuyruk gecikmeleri önemli ölçüde daha düşük.

Habitat'ın hikayesi burada bitmiyor. Yazının ikinci bölümünde, depolama katmanının nasıl 500 petabayttan fazla veriyi ve saniyede 70 milyondan fazla isteği yönettiği anlatılacak.

Neden Önemli?

OpenAI'ın Habitat deneyimi, Türkiye'deki teknoloji ekipleri için de önemli dersler içeriyor. Öncelikle, hızlı büyüyen yapay zeka ürünlerinde altyapı kararlarının nasıl stratejik bir dansa dönüştüğünü gösteriyor: bazen performanstan ödün verip hız kazanmak, sonra o borcu akıllıca kapatmak gerekebiliyor. Python gibi yaygın bir dilin devasa ölçekte nasıl zorlandığını ve Rust gibi daha performanslı bir dile geçişin ne kadar büyük kazanç sağladığını görüyoruz. Ayrıca, bağlantı havuzu yönetimi, asyncio zamanlama gecikmeleri ve metastabil hatalar gibi konular, yüksek trafikli sistemler kuran her ekip için kritik. Türkiye'de de özellikle fintech, e-ticaret ve oyun sektörlerinde benzer ölçeklenme sorunları yaşanıyor. OpenAI'ın şeffaf bir şekilde paylaştığı bu deneyimler, yerel mühendislik ekiplerinin kendi mimarilerini planlarken faydalanabileceği somut bir yol haritası sunuyor. Sonuçta, yapay zeka çağında veri erişiminin hızı ve güvenilirliği, ürünün başarısını doğrudan belirliyor.