tag Inference
Bu sayfada Inference etiketi ile işaretlenmiş tüm yapay zeka kavramlarını inceliyorsunuz.
Groq (LPU) (Dil İşleme Birimi)
Groq, büyük dil modellerinin (LLM) cevap verme hızını inanılmaz bir seviyeye çıkaran, kendisini GPU değil "LPU (Language Processing Unit - Dil İşleme Birimi)" olarak adlandıran devrimsel bir donanım mimarisi ve girişim şirketidir. ChatGPT veya LLaMA modellerini NVIDIA GPU'lardan neredeyse 10 kat daha hızlı (saniyede 800+ kelime) çalıştırabilmesiyle şok etkisi yaratmıştır.
Test-Time Compute (Test Anı Hesaplama)
Test-time compute (çıkarım anı hesaplama), bir yapay zeka modelinin eğitim sırasında değil, cevap üretimi (inference) anında harcadığı ek hesaplamadır. OpenAI o1/o3 ile popülerleşen bu yaklaşımda model, token bütçesini "düşünce adımları" için kullanır; bütçe arttıkça doğruluk yükselirken maliyet ve gecikme de artar.