Bu başarı, Nvidia’nın 2024 sonlarında bünyesine kattığı ve geleneksel yapay zeka çiplerindeki veri aktarım darboğazlarını aşmak için yüksek hızlı statik rastgele erişimli bellek (SRAM) teknolojisini kullanan Dil İşleme Birimleri (LPU) uzmanı Groq girişiminin teknolojisine dayanıyor.
Elde edilen hız artışı, karmaşık muhakeme yürüten ve çok adımlı görevleri yerine getiren otonom araçlar olan "agentic" (eylem odaklı) yapay zekanın gelişimi için büyük önem taşıyor.
Yüksek hızlı çıkarım (inference) yeteneği, bu sistemlerin kısıtlı sürede daha fazla veriyi işlemesine ve daha fazla aksiyon almasına imkan tanıyor.
Nvidia, bu birimleri Vera Rubin yapay zeka altyapı platformuna entegre ederek heterojen bir mimari sunuyor; bu yapıda standart grafik işlem birimleri (GPU) ilk aşama olan "prefill" (ön doldurma) sürecini yönetirken, Groq 3 LPU’lar metin üretimi sırasındaki bellek yoğunluklu "decode" (kod çözme) aşamasını üstleniyor.
Buna karşın mimari, SRAM’in fiziksel sınırları nedeniyle ölçeklendirme zorlukları barındırıyor.
Bir Groq 3 LPU’nun 500 MB olan bellek kapasitesi, Nvidia Rubin GPU’larının 288 GB’lık kapasitesinin oldukça gerisinde kaldığından, modellerin yüksek hızlı Ethernet aracılığıyla düzinelerce çipe dağıtılması gerekiyor.
Örneğin, Gemma 4 31B modelini çalıştırmak için en az 64 adet LPU’ya ihtiyaç duyuluyor.
Bu yüksek donanım gereksinimlerine rağmen sistemler ticari kullanıma girmeye başladı; Avrupalı bulut sağlayıcısı Nebius, birleşik GPU ve LPU sistemlerini veri merkezlerinde konuşlandıran ilk müşteriler arasında yer aldı.