Bulut bilişim sağlayıcısı Nebius Group, yeni işlemcileri kendi üretim ortamında devreye alan ilk müşteri oldu.
Bu teknoloji, yapay zeka ajanlarının akıl yürütme veya kod yazma gibi karmaşık görevler sırasında karşılaştığı kod çözme gecikmesi (decode latency) sorununu çözmeyi amaçlıyor.
Nvidia, grafik işlem birimleri (GPU) tarafından yürütülen yoğun veri işleme süreci ile metin veya kodun yüksek hızda üretilmesini birbirinden ayırarak, yeni hızlandırıcıların saniyede 3.400 token ile rekor seviyede hızlara ulaşabildiğini belirtiyor.
Şirketin açıklamasına göre bu yeni altyapı, daha önce saatler süren çok aşamalı aracı iş akışlarının sadece dakikalar içinde tamamlanmasına imkan tanıyor.
Groq 3 LPX, Nvidia’nın modellerin eğitilmesinden ziyade canlı olarak çalıştırılmasına odaklanmak amacıyla Groq Inc.
girişiminden 20 milyar dolar karşılığında lisansladığı teknoloji kullanılarak geliştirildi.
Bu gelişmenin yanı sıra SpaceX, hem dünyadaki veri merkezlerinde hem de yörüngedeki uydularda karmaşık simülasyonları yönetmek için Nvidia’nın Vera merkezi işlem birimlerini (CPU) kullanacağını duyurdu.
Nvidia ayrıca, 512.000 adede kadar GPU içeren devasa kümeleri birbirine bağlamak ve ölçeklendirmek için tasarlanan Spectrum-X Multiplane adlı yeni Ethernet mimarisini tanıttı.