Google daha hızlı olan 26 milyar parametreli açık model DiffusionGemma'yı
- Kaynak
- The Keyword
- Saat
- 16:19
- Ağırlık
- 94/100
Google, metin oluşturma sürecini önemli ölçüde hızlandırmak için tasarlanan 26B parametreli deneysel bir açık model olan DiffusionGemma'yı tanıttı. Metni belirteç bazında sıralı olarak işleyen geleneksel otoregresif modellerin aksine, DiffusionGemma bir Mixture of Experts (MoE) mimarisi ve yeni bir difüzyon başlığı kullanarak tüm metin bloklarını eş zamanlı olarak üretmektedir.
Bu yaklaşım, modelin özel GPU'larda standart modellere göre dört kata kadar daha hızlı çıkarım yapmasını ve üst düzey donanımlarda saniyede 1.000'den fazla belirtece ulaşmasını sağlamaktadır. Apache 2.0 lisansı ile sunulan model, satır içi düzenleme ve hızlı kod üretimi gibi düşük gecikme süresinin kritik olduğu yerel ve etkileşimli iş akışları için özel olarak optimize edilmiştir.