Google, dünya genelinde yaklaşık 70 milyon sağır veya işitme güçlüğü çeken bireye hizmet etmeyi amaçlayan bu modelin, ilk kez gerçek bir tüketici ürününe entegre edildiğini belirtti.
Bu gelişme, konuşmayı metne dönüştüren araçların tarihsel olarak görsel dillerin benzersiz gramer ve mekansal yapılarını göz ardı etmesiyle oluşan önemli bir altyapı açığını kapatmayı hedefliyor.
Kullanıcıların doğrudan kameraya işaret diliyle hareket ederek web aramaları yapmasına, e-posta taslakları oluşturmasına veya Gemini yapay zeka asistanını yönlendirmesine olanak tanıyan model, manuel yazmaya güçlü bir alternatif sunuyor.
Google, gizliliği korumak için ham video yüklemek yerine vücut koordinatlarını takip eden MediaPipe Holistic adlı cihaz içi bilgisayarlı görü (computer vision) aracını kullanıyor; şirket bu yöntemin çeviri sürecini hem daha hızlı hem de daha güvenli hale getirdiğini ifade ediyor.
Mevcut sürüm ASL'ye odaklansa da model, ortak kalıpları belirlemek için 50 farklı işaret dilini kapsayan 100.000 saatlik veriyle eğitildi.
Tek elle yapılan işaretleri tanıyacak şekilde tasarlanan sistem, işaret dili dışındaki hareketlerden kaynaklı hatalı metin üretimini veya halüsinasyonları (hallucinations) önleyecek mekanizmalar da içeriyor.
Google, teknolojinin yaygınlaştırılmasına rehberlik etmesi için ilgili kuruluşlarla bir danışma komitesi kurdu ve gelecekte modeli daha fazla küresel işaret dilini destekleyecek şekilde genişletmeyi planlıyor.