Bunun nedeni, yapay zekâ modellerinin işlediği metin veya veri birimleri olan token'lar ile ham metni, görüntüyü ya da sesi bu birimlere ayıran araç olan tokenizer.
Araştırmacılar ortaya çıkan ek maliyeti "tokenizer vergisi" (tokenizer tax) olarak adlandırıyor.
İnternette en popüler 20 dil arasında, en pahalı olanlar en ucuz olanlara göre 1,5 ila 5 kat daha fazla token kullandı.
200 dili kapsayan karşılaştırmada ise bir modelde bu fark 17 kata çıktı.
Daha fazla token, daha yüksek gecikme süresi (yani daha yavaş yanıtlar) ve daha az etkili bağlam kapasitesi anlamına geliyor; bu da belgeler veya konuşma geçmişi için daha az yer kalması demek.
Yazarlar, bu dezavantajların hesaplama gücünün ve bağlantı olanaklarının zaten sınırlı olduğu yerlerde en ağır biçimde hissedildiğini ve tokenizer adaletsizliğinin yapay zekâ ekonomisine kimlerin katılabileceğini kısıtladığını söylüyor.
Örnek olarak, Bengaluru'daki bir girişimin, Austin'deki rakibinin ödemediği bir ek bedeli her istem ve yanıt için ödeyebileceğini belirtiyorlar.
Yapay zekâ odaklı girişim fonu Activate AI'ın kurucu ortaklarından Pratyush Choudhury, bir öğrencinin önceki hatalarını ve açıklamalarını hatırlaması gereken bir özel ders uygulamasının bağlam penceresini bir dilde diğerine göre daha hızlı tüketeceğini, bunun da hizmet kalitesini düşürebileceğini söyledi.
Dilin az konuşulması tek etken değil; yazı sistemi de önemli. Çalışmaya göre konuşur sayısı az olan Asturyasça, Latin alfabesini kullanması ve İtalyanca gibi ilişkili Roman dillerinden yararlanması sayesinde avantajlı. Tokenizer'ların nadiren gördüğü yazı sistemleriyle yazılan Birmanca, Tibetçe, Tifinagh, Khmerce, Laoca ve Ol Chiki ise analiz edilen neredeyse tüm modellerde sürekli olarak en dezavantajlı diller oldu. Maya Research'ten Dheemanth Reddy sorunu yüksek kaliteli dijital veri eksikliğine bağlıyor, ancak yalnızca daha iyi verinin tokenizer sorununu çözmeyeceği uyarısında bulunuyor. Choudhury, token fiyatlarının düşmesinin doğrudan maliyeti zamanla hafifletmesini bekliyor; yine de laboratuvarların gelecekteki tokenizer'ları bu diller ve yazı sistemleri için bilinçli olarak tasarlaması gerektiğini söylüyor. Ayrıca büyük laboratuvarları, karşılaştırılabilir görevlerin maliyetini gösteren dil bazlı karneler yayımlamaya ve en kötü hizmet verilen dilleri için ölçülebilir iyileştirmeler taahhüt etmeye çağırdı.