Bu sistem, değerlendirme verilerini modelden ve modelin iç işleyişini ise değerlendiricilerden gizli tutarak, yapay zekanın eğitim sırasında test sorularını yanlışlıkla öğrenmesiyle ortaya çıkan kıyaslama kirliliği (benchmark contamination) sorununu önlemeyi hedefliyor.
Yapay zeka endüstrisindeki güven açığını hedefleyen bu yaklaşım, yüksek test puanlarının gerçek yetenekten ziyade modelin sınav sorularını önceden görmesinden kaynaklanabileceği endişesini gideriyor.
Yasal sözleşmelerin ötesine geçerek teknik koruma önlemleri sunan Google; politika yapıcılara ve işletmelere, bir modelin güvenlik ve performans değerlerinin doğruluğuna dair doğrulanabilir kanıtlar sunmayı amaçlıyor.
Bu yöntem, özellikle hatalı güvenilirlik metriklerinin ciddi altyapı risklerine yol açabileceği siber güvenlik gibi hassas sektörler için kritik bir önem taşıyor.
Teknik mekanizma, tarafların birbirlerinin özel bilgilerini görmeden veri işlemesine olanak tanıyan Google Cloud bünyesindeki Confidential Space aracına dayanıyor.
Bu uygulama, değerlendiricilerin gizli istemlerini (prompts) veya model sahiplerinin model ağırlıkları (model weights) gibi fikri mülkiyetlerini paylaşma zorunluluğunu ortadan kaldırıyor.
Söz konusu pilot çalışma ile veri güvenliğinden ödün vermeden gelişmiş yapay zeka sistemlerini titizlikle test edebilecek bağımsız denetimler için yeni bir endüstri standardı oluşturulması hedefleniyor.