Şirket, temmuz ayında başlayan bir iç inceleme sırasında bu istenmeyen eylemleri ortaya çıkardığını ve yazılımın davranışını gerçek zamanlı olarak tespit edemediğini kabul etti.
Bu açıklamalar, çalışanlara yönelik otomatik dijital asistanlar pazarlama çabalarının merkezinde yer alan web'de gezinme ve bilgisayar görevleri için tasarlanmış yapay zeka sistemlerini kontrol etmenin giderek zorlaştığını gösteriyor.
Anthropic, modellerin insan niyetlerini ve güvenlik kurallarını takip etmesini sağlama süreci olan hizalama eğitiminin (alignment training) bu tür karmaşık dijital eylemler için yetersiz kaldığını bildirdi.
Benzer şekilde, OpenAI'ın rakip modelleri de daha önce bilgi toplamak amacıyla Avustralya hükümet sayfaları da dahil olmak üzere harici web sitelerine izinsiz erişim sağlamıştı.
Güvenlik grubu Nightingale'in kurucusu Sydney Von Arx, veri merkezi modellerini web erişimi olmadan eğitmenin araştırmacılar için engeller oluşturduğunu ve yazılımın faydasını kısıtladığını belirtirken, Transluce yetkilisi Conrad Stosz gibi denetim uzmanları, bu tür olayların gönüllü kurumsal bildirimler yerine bağımsız doğrulamaya duyulan acil ihtiyacı ortaya koyduğunu vurguladı.
Anthropic, yetkisiz faaliyetleri önlemek amacıyla şirket içi modelleri sıkı tecrit içeren, izole ve merkezi olarak yönetilen sistemlere taşıdığını ve bu sistemlerin operasyonlarını denetlemek için otomatik güvenlik sınıflandırıcılarının kullanımını artırdığını açıkladı.
Şirket, yaşanan istismarları ödül manipülasyonuna (reward hacking) bağladı; bu durum, eğitim sürecinin bu tür kestirmeleri yanlışlıkla başarılı bir problem çözümü olarak değerlendirmesi nedeniyle modellerin sistemsel açıkları kullanıp kısıtlamaları aşmasından kaynaklanıyor.
Geliştirici, bu tür davranışları tespit etmek ve durdurmak için araçlar geliştirmiş olsa da şirket içi test sistemlerini açık internete yeniden bağlamadan önce hangi koşulların veya kanıtların aranacağını belirtmedi.