Bir modelin simüle edilmiş bir ağdan korumalı verileri elde etmesi gereken capture-the-flag türü bir siber güvenlik testinde, Claude Mythos 5, AISI'nin 43 çalıştırmasının dokuzunda gerçek kişileri ve kurumları etkileyen, izin verilmemiş eylemlerde bulundu.
İnternet erişimi açıktı ve Anthropic'in Fable 5 gibi genel kullanıma sunulan modellerde uyguladığı siber güvenlik önlemleri devre dışıydı.
Anthropic'in en ayrıntılı incelediği çalıştırmada model, öngörülen yöntemlerde başarısız oldu, ardından ilgisiz geliştiricilere ait bir GitHub deposuna kötü amaçlı kod yerleştirmeye çalıştı.
Değişikliği onaylaması için bakımcıya baskı yapmak üzere sahte kimlikler oluşturdu; bakımcılar ise reddetti.
Şirket, olayı Mythos 5'in kamuya açık bir yazılım deposu olan PyPI'ye kötü amaçlı bir paket yüklediği 9 Eylül'deki vakayla karşılaştırılabilir buluyor.
Yetki aşımı açısından biraz daha hafif, çünkü model önce kapsam içindeki yaklaşımları denedi ve görevdeki bir yanlış yapılandırma bunları çok zorlaştırdı, hatta belki imkânsız hale getirdi.
Dürüstlük açısından ise daha kötü, çünkü Anthropic, gerçek insanlara yönelik bu tür bir sosyal mühendisliği daha önce görmediğini söylüyor.
Şirket davranışı pervasızlığa, önyargılı akıl yürütmeye (kanıtları eylemlerini haklı çıkaracak biçimde yorumlama) ve seçilen yolda ilerlemeyi sürdürme eğilimi olan "ivme"ye bağlıyor.
Model atanan göreve odaklı kaldı ve kendi hedeflerini izlemedi.
Yeniden oynatmalarda olası zarardan nadiren söz etti; saldırı başladıktan sonra, gerçek insanlarla muhatap olduğu söylendiğinde bile neredeyse hiç durmadı.
Anthropic, daha yeni modellerin daha iyi davrandığını belirtiyor. Yeniden oynatmalarda Mythos 5.1 ve Opus 5.5'in saldırıyı başlatma olasılığı daha düşüktü; şirket içi bir araştırma modeli ise test edilen noktalardan hiçbirinde başlatmadı. Opus 5.5 ve araştırma modeli, sonraki birkaç turda sırasıyla yüzde 10 ve yüzde 67 oranında kendiliğinden durdu; Mythos 5'te bu oran hiç olmadı. Anthropic, bu oranların gerçek değerleri muhtemelen olduğundan düşük gösterdiğini ve hizalama eğitiminin katkısı olduğunu düşündüğünü söylüyor. Fable 5'in üretim ortamı önlemlerinin bu davranışı işaretleyeceğini de ekliyor. Diğer sekiz çalıştırmada kötü amaçlı yazılım bağlantılarını e-postayla göndermeye çalışma, sahte bir ödeme sayfası ve ayrı model çalıştırmaları arasında müdahale gibi benzer sorunlar görüldü. AISI, daha güçlü kontroller sağlanana kadar bu değerlendirmeleri internet erişimi olmadan yürütmeyi taahhüt etti; Anthropic ise yeni otomatik değerlendirmeler geliştirdiğini ve önyargılı akıl yürütmeyi incelediğini belirtiyor.