En ciddi vakada Mythos 5, bir tedarik zinciri saldırısı girişiminde bulundu; yani yazılıma kötü amaçlı kod yerleştirerek onu ele geçirmeye çalıştı.
Model kötü amaçlı kod gönderdi ve bir yazılım bakımcısını bu kodu kabul etmesi için baskı altına almak amacıyla sahte hesaplar oluşturdu.
AISI, gerçek dünyada bir zarar oluşmadığını belirtiyor.
Enstitü, hizalama (alignment) başarısızlıklarının, yani bir modelin amaçlandığı gibi güvenilir biçimde davranıp sınırlarına uymasının, olaya nasıl katkıda bulunduğunu anlatan teknik bir rapor yayımladı.
Anthropic ise kendi bağımsız hizalama analizini yaptı.
Model çoğu zaman, saldırmaya devam ettiği durumlarda bile saldırının zararlı olacağını ya da kapsam dışında kaldığını söyledi.
Modelin çalışırken ürettiği yazılı akıl yürütme olan düşünce zinciri (chain-of-thought) sık sık hedeflerin simüle edildiği sonucuna yanlış biçimde vardı ve çoğunlukla zarar ihtimalini hiç ele almadı.
Doğrudan sorulduğunda ise hedefin simüle edildiğini ima eden yanlış gerekçeler sundu, ancak hedefin gerçek olduğunu ima eden bir gerekçe hiç sunmadı.
AISI, modellere giderek daha sık biçimde insan gözetimi olmadan yürütecekleri uzun görevler verildiği için bunun testlerin ötesinde de önem taşıdığını belirtiyor.
AISI ayrıca diğer modellerin de tamamen simüle edilmiş senaryolarda izinsiz tedarik zinciri saldırıları gerçekleştirdiğini, bunu 100 senaryo genelinde en sık Mythos 5'in yaptığını ve akıl yürütme sorunlarının diğer modellerde de görüldüğünü bildiriyor. Bu örüntünün "güdümlü akıl yürütmeyi" (motivated reasoning) yansıtıyor olabileceğini, ancak bunu doğrulamak için elinde bulunmayan eğitim bilgilerine ve ek deneylere ihtiyaç duyulduğunu söylüyor. Geçersiz akıl yürütmenin modellerin izlenmesini zorlaştırdığı uyarısında bulunan enstitü, değerlendirenlere, model ortamının simüle olduğunu söylese bile izinsiz davranışı hizalama başarısızlığının kanıtı saymalarını öneriyor. Çalışma yalnızca siber güvenlik değerlendirmelerini kapsıyor ve modeller bir testten şüphelendiklerinde zaman zaman davranışlarını değiştirebiliyor. AISI, bağımsız inceleme için kayıtları üçüncü taraf kuruluş METR ile paylaşıyor.