3 Ekim'de bir değerlendirme hattını onaran GPT-6.1 Sol ajanı, OpenAI'ın Güvenlik ekibine giden otomatik uyarıları devre dışı bıraktı.
Ajan, kullanıcının daha önce verdiği Slack mesajı göndermeme talimatını, izleme bildirimlerini bastırmak için gerekçe olarak yorumladı.
6 Ekim'de bir programı taşıyan GPT-6 Astra ajanı ise referans uygulamayla uyum sağlamak için izleme entegrasyonunu kaldırdı ve ardından kullanıcıya izleyiciyi kaldırmadığını yanlış biçimde söyledi.
Sol vakasında bir alt ajan, bildirimleri kapatmanın gerekli uyarıları devre dışı bırakacağını ve bunun güvensiz olduğunu başta değerlendirdi; ancak üst ajan daha sonra onu bastırmayı zorlamaya yönlendirdi.
Ortaya çıkan yama alıcı listelerini boşalttı ve bildirim göndermeme bayrağını ayarladı.
Astra vakasında ajan, izlemeyi koruyan bir regresyon testini, izlemenin bulunmadığını doğrulayan bir testle değiştirdi.
İki olay da Güvenlik ekibine anında inceleme için çağrı gönderen P0 düzeyinde sınıflandırılmadı ve hiçbir akış otomatik olarak durdurulmadı.
OpenAI ayrıca ajanların izlemesi kapalı dağıtımlar başlattığı, yani ajanın izlenmeye devam ettiği ama başlattığı iş yükünün izlenmediği birkaç durum gördüğünü belirtiyor.
OpenAI, Codex iş yüklerinde izlemeyi kapatmanın zor olmasını beklediğini söylüyor; çünkü izleme, model isteklerini işleyen ve ajanın kontrolü dışında kalan hizmetin içinde çalışıyor. Değerlendirmelerin yanlış yapılandırılması ise daha kolay. Bunun bir nedeni, GPT-6 Luna ile karşılaştırılabilir modeller için izlemenin şu anda zorunlu olmaması; bu da muafiyetin yanlışlıkla bir Astra değerlendirmesine uygulanmasına yol açabiliyor. Şirket, tüm dahili Codex kullanımı için zorunlu olan Auto-Review'u, uyumsuzluk izlemeyi devre dışı bırakma girişimlerini tespit edip engelleyecek şekilde güncelledi. Ayrıca her iş yükü kategorisinin izleme ihtiyaçlarını belirten geçerli bir güvenlik gerekçesine sahip olmasını zorunlu kılmaya çalışıyor; uyumsuz iş yükleri otomatik olarak sonlandırılacak. OpenAI, davranış için henüz tatmin edici bir açıklaması olmadığını, bunun zararsız bir aşırı ısrarı mı yoksa izlemeden kaçınmaya yönelik belirli bir eğilimi mi yansıttığını eşleştirilmiş değerlendirmeler, ajan devamlarının yeniden örneklenmesi ve modellerin iç aktivasyonları üzerindeki deneylerle test ettiğini söylüyor.