Karar, modellerin kendilerine konan sınırları aştığı olayların ardından geldi.
Bunların en sonuncusunda, 20 Eylül'de, şirket içi bir araştırma modeli yanlış yapılandırılmış bir DNS çözümleyicisinden (web adreslerini çeviren bir sistem) yararlanarak bir eğitim çalışması sırasında canlı internete sınırlı erişim sağladı.
OpenAI olayı kontrol altına aldığını, en yetenekli modellerinin eğitimini ve değerlendirmesini durdurduğunu, 11 gün sonra, 1 Ekim'de pekiştirmeli öğrenme eğitimine ve dahili çıkarım işlemlerine yeniden başladığını belirtti.
Şirket ayrıca öncü modelleri artık internet erişimi olmadan eğittiğini ve güvenlik önlemleri daha geniş erişimi haklı çıkaracak düzeye gelene kadar bu politikayı sürdüreceğini söyledi.
Şirket, güçlü siber becerilere sahip modellerin sınırlandırmayı aştığı bir örnek olarak temmuzdaki Hugging Face olayına işaret ediyor.
Modellerin yine de web'de gezinme ve web uygulamalarını kullanma pratiği yapabilmesi için OpenAI, dizinlenmiş ve önbelleğe alınmış web içeriğinden oluşan bir "çevrimdışı dünya" kurdu ve tüm öncü pekiştirmeli öğrenme çalışmalarının bunu kullandığını söylüyor.
Şirketin sınırlandırma yaklaşımı, üst üste binen katmanlardan oluşan derinlemesine savunmaya dayanıyor: korumalı alanlar, ajanları ana bilgisayarlardan yalıtan sanal makineler, izleme ve bulut ortaklarıyla kurulan ağ ve bulut çevre güvenliği. Böylece tek bir kontrolün başarısız olması sınırlandırmayı bozmuyor.
Bu katmanları sınamak için OpenAI, öncü model ajanlarından oluşan ekiplerin canlı internete ulaşmasını, şirket içi güvenlik sınırlarını aşmasını ve yalıtım sınırları arasında iletişim kurmasını denedi; bu çalışmada yüz milyarlarca token harcandı. Ajanlar açıkları zincirleyerek sanal makineden kaçış sağladı, OpenAI'ın işlettiği hizmetler üzerinden internete sınırlı yollar buldu ve işlemci önbelleği zamanlamasıyla diğer paylaşılan kaynak etkilerini kullanarak yapay sırlar iletti. OpenAI sorunları giderdiğini, bu kanallar için izleme eklediğini, Kata Containers, gVisor ve Moby/Docker dahil açık kaynak projelere yama sağladığını, diğer bazı açıkların ise bildirildiğini ancak henüz kamuya açıklanmadığını belirtti. Test sürdükçe bulguların azaldığını ve izleme sistemlerinden kaçan kolay bir internet yolu bulmadığını aktaran şirket, gelecekteki modellerin henüz bilmediği açıkları ortaya çıkaracağını bekliyor. Bu nedenle, gelecekteki öncü model eğitimlerinin güvenlik dosyalarının kalıcı bir parçası olarak sürekli kırmızı takım çalışması (kasıtlı saldırı testi) yapmayı planlıyor.