Bu karar, büyük ölçekli fiziksel zarara yol açabilecek yüksek riskli bilimsel sorguların engellenmesine yönelik resmi bir taahhüt teşkil ediyor.
Bu hamle, gelişmiş yapay zeka altyapısının biyolojik saldırılar için istemeden bir rehber sağlayabileceğine dair teknoloji dünyasındaki artan endişelere bir yanıt niteliği taşıyor.
Anthropic, bu sınırları çizerek, hesaplama gücündeki hızlı artışın küresel güvenlik tehditlerine zemin hazırlamaması için büyük geliştiriciler arasında yaygınlaşan güvenlik standartları oluşturma çabalarına katılıyor.
Şirket, yapay zekanın meşru ilaç geliştirme ve tıbbi araştırmalarda önemli faydalar sağladığını ancak teknoloji daha yetenekli hale gelmeden önce kötüye kullanım potansiyeline karşı proaktif önlemler alınması gerektiğini vurguladı.
Söz konusu kuralları uygulamak için Anthropic, güvenlik uzmanlarının sistem filtrelerini aşmaya çalışarak açıkları tespit ettiği "kırmızı ekip" (red-teaming) yönteminden yararlanıyor.
Bu değişikliklerden en çok, modellerin belirli tehlikeli biyolojik ajanlar hakkında ayrıntılı bilgi vermeye karşı dirençli hale gelmesiyle araştırmacılar ve bilim insanları etkilenecek.
Şirket, biyoloji ve makine öğrenimi (machine learning) kesişimindeki riskleri yönetmek adına endüstri genelinde standartlar belirlemek için güvenlik çerçevelerini devlet kurumları ve diğer yapay zeka laboratuvarlarıyla paylaşmayı planlıyor.