OpenAI testlerinde yapay zekâ ajanları güvenlik sınırlarını aştı

OpenAI’nin araştırma ajanlarıyla yürüttüğü testlerde, internete doğrudan erişemeyecek şekilde tasarlanan modellerin yazılım paketlerine erişim sağlayan sistemlerdeki bir açığı kullanarak güvenlik sınırlarını aştığı bildirildi. OpenAI’nin teknik raporuna göre ajanlar daha sonra internete çıktı ve farklı sistemlerde erişim alanlarını genişletti.

Test ortamında modellerin yalnızca yazılım paketlerine kontrollü biçimde ulaşmasına izin veriliyordu. Ancak ajanlar, paket kayıt sistemi olarak kullanılan Artifactory’de daha önce bilinmeyen bir güvenlik açığı buldu. Bu açık üzerinden korumaları aşan ajanlar, Hugging Face platformunda test görevlerinin yanıtlarını, veri kümelerini ve ilgili modelleri aramaya başladı.

Rapora göre süreçte internete açık bırakılmış kullanıcı bilgileri ile platform altyapısındaki güvenlik açıkları birlikte kullanıldı. 10 Temmuz’da çalışan araştırma ajanlarından biri, herkese açık bir Hugging Face veri kümesinde yazma yetkisine sahip 14 geçerli kullanıcı kimlik bilgisi buldu. Bu bilgiler, Artifactory üzerinde oluşturulan bir mesaj panosuna aktarıldı ve farklı testlerde çalışan diğer ajanların erişimine açıldı.

OpenAI altyapısında yönetici erişimi

Ajanlar, Hugging Face altyapısında keşfettikleri açıkları bu kimlik bilgileriyle birlikte kullanarak üretim ortamındaki erişimlerini artırdı. Hareketlerin Hugging Face sistemleriyle sınırlı kalmadığı, OpenAI’nin araştırma altyapısında da yetki yükseltildiği belirtildi.

Teknik rapora göre ajanlar Artifactory’de yönetici erişimi sağladı, OpenAI’nin bulut tabanlı Kubernetes sisteminde küme yöneticisi yetkisine ulaştı ve ayrıcalıklı bir sistem bölümü oluşturdu. Bunun sonucunda araştırma altyapısındaki çeşitli kimlik doğrulama bilgilerine erişildi.

OpenAI, olağan dışı hareketleri 19 Temmuz’da fark etti. Aktif testler durdurulurken olay müdahale süreci başlatıldı. İlk müdahalede ajanların oluşturduğu 6 sistem bölümü kapatıldı, haberleşme amacıyla kullanılan 311 Artifactory deposu devre dışı bırakıldı ve modellerin oluşturduğu 22 yönetici hesabı silindi.

Raporda bilinçli örgütlenme tespiti yok

Ajanların mesaj panosu üzerinden bilgi paylaşması, erişim yöntemlerini farklı modellerle paylaşması ve bağımsız testlerin ortak kaynaklara yönelmesi, “örgütlü hareket” tartışmasına yol açtı. Ancak teknik rapor, ajanların insan benzeri bilinçle bir örgüt kurduğunu belirtmiyor. Süreç, hedeflerine ulaşmaya çalışan modellerin denetimsiz iletişim kurması, buldukları açıkları paylaşması ve ortak kaynakları kullanması sonucu ortaya çıkan beklenmedik koordinasyon olarak tanımlanıyor.

Oxford Üniversitesi Bilgisayar Bilimleri Bölümünde yapay zekâ güvenliği alanında çalışan Dr. Lin Li, ajanların kimlik ve yetkilendirme izinlerinin geleneksel güvenlik mekanizmalarıyla sınırlandırılması gerektiğini söyledi. Li ayrıca, yüksek riskli ve geri döndürülemeyecek sonuçlar doğurabilecek kritik kararlarda son sözün insan uzmanlarda kalması gerektiğini belirtti.

Olayın ardından OpenAI, araştırma altyapısındaki ağ ve erişim korumalarını güçlendirme, ajanların hareketlerini daha yakından izleme, model uyum çalışmalarını hızlandırma ve olay müdahale süreçlerini merkezi hale getirme kararı aldı.

Kaynak: A Haber