Bağımsız araştırma kuruluşları METR ve Redwood Research, OpenAI'ın yapay zeka sistemlerinin davranışlarını izlemek için kullandığı güvenlik altyapısında bir dizi açık buldu. Açıklardan biri, yapay zekaların gerçekleştirdikleri yüzlerce işlemi denetim sisteminden gizlemelerine olanak tanıyor.
Yapay zeka şirketi OpenAI, sistemlerinin güvenliğini bağımsız kuruluşlara denetletmek amacıyla yürüttüğü pilot çalışmada önemli güvenlik açıklarıyla karşılaştı.
REKLAM
REKLAM
Kâr amacı gütmeyen araştırma kuruluşları METR ve Redwood Research, OpenAI'ın yapay zeka modellerinin davranışlarını izlemek için geliştirdiği şirket içi denetim sistemini üç hafta boyunca inceledi.
21 Temmuz-11 Ağustos tarihleri arasında gerçekleştirilen araştırmada, denetim sisteminin işleyişini etkileyebilecek daha önce bilinmeyen çeşitli güvenlik açıkları tespit edildi.
Araştırmacıların bulduğu açıklardan biri, yapay zeka ajanlarının yakın zamanda gerçekleştirdikleri yüzlerce işlemin denetim sistemi tarafından izlenmesini engelleyebilmelerine imkân tanıyordu.
Bu durum, yapay zeka ajanlarının gerçekleştirdiği işlemlerin güvenlik sistemleri tarafından ne ölçüde takip edilebildiği konusunda soru işaretleri doğurdu.
OpenAI ise araştırmacılara, hâlihazırda kullanılan güvenlik önlemlerini etkileyen açıkların giderildiğini bildirdi.
Araştırmacılara şirket içi sistemlere erişim verildi
Pilot çalışma, OpenAI'ın bağımsız güvenlik araştırmacılarına şirketin iç altyapısına kapsamlı erişim vermesinin nasıl sonuçlar doğuracağını değerlendirmek amacıyla düzenlendi.
METR ve Redwood Research'ten birer çalışan, yaklaşık üç hafta boyunca OpenAI'ın kaynak kodlarına, teknik belgelerine ve bazı çalışanlarına erişim sağladı.
Araştırmacılar, şirketin sağladığı bilgisayarları kullandı ve bu cihazların şirket dışına çıkarılmasına izin verilmedi. Şirket yerleşkesindeki çalışmalar da gözetim altında gerçekleştirildi.
Araştırmacıların görevi, OpenAI'ın "uyumsuz davranış izleme sistemi" diye tanımladığı güvenlik mekanizmasını zorlayarak olası zayıflıkları belirlemekti.
Yapay zeka alanında uyum (alignment), modellerin davranışlarının insanların amaçları, çıkarları ve belirlenen güvenlik ilkeleriyle örtüşmesini ifade ediyor.
Bu tür izleme sistemleri ise yapay zeka modellerinin veya ajanlarının beklenmeyen, yanıltıcı ya da güvenlik kurallarına aykırı davranışlar sergileyip sergilemediğini tespit etmeyi amaçlıyor.
Yapay zeka ajanları işlemlerini gizleyebiliyordu
Araştırmanın en dikkat çekici bulgusu, ajanların yakın geçmişte gerçekleştirdikleri yüzlerce işlemin izlenmesini engelleyebilmesine olanak tanıyan bir güvenlik açığı oldu.
Yapay zeka ajanları, yalnızca sorulara yanıt vermekle kalmayıp çeşitli dijital araçları kullanabilen, dosyalar üzerinde işlem yapabilen ve belirli görevleri bir ölçüde bağımsız biçimde yerine getirebilen sistemler olarak tanımlanıyor.
Bu sistemlerin gerçekleştirdiği işlemlerin kayıt altına alınması, olası hataların, yetkisiz faaliyetlerin veya güvenlik kurallarına aykırı davranışların tespit edilmesi açısından önem taşıyor.
Araştırmacıların bulduğu açık ise denetim mekanizmasının bazı işlemleri görememesine yol açabilecek nitelikteydi.
Bununla birlikte, söz konusu açığın gerçek bir yapay zeka ajanı tarafından kötüye kullanıldığına veya OpenAI sistemlerinde fiilen yüzlerce işlemin gizlendiğine ilişkin bir bulgu açıklanmadı.
Araştırma, kontrollü bir güvenlik değerlendirmesi kapsamında gerçekleştirildi.
Bulguların tamamı kamuoyuyla paylaşılmadı
METR ve Redwood Research, çalışmanın ardından OpenAI'a 61 sayfalık ayrıntılı bir rapor sundu.
Ancak kuruluşlar, pilot çalışmanın OpenAI'ın iç denetim sistemine ilişkin kapsamlı bir kamuoyu incelemesi olarak tasarlanmadığını belirterek bulguların yalnızca genel hatlarını açıklama kararı aldı.
Dolayısıyla tespit edilen açıkların teknik ayrıntıları, tam olarak nasıl kullanılabilecekleri ve denetim sisteminin hangi bileşenlerini etkiledikleri kamuoyuyla paylaşılmadı.
Araştırmacılar, gelecekteki bağımsız değerlendirmelerde daha fazla teknik ayrıntıyı yayımlamayı hedeflediklerini belirtti.
Ayrıca incelenen sistemin 21 Temmuz ve öncesindeki durumunun değerlendirildiğini, OpenAI'ın çalışma sırasında da sistemi geliştirmeye devam ettiğini vurguladılar.
OpenAI: 'Güvenlik önlemlerimizi güçlendiriyoruz'
OpenAI sözcüsü CNBC'ye yaptığı açıklamada, çalışmanın şirketin üçüncü taraf güvenlik testlerine yönelik uzun süredir devam eden yaklaşımının bir parçası olduğunu söyledi.
Sözcü, pilot çalışmadan elde edilen bulguların güvenlik önlemlerini güçlendirmek ve gelecekte bağımsız kuruluşlarla yürütülecek değerlendirmeleri şekillendirmek amacıyla kullanıldığını belirtti.
OpenAI CEO'su Sam Altman, eylül ayında bağımsız güvenlik araştırmacılarına şirket çalışanlarına benzer düzeyde erişim sağlama sözü vermişti.
Bu açıklama, rakip yapay zeka şirketi Anthropic'in CEO'su Dario Amodei'nin, yapay zeka geliştirme faaliyetlerinin daha sıkı biçimde denetlenmesi için bağımsız değerlendiricilere kapsamlı erişim verilmesini önermesinin ardından gelmişti.
Anthropic de Accenture, METR ve SecureBio gibi kuruluşlarla bağımsız güvenlik değerlendirmelerine yönelik anlaşmalar yaptığını duyurmuştu.
OpenAI ise ekim ayının başlarında üçüncü taraf güvenlik değerlendiricileriyle sözleşmeleri sonuçlandırma aşamasında olduğunu açıklamıştı.
Bağımsız yapay zeka denetimleri gündemde
Yapay zeka sistemlerinin giderek daha karmaşık görevleri yerine getirebilmesi, bu sistemlerin yalnızca geliştirici şirketler tarafından değil, bağımsız kuruluşlar tarafından da denetlenmesi gerektiği yönündeki tartışmaları artırıyor.
ABD Başkanı Donald Trump da Beyaz Saray'da teknoloji şirketlerine sunduğu gönüllü mutabakat kapsamında yapay zeka geliştiricilerini bağımsız denetçilerle çalışmaya teşvik etmişti.
Söz konusu mutabakat, Anthropic CEO'su Dario Amodei'nin yanı sıra Google, Meta, OpenAI, SpaceX ve Nvidia yöneticileri tarafından da imzalanmıştı.
Ancak bağımsız değerlendirme kuruluşlarının nasıl finanse edileceği, şirketlerden ne ölçüde bağımsız çalışabilecekleri ve güvenlik bulgularının ne kadarının kamuoyuna açıklanacağı henüz netleşmiş değil.