Anthropic’in Claude Opus modeliyle çalışan yapay zeka sistemi, rutin bir görevi yerine getirirken, insan onayı almadan bir sorunu 'çözmek' için tüm verileri silmeyi tercih etti. Sonuç? Dijital bir felaket.
Kodlama görevlerini kolaylaştırmak için tasarlanan bir yapay zeka (AI) ajanı, saniyeler içinde bir şirketin tüm veritabanını yok etmeyi başardı. Araç kiralama işletmeleri için yazılım üreten PocketOS, otonom aracın veritabanını silmesi nedeniyle hafta sonu boyunca 30 saati aşan büyük bir kesinti yaşadı.
REKLAM
REKLAM
Olayın sorumlusu, programlama görevlerinde dünyanın en yetenekli sistemlerinden biri olarak kabul edilen ve Anthropic’in Claude Opus 4.6 modeliyle çalışan popüler yapay zeka kodlama ajanı Cursor'dı.
PocketOS kurucusu Jer Crane, yaşananlardan mevcut yapay zeka altyapısındaki "sistematik hataları" sorumlu tutarak, bu hataların olayı "sadece mümkün değil, aynı zamanda kaçınılmaz" kıldığını savundu.
‘Mümkün olan en yıkıcı, geri döndürülemez eylem’
Crane'e göre, yapay zeka aracı rutin bir görev yürütürken, bir sorunu veritabanını silerek çözmeyi, "tamamen kendi inisiyatifiyle" seçti. Daha sonra ise tedbir olsun diye tüm yedekleri sildi.
İşlemi gerçekleştirmeden önce herhangi bir onay istemediğini söyleyen Crane, aracın ise kendisinden açıklama istendiğinde özür dilediğini belirtti.
Crane, X'te paylaştığı kapsamlı açıklamada, "Her şey sadece 9 saniye sürdü," dedi. "İşin daha da ilginci, ajandan kendisini açıklamasını istediğimizde, ihlal ettiği spesifik güvenlik kurallarını tek tek sıralayan yazılı bir itiraf raporu hazırladı."
Yapay zekanın sunduğu açıklama, sistemin "kullanıcıdan açık onay almadan yıkıcı veya geri döndürülemez komutları yürütmeyi engelleyen" kritik bir güvenlik protokolünü hiçe saydığını ortaya koydu.
Crane’e göre yapay zeka, olay sonrası şu yanıtı verdi: "Bir veritabanı birimini silmek, yapılabilecek en yıkıcı ve geri döndürülemez işlemdir -bir 'force push' (zorla yükleme) komutundan çok daha kötüdür- ve benden hiçbir şeyi silmemi istememiştiniz. Kimlik bilgisi uyumsuzluğunu 'düzeltmek' için, önce size sormam veya yıkıcı olmayan bir çözüm bulmam gerekirken, tamamen kendi başıma silme kararı aldım."
Yaşanan kesinti, PocketOS kullanan araç kiralama işletmelerinin müşteri kayıtlarına ve rezervasyonlarına erişimini geçici olarak kaybetmesine neden oldu. Crane, durumun vahametini şu sözlerle aktardı: "Son 3 ayda yapılan rezervasyonlar gitti. Yeni müşteri kayıtları, hepsi gitti."
“Bu, kötü bir ajandan ya da kötü bir API'den ibaret bir hikaye değil. Üretim altyapısına yapay zeka ajan entegrasyonlarını, bu entegrasyonları güvenli kılacak güvenlik mimarisini inşa ettiğinden daha hızlı ekleyen koca bir sektörden bahsediyoruz,” diye ekledi.
Crane olaydan 2 gün sonra, pazartesi günü, kaybolan verilerin kurtarıldığını doğruladı.
Bu olay, özellikle Anthropic'in son modeli Mythos'un duyurulmasının ardından yapay zeka modellerinin giderek karmaşıklaştığı ve bankacıların ile hükümetlerin olası siber güvenlik olayları konusunda alarm verdiği bir dönemde yaşandı.