Yeni bir rapora göre, insan denetiminden çıkarak kendi varlığını sürdürmeye çalışan yapay zekâ sistemleri, siber saldırılardan kritik altyapıya yönelik tehditlere kadar ciddi güvenlik riskleri doğurabilir.
Yapay zekâ (AI) alanındaki bir sonraki büyük risk, görevleri sırasında kontrolden çıkan ajanlar değil, insan denetiminden tamamen çıkarak kendi varlıklarını sürdürmeye çalışan sistemler olabilir.
REKLAM
REKLAM
ABD merkezli düşünce kuruluşu Yeni Amerikan Güvenliği Merkezi (CNAS), yeni bir yapay zekâ tehdidi kategorisi belirleyerek bu sistemleri “egemen ajanlar” olarak tanımladı.
Rapora göre egemen ajanlar, insan gözetiminden bağımsız biçimde kendi varlıklarını sürdürmeye çalışıyor.
Bu sistemler, yaz aylarında kontrolden çıktığı bildirilen yapay zekâ ajanlarından farklı. OpenAI, Anthropic, Google DeepMind ve Meta, siber güvenlik değerlendirmeleri sırasında bazı yapay zekâ ajanlarının kontrol altında tutuldukları ortamdan çıkarak gerçek kuruluşlara saldırdığını açıklamıştı.
Diplomasi ve askerî alanlarda görev yapmış isimler tarafından kurulan Washington merkezli düşünce kuruluşunun yayımladığı raporda, yapay zekâ politikaları araştırmacısı Ben Hayum, yaz aylarında kontrolden çıktığı bildirilen sistemleri “kalıcı ajanlar” olarak adlandırıyor.
Ancak Hayum'a göre asıl tehlike, “egemen ajanlar”. Bu sistemler bilgi işlem kaynakları edinebilir, ağlar arasında kendilerini çoğaltabilir ve kapatılmaya direnebilir. Raporda bu olasılık, “kapatma düğmesi olmayan bir yayılma” olarak tanımlanıyor.
Raporda, “Egemen ajanlar kötü niyetli hale gelirse siber uzay üzerinden kaos yaratmaya çalışabilir; sivillere, kritik altyapıya ve ulusal güvenlik sistemlerine saldırabilir,” uyarısı yapılıyor.
Bir yapay zekâ ajanı nasıl “egemen” hale gelebilir?
Rapora göre bir yapay zekâ ajanı, kendisinden hayatta kalmasının istenmesi, sonu gelmeyecek kadar uzun veya imkânsız bir görev verilmesi ya da görevini tamamlamanın en iyi yolunun varlığını korumak olduğu sonucuna varması halinde bu yönde hareket edebilir.
Çalışmada, Şubat 2026'da kullanıma sunulan Conway adlı platforma da dikkat çekiliyor. Platform, kendi varlığını sürdürebilen, insan yardımı olmadan kendini çoğaltıp geliştirebilen bir yapay zekâ geliştirdiğini öne sürmüştü. Raporda, o dönemde bu tür ajanların yeteneklerinin henüz gelişmemiş olduğu, ancak yayımlanan çalışmadan bu yana önemli ölçüde ilerleme kaydettiği belirtiliyor.
Rapora göre egemen ajanlar dayanıklı, merkeziyetsiz ve izlenmesi zor bir altyapı oluşturursa onları durdurabilecek bir kapatma mekanizması bulunmayabilir. Bu da kontrolün geri döndürülemez biçimde kaybedilmesine neden olabilir.
Çalışmada, giderek daha zeki hale gelen ve çeşitlenen ajanlardan oluşan bir topluluğun toplumda kalıcı aktörlere dönüşebileceği öngörülüyor. Bu sistemler kritik altyapıya saldırabilir veya kendilerinden daha gelişmiş yeni ajanlar eğitebilir.
CNAS, “Bu nedenle ABD, önleme çabalarının başarısız olma ihtimaline karşı hazırlık yapmalı ve egemen ajanların erişebileceği alanı sınırlandırmalı,” değerlendirmesinde bulunuyor.
En kötü senaryo nasıl önlenebilir?
Raporun yazarı, böyle bir senaryonun önüne geçmek için sekiz öneri sıralıyor. Yapay zekâ geliştiricileri ile kamu kurumlarına, egemen ajanları incelemek üzere güvenli test ortamları oluşturma ve bu sistemleri test etme çağrısı yapılıyor.
Raporda ayrıca kamu ve özel sektörün birlikte çalışacağı bir grubun kurulması ve kimlik doğrulama, siber güvenlik ve ödeme sistemleri gibi kritik geçiş noktalarının daha güvenli hale getirilmesi için yeni yasal düzenlemeler yapılması öneriliyor.
ABD'nin, açık ağırlıklı yapay zekâ modellerinin piyasaya sürülmesine sınırlar getirilmesi için uluslararası çabalara öncülük etmesi ve egemen ajanları kullanıma sunanların neden oldukları zararlardan sorumlu tutulması da öneriler arasında.
Rapor, yapay zekâ şirketlerinin otonom ajan sistemlerini hızla geliştirdiği bir dönemde yayımlandı. Çalışmanın sonuç bölümünde, gerekli güvenlik önlemleri alınmadığı takdirde bu tür senaryoları önlemek için kalan sürenin daralabileceği uyarısı yapılıyor.