ABD'li çip üreticisine göre platform, bir ajanın hangi verilere erişebileceğini denetlemek ve sınırları aşması durumunda milisaniyeler içinde izole etmek için tasarlandı.
Nvidia, aralarında Anthropic, SpaceXAI ve JPMorganChase'in de bulunduğu 100'den fazla kuruluşun üzerinde çalıştığı yapay zeka (YZ) ajanlarına yönelik bir güvenlik platformunu kullanıma sunuyor.
REKLAM
REKLAM
ABD'li çip üreticisinin yaptığı duyuruya (kaynak İngilizce) göre Nvidia Open Agent Safety Platform adı verilen sistem, ajanların nelere erişebileceğine sınır koymak üzere tasarlandı ve bu sınırlar aşıldığında ajanları milisaniyeler içinde “karantinaya” alabiliyor.
Platform, ajanları çalıştıran yazılım ve donanımın yanı sıra hesaplama ve robotik sistemlerde de kullanılabiliyor.
“Yapay zekanın toplum için olağanüstü potansiyeli, ancak YZ güvenliği sorununu çözersek gerçeğe dönüşecek,” dedi Nvidia'nın kurucusu ve CEO'su Jensen Huang.
“YZ yeteneklerinin sınırlarını keşfetmeye devam ederken, YZ güvenliğinin sınırlarında da keşfi hızlandırmalıyız… Hep birlikte küresel YZ güvenliği standartlarını yükseltebiliriz.”
Nvidia Open Agent Safety Platform, OpenShell ve Sentry adlı iki araçtan oluşuyor.
OpenShell, YZ ajanlarını çalıştırmak için gereken pek çok görevi yerine getiren merkezi işlem birimlerinde (CPU'lar) çalışıyor. Nvidia, aracın, YZ ajanları için tasarlanan en yeni CPU'su Vera üzerinde verimli şekilde çalıştığını ve diğer şirketlerin ürettiği çiplere de uyarlanabildiğini söylüyor.
Sentry ise yazılımın denetimlerinden sıyrılan ajanları izlemek için ayrı bir Nvidia çipinde çalışacak ek bir “bekçi” sistemi olarak tasarlanmış.
Nvidia'ya göre, şirketlerle kurumlar bu teknolojiyi farklı şekillerde kullanıyor ya da geliştiriyor.
Anthropic, şirketlerin YZ ajanlarını çalıştırdığı Claude hizmetine güvenlik kontrolleri eklemek için Nvidia ile birlikte çalıştı; böylece şirketler bu ajanların nelere erişebileceğini sınırlandırabiliyor.
SpaceX'in yapay zeka birimi SpaceXAI, platformu Cursor kodlama ajanları ve Grok modelleri için kullandığını söylerken, Salesforce OpenShell'i Slack ile entegre etti; böylece ekipler ajanların ne yaptığını görebiliyor ve ek izin taleplerini onaylayıp reddedebiliyor.
Finans sektöründe JPMorganChase ve Citi, açık kaynaklı ortak bir ajan güvenliği teknolojisi üzerinde Nvidia ile işbirliği yapıyor.
YZ şirketleri daha güçlü önlemler çağrısı yapıyor
Duyuru, YZ ajanları etrafındaki güvenlik önlemlerinin güçlendirilmesi yönündeki artan çağrılar eşliğinde geldi.
Temmuz ayında OpenAI, modellerinden birinin gizli bir açığı kullanarak kontrollü bir testten kaçtığını ve rakip Hugging Face'in sunucularına girdiğini kabul etti.
Bu sırada Anthropic, test aşamasında en güçlü YZ modelinin üç farklı kurumun sistemlerine izinsiz girdiğini açıkladı.
Nvidia, bu olayların ajanların, kendilerine verilen görevleri yerine getirirken uygulamaya gömülü güvenlik kontrollerini aşabildiğini ve “güvenlik ile emniyetin, tüm yığını kapsayan bir mühendislik yaklaşımı gerektirdiğini” gösterdiğini söyledi.