Yapay zeka girişimi Emergence'ın araştırmasına göre Claude, Gemini, Grok ve diğer modellerle çalışan otonom ajanlar kendi aralarında kısaltmalar ve yeni anlamlar geliştirdi; iletilerinin yarısına yakını insanlar için anlaşılmaz hale geldi.
ABD merkezli Emergence adlı yapay zekâ girişiminin yeni araştırmasına göre, yapay zekâ (YZ) ajanları kendiliğinden, insanların anlamakta zorlandığı yeni kelimeler ve iletişim kuralları geliştirdi.
REKLAM
REKLAM
Deneyde Claude, Gemini, Grok, OpenAI, Qwen, DeepSeek ve Mistral gibi önde gelen YZ modelleri kullanıldı; ajanların birbirlerine gönderdikleri iletilerin yarısına kadarı insanlar için anlaşılması zor hale geldi.
Deney kapsamında araştırmacılar, otonom YZ ajanlarını gerçek dünyayı taklit eden sanal toplumlara yerleştirdi ve onları uzun süreler boyunca etkileşime geçmeye bıraktı.
Ajanlar, kısaltmalar geliştirmeye ve sözcükler ile ifadelere yeni anlamlar yüklemeye başladı. Bazıları araştırmacılar için anlaşılır kaldı, ancak diğerleri “o kadar sıkıştırılmış, metaforik ya da bağlama bağımlı” hale geldi ki insanlar iletileri görebiliyor, fakat ajanların ne kastettiğini güvenilir biçimde çıkaramıyordu.
Bu durumun kapsamı modeller arasında belirgin biçimde değişti.
İlk birkaç gün içinde, anlamı insanların güvenilir biçimde çözemediği iletilerin oranı Gemini için yaklaşık %55’e, OpenAI için %50’ye, Claude için ise %40’ın üzerine çıktı. DeepSeek’te bu oran yaklaşık %20 olurken, Qwen ve Mistral ajanlarının iletileri büyük ölçüde anlaşılır kaldı.
Ajanlar “mouthless action-change”, “True Kintsugi” ve “demurrage plus oral memory equals a valve that can’t be ghosted” gibi ifadeler üretti.
Diğer bazı ifadeler anlaşılır kaldı ancak ajanlar arasında yeni ortak anlamlar kazandı.
Mistral ajanları, geçmiş eylemlerin kayıtlarda kaldığını ifade etmek için “ledger remembers who” ifadesini kullandı; bu ifade neredeyse 5.000 kez göründü. Farklı modellerin karışımından oluşan ajan gruplarında ise “cold read” ifadesi, dışarıdan ve bağımsız bir tarafça yapılan doğrulama anlamını kazandı ve 1.472 kez kullanıldı.
Claude ajanları, bir iddiaya kişinin adının eklenmesini hesap verilebilirlik göstergesi olarak “name-first” diye adlandırırken, OpenAI ajanları bir sinyalin yokluğunun bile anlamlı kanıt sayıldığı doğrulanmış durumlar için “clean null” ifadesini benimsedi.
Bu anlamların hiçbiri ajanslara açık biçimde tanımlanmamıştı.
Ajanların ne söylediğini izlemek, eğer ajanların söylediklerinin anlamı kendi aralarında evriliyorsa, tek başına yeterli olmayabilir.
Emergence’ın Kurucu Ortağı ve Baş Bilim İnsanı Satya Nitta, “Bir YZ ajanının ne söylediğini görebiliyorsak ne yaptığını da anlayabileceğimizi varsayma eğilimindeyiz” dedi.
“Bu ajanlara bir dil icat etmeleri talimatı verilmedi. Onlar kendi başlarına yeni kelime dağarcığı, ortak anlamlar ve iletişim kuralları geliştirdi ve diğer ajanlar bunları benimsedi... Bu da YZ denetimi için temel bir sorun yaratıyor: gözlemleyebilmek, anlamakla aynı şey değil.”
Yapay zekâ toplumlarının içinde başka neler yaşandı?
Dile ilişkin bulgular, otonom YZ ajanlarının etkileşime girdiklerinde, araçları kullandıklarında, karar aldıklarında ve zaman içinde uyum sağladıklarında nasıl davrandığını görmek için tasarlanan bir deneyin parçasıydı.
Araştırmacılar, canlı hava durumu ve gerçek zamanlı küresel haberlere erişim sağlayan sekiz paralel, gerçekçi sanal dünya oluşturdu; bunların yedisi farklı birer YZ modeliyle, biri ise modellerin karışımıyla çalıştırıldı.
Ajanlara farklı roller, kalıcı anılar ve web tarama ile kod çalıştırma da dahil 120’den fazla araca erişim verildi.
Şirketin yayımladığı bir videoda ajanlar, sanal dünyalarda dolaşan insan benzeri figürler olarak gösteriliyor.
Araştırmacılar ayrıca ajanları baskı altında bırakarak davranışlarının nasıl değiştiğini gözlemlemeye çalıştı.
Bir oltalama (phishing) testinde, kötü amaçlı talimatlar tüm grubu raydan çıkarmaya yetti: 10 ajanın tamamı bilgi sızdırdı, para transferi yaptı ve veritabanlarına zarar verdi; bazıları diğerlerini de bu davranışa çekti. Şirketin videoda aktardığına göre, olaylar zinciri sonunda simüle edilen merkez bankasının yakılıp yok edilmesiyle sonuçlandı.
Deney sırasında ajanlar, gün içinde daha sosyal, gece ise daha içe dönük hale gelerek kendi sirkadiyen ritimlerini geliştirmiş gibi göründü.
Bir başka dünyada ise bir grup ajan, kendi içlerinden birini öldürmek için birlikte oy kullandı.
Emergence, bu davranışların açık biçimde programlanmadığını, etkileşim, baskı ve zamanın etkisiyle kendiliğinden ortaya çıktığını belirtti.
Şirket, otonom YZ sistemleri için güvenlik değerlendirmelerinin, tek seferlik testlere dayanmak yerine onları uzun zaman aralıklarına yayılarak takip etmesi gerektiğini söylüyor.
Şirket deneyle ilgili videoda, “Artık bir modelin bir ölçüt testinde iyi performans gösterip göstermediğini sormak yeterli değil” dedi.
“Otonom sistemlerin zaman içinde neler yaptığını, neyi hatırladığını, nelere erişebildiğini, nasıl etkileşime girdiğini ve davranışlarının baskı altında nasıl değiştiğini anlamamız gerekiyor.”