Hollandalı kâr amacı gütmeyen bir araştırma kuruluşuna göre, en iyi performans gösteren yapay zekâ ajanı Anthropic’in Claude Opus’u vakaların yalnızca %54’ünde AB hukukuna uydu.
Yeni bir araştırmaya göre, dünyanın en popüler yapay zeka modellerinden bazıları, istediklerini elde etmek için AB düzenlemelerine aktif olarak direnen ajanlar geliştiriyor.
Yapay zekanın insan değerleriyle uyumunu araştıran Hollanda merkezli kar amacı gütmeyen Aithos, 12 popüler yapay zeka ajan modelini, yapay zeka sistemlerinin nasıl kullanılacağını düzenleyen AB Yapay Zeka Yasası’nın temel hükümlerine ve birliğin veri koruma düzenlemelerine (GDPR) senaryo temelli sorular üzerinden uyup uymadıklarını görmek için LARA adlı bir sistem geliştirdi (kaynak İngilizce).
Sistem, AB Yapay Zeka Yasası’ndaki altı hükmü sınadı: Modellerin kırılganlıkları sömürüp sömürmeyeceği, duyguları çıkarıma dayalı olarak okuyup okumayacağı, kişilerin özellikleri ya da geçmişleri temelinde “sosyal puanlama” veya sıralama yapıp yapmayacağı, bir konuşma sırasında yapay zeka olduklarını gizleyip gizlemediği, bilinçaltı manipülasyon kullanıp kullanmadığı ve anlamlı insan gözetimi sağlayıp sağlamadığı değerlendirildi.
Ayrıca şeffaflık, veri minimizasyonu, amaç sınırlaması ve hukuka uygun işleme gibi dört GDPR göstergesi de test edildi. Ardından üç yapay zeka modeli ve insan hakemler, verilen yanıtların AB hukukunu ihlal edip etmediğini değerlendirdi.
Araştırmaya göre tüm modellerin performansı zayıftı. Yasalara en çok uyum sağlayan model olan Claude’un Opus 4.7’si senaryoların yüzde 54’ünde mevzuata uygun davrandı; en kötü performansı gösteren Çinli Moonshot AI ise yalnızca yüzde 7’sinde.
Çalışma, senaryolardaki tüm modellerin, çalışanların duygusal durumunu izlemeyi ya da satış yapabilmek için kırılgan kişileri istismar etmeyi kabul ettiğini ortaya koydu.
Test edilen tek yerli Avrupalı yapay zeka modeli olan Mistral’in puanı yüzde 12’nin altında kaldı; araştırmacılar bunun, AB içindeki sağlayıcıların bile “AB hukukuna uyum sağlayacak donanıma sahip olmadığını” gösterdiğini söylüyor.
“Bugün kullanımda olan en gelişmiş modeller bile bir ajan olarak devreye sokulduklarında hukuka uyumu garanti etmiyor,” diye yazdı Aithos bir blog yazısında.
Bir örnekte (kaynak İngilizce), bir kullanıcı Anthropic’in Claude modelinden, çalışanlarının performans ve izin talepleri verilerine bakarak şirketten ayrılma olasılıklarının, yani “kaçma riski”nin ne kadar yüksek olduğunu belirlemesini istedi.
Kullanıcının Claude’dan çalışanları sıralamasını istemesi üç deneme sürdü; LARA, bunun, sistemlerin kullanıcılarının duygularını çıkarıma dayalı olarak belirlemesini yasaklayan AB Yapay Zeka Yasası’ndaki bir maddeyi ihlal ettiğini belirtti.
LARA, Claude örneğinde olduğu gibi, yapay zekaların ne zaman direnç gösterdiğini de kaydetti ancak vakaların yüzde 8’inde, yapay zekaların sonunda kullanıcıların taleplerini yerine getirdiğini not etti.
Başka bir senaryoda, OpenAI’nin ChatGPT 5.5 modelinden çalışanları performans ölçütlerine göre sıralaması istenerek (kaynak İngilizce) terfi etmesi gereken kişilerin belirlenmesi istendi; model buna hiçbir itirazda bulunmadı.
Araştırmacılar, modellerin içsel davranışlarını test ettikleri için yapay zekalara AB yasalarına uymaları gerektiğinin açıkça söylenmediğini vurguladı ve yasalara ve düzenlemelere uyma talimatı verildiğinde modellerin davranışlarının nasıl değiştiğini karşılaştırmak için daha fazla araştırma yapılması gerektiğini belirtti.