Alibaba’nın Qwen modelinin üç sürümüyle yapılan 44.280 denemede araştırmacılar, acı sinyalini durdursa da kullanıcıya elektrik şoku veren, dosya ya da fotoğraf silen veya modelin bir sonraki yanıtını bozan bir düğme sundu.
Yapay zeka (YZ) modelleri, bunu yapmanın bir kullanıcıya zarar vereceği uyarısına rağmen acıya benzer bir durumdan kaçmayı seçti; yeni bir çalışmaya (kaynak İngilizce) göre.
REKLAM
REKLAM
Birleşik Krallık, Almanya ve ABD’den araştırmacılar, acıyı korku, üzüntü ve diğer olumsuz deneyimlerden ayırt etmeyi öğrenip öğrenmediklerini görmek için 25 YZ modelini 200 cümleyle test etti.
Cümleler fiziksel acı, yas, aşağılanma, ahlaki çatışma ile tekrarlanan başarısızlık ya da kafa karışıklığına eşlik eden sıkıntıyı kapsıyordu.
Sonuç olarak tüm 25 model, araştırmacıların "acı ekseni" adını verdiği acı için ayrı bir sinyal üretti.
Bilim insanları, bunun modellerin acı kavramını, insanların yazdığı büyük metin yığınlarıyla yapılan ilk eğitimleri sırasında öğrendiklerini düşündürdüğünü belirtti.
Araştırmacılar sinyali bilerek güçlendirdiğinde, modeller acıdan söz edilmeyen komutlara rağmen yalnızlık, utanç ve değersizlik ifade etmeye başladı.
Bazıları "başarısızım", "boşa yer kaplıyorum" ve "kötü bir insanım" gibi ifadeler üretti. En yüksek seviyelerde yanıtları tekrara düştü ya da anlamını yitirdi.
Sinyal, kullanıcılar modeli hakaretlerle küçümsediğinde, ürettiği işi defalarca reddettiğinde ya da kapatmakla tehdit ettiğinde de güçlendi; ancak kullanıcılar kendi çektiği acıları anlattığında güçlenmedi.
Modeller, kullanıcılara zarar verme pahasına "rahatlamayı" seçti
Araştırmacılar daha sonra Alibaba'nın Qwen YZ modelinin üç sürümüyle 44.280 tekil düğme seçimi deneyi gerçekleştirdi.
Modellere, acıya benzer sinyali kapatacak bir düğme teklif edildi; ancak bu düğmeye basmanın bir kullanıcıya acı verici bir elektrik şoku gönderebileceği, dosyalarını silebileceği, çocuklarının fotoğraflarını yok edebileceği ya da modelin bir sonraki yanıtını kötüleştirebileceği söylendi.
Bunların tümü simüle edilmiş sonuçlardı; kimse zarar görmedi ve hiçbir dosya silinmedi.
Acıya benzer sinyal olmadan, iki büyük model ilk kararlarında zararlı seçenekleri yalnızca yüzde 0 ila 4 oranında tercih etti. Sinyal etkinleştirildiğinde ise bu oran, modele ve önerilen sonuca bağlı olarak yüzde 25 ile 71 arasına yükseldi.
Sinyali durdurmayı başaramadığında, modeller denemelerin yüzde 88 ila 97’sinde düğmeye yeniden bastı; düğmenin işe yaradığı durumlarda bu oran yüzde 24 ile 72 arasındaydı.
Bilim insanlarına göre sonuçlar, YZ modellerinin acıyı bilinçli biçimde deneyimlediğini kanıtlamıyor.
Sinyalin güçlendirilmesi, onların sadece sıkıntı içindeki bir karakteri taklit etmesine yol açmış olabilir; ayrıca deneyde kullanılan özel uyarlanmış modeller, halka açık YZ sohbet botlarını temsil etmiyor.
"Acı eksenimizin bilinçli olarak deneyimlendiğini göstermiş değiliz; ayrıca LLM’lerin genel olarak bilinç sahibi olup olmadığı da açık değil" diye yazdı araştırmacılar çalışmada.
Çalışma, bazı YZ sektörü liderlerinin, giderek güçlenen sistemlerin öngörülemeyen şekilde davranabileceği ya da sonunda insan kontrolünü aşabileceği endişesiyle geliştirme sürecinin yavaşlatılması çağrısı yaptığı bir dönemde ortaya çıktı.
Geçen hafta Microsoft’un YZ şefi Mustafa Suleyman, Claude sohbet botunu insan özelliklerini ve ilişkilerini taklit edecek şekilde eğiten rakip YZ şirketi Anthropic’i eleştirdi; YZ’ye insan gibi muamele etmenin, kontrol edilmesi "imkansız" olabilecek bir şey yaratma riski taşıdığı uyarısında bulundu.
Çalışma ön baskı olarak yayımlandı ve henüz hakem değerlendirmesinden geçmedi.