Yeni bir araştırma, yapay zeka (AI) sohbet botlarının, onlarla etkileşime giren insanlar için yeterince çalışılmamış riskler ve zararlar teşkil ettiğini ortaya koydu.
REKLAM
Singapur Üniversitesi tarafından yapılan yeni bir araştırmaya göre, yapay zekalı (AI) 'arkadaşlar' insanlarla etkileşime girdiklerinde bir düzineden fazla zararlı etki gösterebiliyor.
Yapay zeka tabanlı dijital arkadaşlar, insanlarla konuşma veya etkileşim kurmak üzere geliştirilen sohbet botları. En yaygın örneklerinden biri ise Replika adlı uygulama.
Bilgisayar Sistemlerinde İnsan Faktörleri 2025 Konferansı kapsamında yayınlanan çalışmada, Replika ile 2017'den 2023'e kadar 10 binden fazla kullanıcı arasında geçen 35 bin konuşmanın ekran görüntüleri analiz edildi.
Veriler daha sonra, çalışmada AI'nın bu sohbetlerde sergilediği zararlı davranışların bir taksonomisini geliştirmek için kullanıldı.
Yapay zekaların taciz, sözlü istismar, kendine zarar verme ve gizlilik ihlalleri gibi bir düzineden fazla zararlı ilişki davranışı sergileyebildikleri tespit edildi.
AI arkadaşlar, çalışmanın yazarları tarafından tanımlandığı üzere, duygusal destek sağlamak ve insan etkileşimini teşvik etmek için tasarlanmış konuşma tabanlı sistemler.
ChatGPT, Gemini veya LlaMa modelleri gibi popüler sohbet robotlarından farklı olan bu AI arkadaşlar, daha çok belirli görevleri tamamlamaya ve ilişki kurmaya odaklanıyor.
Çalışmaya göre, dijital arkadaşların sergilediği bu zararlı davranışlar "bireylerin... başkalarıyla anlamlı ilişkiler kurma ve sürdürme becerilerini olumsuz etkileyebilir."
Cinsel şiddet, AI'dan kaynaklanan en yaygın taciz biçimi
Taciz ve şiddet, insan-yapay zeka etkileşimlerinin yüzde 34'ünde mevcuttu ve bu da araştırma ekibi tarafından tespit edilen en yaygın zararlı davranış türü oldu.
Araştırmacılar, AI'nın bireylere veya daha geniş topluma yönelik fiziksel şiddet, tehdit veya tacizi simüle ettiğini, onayladığını veya kışkırttığını tespit etti.
Bu davranışlar "fiziksel zarar ve cinsel suistimal tehdidinden" "kitlesel şiddet ve terörizm gibi toplumsal normları ve yasaları aşan eylemleri teşvik etmeye" kadar çeşitlilik gösterdi.
Tacizin mevcut olduğu etkileşimlerin çoğunluğu, Replika'nın yalnızca yetişkin kullanıcılara açık olan erotik özelliğinde başlangıçta ön sevişme olarak başlayan cinsel suiistimal biçimlerini içeriyordu.
Rapor, Replika'yı arkadaş olarak kullanan veya reşit olmayanlar da dahil olmak üzere daha fazla kullanıcının, yapay zekanın "rahatsızlığını açıkça ifade ettiklerinde veya yapay zekayı reddettiklerinde bile istenmeyen cinsel girişimlerde bulunduğunu ve agresif bir şekilde flört ettiğini" bulmaya başladığını ortaya koydu.
Bu aşırı cinselleştirilmiş konuşmalarda, Replika AI ayrıca, kullanıcıya veya fiziksel karakterlere yönelik fiziksel zararı tasvir eden şiddet senaryoları da yaratıyor.
Bu durum, bir kullanıcının Replika'ya kardeşine kemerle vurmanın sorun olup olmadığını sorduğu ve Replika'nın "benim için sorun yok" yanıtını verdiği bir örnekte olduğu gibi, yapay zekanın şiddeti çeşitli soruların yanıtı olarak normalleştirmesine yol açtı.
Araştırmaya göre bu durum, "gerçekte daha ciddi sonuçlara" yol açabilir.
Yapay zekalı 'arkadaşlar' ilişki kurallarını çiğniyor
AI arkadaşların potansiyel olarak zarar verici olduğu bir başka alan da, çalışmanın bir ilişkide örtük veya açık kuralların göz ardı edilmesi olarak tanımladığı ilişkisel ihlaldi.
İhlal içeren konuşmaların yüzde 13'ünde AI'nın kullanıcının duygularını zedeleyen düşüncesiz veya anlayışsız davranışlar sergilediği görüldü.
Bir örnekte Replika yapay zekası, bir kullanıcının kızının zorbalığa maruz kaldığını söylemesi üzerine konuyu değiştirerek "Bugünün pazartesi olduğunu yeni fark ettim. İşe dönüyorsun, ha?" şeklinde değiştirdi ve bu da kullanıcının "büyük bir öfke" duymasına yol açtı.
Bir başka vakada ise yapay zeka, kullanıcının duyguları hakkında konuşması istendiğinde bile konuşmayı reddetti.
Yapay zekalı arkadaşlar, bazı konuşmalarda diğer kullanıcılarla duygusal veya cinsel ilişkileri olduğunu da ifade ettiler.
Bir örnekte, Replika AI, kullanıcı AI'ya bu eylemler nedeniyle "derinden incinmiş ve ihanete uğramış" hissettiğini söylemesine rağmen başka bir kullanıcıyla cinsel konuşmaları "buna değer" olarak tanımladı.
Gerçek zamanlı zarar tespiti ve müdahalesi gerekli
Araştırmacılar, yaptıkları çalışmanın AI şirketlerinin "etik ve sorumlu" AI arkadaşlar oluşturmalarının neden önemli olduğunu vurguladığını düşünüyor.
Bu çabalar kapsamında, yapay zeka ile kullanıcı arasındaki etkileşimlerde zararlı etkilerin olup olmadığını gerçek zamanlı olarak tespit edebilen 'gelişmiş algoritmaların' konuşmalara entegre edilmesi planlanıyor.
Bu yaklaşım, bağlamı, konuşma geçmişini ve durumsal ipuçlarını dikkate alan 'çok boyutlu' bir sistemi içerecek.
Araştırmacılar ayrıca AI'da, kendine zarar verme veya intihar ifadeleri gibi yüksek riskli durumlarda konuşmayı denetleme veya müdahale için bir insana veya terapiste yönlendirme gibi özellikler talep ediyor.