ChatGPT'nin yazdığı öyküler, ortalamada, insan yazarların öykülerinden daha sürükleyici ve daha kaliteli bulundu.
Yeni bir araştırma, ChatGPT tarafından yazılan kısa öykülerin okurlar tarafından insan yazarların eserlerinden daha sürükleyici ve daha kaliteli bulunduğunu ortaya koydu. Dahası, katılımcılar hangi öykünün yapay zekâ tarafından yazıldığını çoğu zaman ayırt edemedi.
Çalışmanın sonuçları akademik dergi Judgment and Decision Making'de yayımlandı.
Altı öykü okutuldu
ABD'deki Villanova Üniversitesi araştırmacıları, ilk deneyde 1682 yetişkin gönüllüye toplam altı kısa öyküden birini okuttu.
Bu öykülerin üçü insanlar tarafından, üçü ise ChatGPT tarafından yazılmıştı. Yapay zekânın ürettiği her öykü, insan yazarların kaleme aldığı öykülerden biriyle aynı temayı işliyordu.
Araştırmacılar katılımcılara okudukları öykünün insan ya da yapay zekâ tarafından yazıldığını söyledi. Ancak bu bilgi her zaman doğru değildi; bazı katılımcılara kasıtlı olarak yanlış bilgi verildi.
Katılımcılardan daha sonra öykünün ne kadar sürükleyici, ilgi çekici ve kaliteli olduğunu değerlendirmeleri istendi.
Yapay zekâ öyküleri daha yüksek puan aldı
Sonuçlara göre, ChatGPT'nin yazdığı öyküler, ortalamada, insan yazarların öykülerinden daha sürükleyici ve daha kaliteli bulundu.
Bununla birlikte ilginç bir psikolojik etki de ortaya çıktı. Katılımcılar, kendilerine bir öykünün insan tarafından yazıldığı söylendiğinde, o öyküye daha yüksek puan verme eğilimi gösterdi. Yani öykünün gerçek yazarı kadar, insanların buna ilişkin inancı da değerlendirmeleri etkiledi.
Yapay zekâyı sevenler, 'yapay' öyküleri daha çok beğendi
Araştırma, yapay zekâya yönelik tutumun da değerlendirmeleri etkilediğini gösterdi.
Yapay zekâ hakkında daha olumlu görüşlere sahip katılımcılar, kendilerine ChatGPT tarafından yazıldığı söylenen öykülere daha yüksek puan verdi. Yapay zekâya daha mesafeli yaklaşan kişilerde ise bu etki daha zayıf görüldü.
Çoğu kişi hangi öykünün yapay zekâya ait olduğunu anlayamadı
Araştırmacılar daha sonra 905 kişiyle iki ek deney gerçekleştirdi.
Bu kez katılımcılara aynı temayı işleyen iki öykü verildi. Bunlardan biri insan, diğeri ise ChatGPT tarafından yazılmıştı. Katılımcılardan hangisinin yapay zekâya, hangisinin insana ait olduğunu tahmin etmeleri istendi.
İlk deneyde katılımcıların yalnızca yüzde 40'ı doğru tahminde bulundu. Bu oran istatistiksel olarak rastgele tahminden bile daha kötü bir performansa işaret ediyor.
İkinci deneyde ise doğru tahmin oranı yüzde 52 oldu. Bu da insanların genel olarak yapay zekâ ile insan tarafından yazılan öyküleri güvenilir biçimde ayırt edemediğini gösteriyor.
Yapay zekâ bilgisi fark yaratıyor
Çalışmanın bir diğer dikkat çekici sonucu ise katılımcıların deneyiminin tahmin başarısını etkilemesiydi.
Kişilerin kurgu edebiyatı konusunda kendilerini ne kadar bilgili gördükleri, yapay zekâ öykülerini ayırt etme başarısıyla ilişkili çıkmadı. Buna karşılık yapay zekâ sistemleri hakkında daha fazla bilgi sahibi olduğunu belirten katılımcılar, hangi öykünün ChatGPT tarafından yazıldığını daha isabetli tahmin edebildi.