ChatGPT gibi dil modelleri, İngilizce ana dili olmayan araştırmacıların makale üretimini artırıyor. Ancak yapay zekâyla yazılan makaleler hakemliği geçmekte zorlanıyor.
Bilim insanları yazma, kodlama ve hatta fikir üretmede giderek daha fazla yapay zekaya güveniyor; yeni bir çalışma, yapay zekanın akademik araştırmayı nasıl yeniden şekillendirdiğini inceliyor.
Bir zamanlar akademik dedikodu gibi gelen şey, artık bilimsel yayıncılıkta gerçek ve ölçülebilir bir değişimi yansıtıyor.
ABD'deki Cornell Üniversitesinden araştırmacılar, ChatGPT gibi büyük dil modellerinin (LLM'ler) makale üretimini artırdığını, özellikle ana dili İngilizce olmayan bilim insanları için bu etkiyi güçlendirdiğini ortaya koydu.
Bununla birlikte, çalışma yapay zeka destekli makalelerin artan hacminin, hakemlerin, fon sağlayıcıların ve politika yapıcıların anlamlı bilimsel katkıları düşük kaliteli çalışmalardan ayırt etmesini zorlaştırdığı uyarısında bulunuyor.
“Bu, bilimin farklı alanlarında, fizik ve bilgisayar bilimlerinden biyoloji ve sosyal bilimlere kadar, çok yaygın bir örüntü,” dedi çalışmanın sorumlu yazarı ve Cornell Ann S. Bowers Bilgisayar ve Bilgi Bilimleri Koleji’nden bilgi bilimi yardımcı doçenti Yian Yin.
“Mevcut ekosistemimizde çok büyük bir dönüşüm var ve özellikle hangi bilimi destekleyip finanse etmemiz gerektiğine karar verenler için çok ciddiyetle ele alınmalı,” diye ekledi Yin.
Araştırmacılar yapay zeka destekli makalelerin ortaya çıkışını nasıl inceledi?
Science dergisinde yayımlanan çalışma, 2018 ile 2024 arasında üç büyük çevrim içi ön baskı platformunda yayımlanan iki milyondan fazla araştırma makalesini analiz etti.
Bu platformlar, bilimsel makalelerin resmi hakem değerlendirmesinden önceki erken sürümlerine ev sahipliği yapıyor ve araştırmacıların gerçek zamanlı olarak nasıl çalıştığına dair bir fikir veriyor.
Yapay zekanın bilimsel yazıma etkisini değerlendirmek için araştırmacılar, büyük olasılıkla LLM'ler tarafından üretilen metni tespit edecek bir yapay zeka sistemi eğitti. ChatGPT gibi araçların yaygınlaştığı 2023 öncesinde yazılmış makaleleri, yapay zeka desteğinin açık işaretlerini taşıyan sonraki makalelerle karşılaştırdılar.
Bu yaklaşımla ekip, yapay zeka araçlarını kullanma olasılığı yüksek araştırmacıları belirledi, yayın çıktılarının nasıl değiştiğini ölçtü ve bu makalelerin daha sonra bilimsel dergiler tarafından kabul edilip edilmediğini izledi.
Yapay zeka desteği üretkenlikte belirgin artışa yol açıyor
Analizleri, yapay zeka destekli üretkenlikte büyük bir sıçrama olduğunu gösterdi.
Yapay zeka araçlarını kullandığı izlenimi veren bilim insanları, kullanmayanlara kıyasla çok daha fazla makale yayımladı.
Fizik ve bilgisayar bilimine odaklanan büyük bir ön baskı platformunda, yapay zeka kullanıcıları yaklaşık üçte bir oranında daha fazla makale üretti. Biyoloji ve sosyal bilimlerde artış daha da büyüktü; yüzde 50'nin üzerinde.
En büyük artışlar, ana dili İngilizce olmayan araştırmacılarda görüldü.
Bazı Asya kurumlarında bilim insanları, disiplinden disipline değişmek üzere, yapay zeka yazım araçlarını benimsedikten sonra yüzde 40 ile neredeyse yüzde 90 arasında daha fazla makale yayımladı.
Yapay zeka araçları, araştırmacıların daha iyi kaynaklar bulmasına da yardımcı oluyor gibi görünüyor. Çalışma, yapay zeka destekli arama araçlarının, geleneksel arama yöntemlerinin tercih ettiği daha eski ve sık atıf yapılan çalışmalar yerine, daha yeni araştırma makalalarını ve ilgili kitapları daha sıklıkla öne çıkardığını ortaya koydu.
“LLM'leri kullanan kişiler daha çeşitli bilgiyle bağ kuruyor; bu da daha yaratıcı fikirleri tetikliyor olabilir,” dedi çalışmanın ilk yazarı ve Cornell Üniversitesi Bilgi Bilimi Bölümü doktora öğrencisi Keigo Kusumegi.
Yapay zeka ile yazılmış makalelerde kalite endişeleri
Ancak üretkenlikteki artışın bir bedeli var. Yapay zeka tarafından yazılmış pek çok makale yüzeyde etkileyici görünse de hakem değerlendirmesini geçme olasılıkları daha düşüktü.
Üç ön baskı sitesinin tamamında, yazım karmaşıklığı testinden yüksek puan alan ve büyük olasılıkla insanlar tarafından yazılmış makalelerin bilimsel dergilerde kabul edilme olasılığı en yüksekti.
Ancak yüksek puan alan ve büyük olasılıkla LLM'ler tarafından yazılmış makalelerin kabul edilme olasılığı daha düşüktü; bu da ikna edici dile rağmen, hakemlerin bu makalelerin çoğunu bilimsel açıdan düşük değerli bulduğunu gösteriyor.
Çalışmanın arkasındaki araştırmacılar, yapay zekaya artan bağımlılığın etkisinin muhtemelen daha da genişleyeceğine ve politika yapıcıların hızla evrilen teknolojik manzarayı düzenlemek için yeni kurallar koyması gerektiğine inanıyor.
“Artık soru, ‘Yapay zekayı kullandınız mı?’ değil. Soru, ‘Yapay zekayı tam olarak nasıl kullandınız ve bu yararlı mı değil mi?’” dedi Yin.