Stanford ve Berkeley Üniversitesi'nden araştırmacılar, OpenAI'ın yapay zekası ChatGPT'nin giderek aptallaştığını ileri sürdü. Araştırma makalesinde, birkaç aylık süre içinde GPT-3,5 ve GPT-4 dil modellerinin "davranışlarının" önemli ölçüde değiştiği ifade edildi. Yapılan araştırma sonucunda, sohbet botunun yanıtlarının doğruluğunun azaldığı bildirildi.
Makalede, bu bulguyu destekler nitelikte veriler yer alıyor. Araştırmada, GPT-4'ün Mart 2023'te asal sayıları yüzde 97,6 doğruluk payıyla belirleyebildiği ancak haziran sonunda bu oranın yüzde 2,4'e düştüğü aktarılıyor. Bunun haricinde, GPT-3,5 ve GPT-4 dil modellerinin kod yazımında performanslarının azaldığı da araştırmada yer alan bulgulardan. Araştırmacılar, sohbet botunun haziranda yazdığı kodlarda marta kıyasla daha fazla biçimlendirme hatası yaptığını ortaya koyuyor.
OpenAI'dan açıklama gecikmedi
Yapılan araştırmaya cevaben, ChatGPT'nni geliştiricisi OpenAI, bu söylentileri yalanlayarak "Tam tersi; her yeni sürümü bir öncekinden daha akıllı hale getiriyoruz." açıklamasında bulundu. Ayrıca, şirketin Ürün Başkan Yardımcısı Peter Welinder, GPT-4'ü daha aptal yapmadıklarını belirterek, "ChatGPT'yi daha yoğun kullandığınızda daha önce görmediğiniz sorunları fark etmeye başlıyor olabilirsiniz." dedi.
Araştırma makalesinde, ChatGPT'nin gösterdiği performanstaki azalışın nedenlerine değinilmediğini, ancak performans düşüklüğünün kanıtlanabileceğine değinildiğini belirtmekte fayda var.