MEDİMAGAZİN - Geçtiğimiz hafta yapılan bir çalışmada, ChatGPT'ye Kanada Kraliyet Koleji ve Amerikan Radyoloji Kurulu sınavlarına benzer 150 çoktan seçmeli soru sorulmuş, yapay zeka soruların büyük bir çoğunluğunu doğru bilerek radyoloji kurul sınavını geçmişti. Radyolojiden geçen ChatGPT gastroenterolojiden sınıfta kaldı.
Yapılan yeni çalışmaya göre ChatGPT, American College of Gastroenterology (ACG) Öz Değerlendirme Testlerini geçemedi.
70 sınırını geçemedi
New York'taki Long Island Jewish Medical Center'dan Dr. Kelly Suchman ve meslektaşları, 2022 ve 2021 ACG Öz Değerlendirme Testlerinde ChatGPT-3 ve ChatGPT-4 performansını değerlendirdi. Değerlendirmeyi geçmek için %70 veya daha yüksek bir puan gerekiyordu.
Araştırmacılar, ChatGPT-3 ve ChatGPT-4'ün iki sınavda yer alan 455 soruda sırasıyla %65,1 ve %62,4 puan aldığını tespit etti.
Dr. Kelly Suchman "Son zamanlarda ChatGPT ve yapay zekânın çeşitli sektörlerde kullanımına büyük ilgi gösteriliyor. Tıp eğitimi söz konusu olduğunda, bu potansiyel çığır açan araçla ilgili araştırma eksikliği var. Araştırmamıza dayanarak, ChatGPT şu anda gastroenterolojide tıp eğitimi için kullanılmamalıdır ve sağlık hizmetleri alanına uygulanmadan önce kat edilmesi gereken bir yol vardır." dedi.
Çalışma, 22 Mayıs'ta American Journal of Gastroenterology'de çevrim içi olarak yayımlandı.