ChatGPT tıpta uzmanlık sınavını geçti

Sohbet robotu ChatGPT, ABD’de üç bölümden oluşan Tıbbi Lisanslama Sınavı’nda (USMLE) çeşitli bölümlerde yüzde 52,4 ile yüzde 75 arasında başarılı oldu. Sınavın geçmek için ortalama yüzde 60 oranında başarılı olmak gerekiyor.

KİLOMETRE TAŞI

Araştırmayı yapan teknoloji şirketi AnsibleHealth'ten araştırmacılar, konuya ilişkin yaptıkları açıklamada, "Zorluğuyla ünlü bu uzman sınavı için geçme puanına ulaşmak ve bunu herhangi bir insan takviyesi olmadan yapmak, klinik yapay zekanın gelişiminde dikkate değer bir kilometre taşını işaret ediyor." ifadelerini kullandı.

DAHA ÖNCE İŞLETME VE HUKUK SINAVLARINI DA GEÇTİ

Araştırmanın sonuçları, hakemli bir bilimsel dergi olan PLOS Digital Health’de yayımlandı. Bununla birlikte ChatGPT, daha önce işletme (Pennsylvania Üniversitesi'nin Wharton İşletme Okulu) ve hukuk (Minnesota Üniversitesi) bölümlerde de  teste tabi tutulmuş ve sınavları geçmişti.

Son çalışmada, araştırmacılar yazılımı Haziran 2022 USMLE'den 350 soru üzerinde test etti.

İki doktor sonuçları değerlendirdi ve tutarsızlıklar üçüncü bir uzman tarafından incelendi.

Söz konusu sınav, tıp öğrencilerinin ve eğitimdeki doktorların tıbbi alanlardaki bilgilerini değerlendiriyor ve 1992'den beri kullanılıyor.

ABD’deki tıp öğrencileri USMLE’nin birinci adıma genellikle tıp fakültesinin ikinci yılının sonunda sonunda, ikinci adımına dördüncü yılda alınır, üçüncü adımına ise tıp fakültesini bitirdikten sonra ihtisaslarının  ilk yılında giriyor. Sınava her yıl yüz binden fazla öğrenci ve lisansüstü öğrenci giriyor.

Diğer taraftan araştırmacılar, ChatGPT’nin ayrıca yanıtlarının yüzde 88,9'u için "yeni ve klinik olarak geçerli" en az bir önemli içgörü ürettiğini vurguladı.

Sonuçlar, USMLE tarzı sorulardan oluşan bir sınavda yüzde 50,8 oranında başarılı olan ve , özel olarak biyomedikal alan literatürü üzerine eğitilmiş farklı bir yapay zeka robotu olan PubMedGPT'nin performansını da aştı.

Çalışmanın yazarları araştırma bulgularının  ChatGPT'nin tıp eğitiminde değerli bir araç haline gelebileceğini gösterdiğini belirterek, “Yapay zeka botu, öğrencilerin farkındalık alanında olmayabilecek yeni ve açık olmayan kavramları ortaya çıkararak tıp öğretme konusunda kısmi bir yeteneğe sahip. Yapay zeka teknolojisi  artık tüm sağlık sektörlerinde çeşitli uygulamalarla yakında klinik uygulamada her yerde bulunacak şekilde konumlandırıldı." açıklamasında bulundu.