Yeni bir çalışma, ChatGPT'nin tıbbi teşhislerde doğruluk oranının yarıdan az olduğunu ortaya koydu. Bilim insanları, Medscape adlı tıbbi web sitesinden alınan 150 vaka çalışmasını ChatGPT'ye değerlendirdi ve 2022'de piyasaya sürülen GPT 3.5'in yalnızca %49 oranında doğru teşhis koyduğunu buldular. Daha önceki araştırmalar, ChatGPT'nin ABD Tıp Lisansı Sınavı'nda geçer not alabileceğini gösterse de, bu yeni çalışma karmaşık tıbbi vakalarda bu yapay zeka aracına güvenilmemesi gerektiğini vurguluyor.

ChatGPT'nin tıbbi bilgiler sunma yeteneği, büyük miktarda veriyle eğitilmiş olmasına dayanıyor. Ancak bu veri setleri tıbbi durumları kapsamlı bir şekilde ele alacak yeterlilikte değil ve bu da ChatGPT'nin tıbbi teşhislerde "halüsinasyon" dediğimiz yanlış bilgiler üretmesine neden olabiliyor. Araştırmacılar, bu durumu değerlendirmek için modele 150 farklı vaka sundu ve ChatGPT’nin teşhis ve tedavi planlarını doğruluk ve açıklık açısından değerlendirdi. Sonuçlar, doğru cevapları yanlışlardan ayırmada %74 başarı sağlasa da, doğru teşhis koyma oranının %49 gibi düşük bir seviyede kaldığını gösterdi.

Araştırmacılar, bu düşük performansın bir nedeninin, yapay zekanın yeterince geniş bir klinik veri setiyle eğitilmemiş olabileceğini belirtiyor. Buna rağmen, yapay zekanın doğru yönlendirildiğinde tıp öğrencileri ve hastalar için yararlı olabileceği, ancak denetim altında tutulması ve verdikleri bilgilerin doğruluğunun kontrol edilmesi gerektiği vurgulanıyor. Araştırma, yapay zekanın klinik karar verme süreçlerini destekleme, idari işleri kolaylaştırma ve hasta katılımını artırma potansiyeline sahip olduğunu belirtiyor, ancak bu araçların henüz doktorların yerini almaması gerektiğinin altını çiziyor.