قطعاً میدانیم ChatGPT قابلیتها و تواناییهای بسیار زیادی دارد. پیشاز این گزارشهایی درمورد قبولی این هوش مصنوعی در امتحانات دانشکدهی حقوق و دانشگاه بازرگانی منتشر شده است و حالا نتایج مطالعهای جدید نشان میدهد چتبات محبوب این روزهای اینترنت میتواند در آزمون مجوز پزشکی ایالاتمتحده (USMLE) نیز قبول شود؛ البته نمرهی این چتبات در آزمون مذکور خیلی چشمگیر نیست.
محققات استارتاپ Ansible Health که درزمینهی مراقبتهای بهداشتی فعالیت دارد، نتایج مطالعهی خود را در تاریخ ۹ فوریه (۲۰ بهمن ۱۴۰۱) در نشریهی POLS Digital Health منتشر کردند. این تیم تحقیقاتی متوجه شد ChatGPT میتواند با کسب امتیاز حدود ۶۰ درصدی در آزمون صدور مجوز پزشکی ایالاتمتحده، حداقل نمرهی قبولی را بهدست آورد.
BGR مینویسد، USMLE یک امتحان سهمرحلهای است که پزشکان برای دریافت مجوز فعالیتهای پزشکی در ایالاتمتحده باید در آن نمرهی قبولی بهدست آورند. این آزمون علاوهبر آزمایش مهارتها و دانش پزشکان، ارزشها و نگرشهای آنها را نیز مورد ارزیابی قرار میدهد.
محققان پساز حذف سؤالات تصویری، ۳۵۰ سؤال از ۳۷۶ پرسش USMLE را به ChatGPT ارائه دادند. این هوش مصنوعی در سه امتحان خود امتیازی بین ۵۲٫۴ تا ۷۵ درصد را بهدست آورد. بهعبارت دیگر میانگین نمرهی این چتبات در آزمون مذکور حدود ۶۰ درصد بوده است. ChatGPT همچنین از PubMedGPT پیشی گرفت؛ مدلی که بهطور خاص براساس دادههای زیست پزشکی آموزش داده شده است و در آزمون مجوز پزشکی ایالاتمتحده، امتیاز ۵۰٫۸ درصد را کسب کرد.
محققان میگویند:
فدراسیون هیئتهای پزشکی ایالتی و هیئت ملی معاینهکنندگان پزشکی که هردو از حامیان USMLE هستند پساز انتشار نتایج عملکرد ChatGPT در آزمون مذکور بیانیهای را بهطور اشتراکی منتشر کردند. آنها میگویند در این مطالعات از نمونه سؤالات امتحانی واقعی YSMLE بههمراه سؤالات تمرینی استفاده شده و بنابراین دستاورد ChatGPT در این زمینه با ارفاقهایی همراه بوده است.
این گروهها در بخش دیگری از بیانیهی خود توضیح دادند: