مطالعات نشان می‌دهد که تنها ۵ درصد از ارزیابی‌های مدل‌های هوش مصنوعی پزشکی از داده‌های واقعی بیماران استفاده می‌کنند در حالی که بیشتر آزمایش‌ها بر دانش پزشکی متمرکز هستند و توانایی‌های عملی مانند نوشتن نسخه، خلاصه کردن مکالمات یا تعامل با بیماران را نادیده می‌گیرند.

این نقص‌ها باعث می‌شود که نتوان به طور دقیق عملکرد هوش مصنوعی را در شرایط واقعی ارزیابی کرد. 

در این میان نیاز فوری به ایجاد معیارهای ارزیابی جدید و دقیق‌تر احساس می‌شود که بتواند پیچیدگی‌های وظایف بالینی را در نظر بگیرد و عملکرد هوش مصنوعی را در پاسخ به وظایف متنوع و پیچیده بالینی ارزیابی کند.

کارشناسان پیشنهاد می‌کنند که برای ارزیابی بهتر، باید از داده‌های واقعی بیمارستان‌ها، بازخورد متخصصان و روش‌های ارزیابی مبتنی بر مشاهدات واقعی استفاده شود. 

همچنین، شفافیت بیشتر در مورد نحوه ارزیابی این ابزارها توسط شرکت‌ها و بیمارستان‌ها ضروری است.

علاقه‌مندان می‌توانند برای مطالعه جزئیات بیشتر به متن این مقاله مراجعه کنند‌.