Команда исследователей провела исследование для оценки точности автоматически сгенерированных ИИ-рассказов в радиологии. Исследователи использовали различные метрики оценки для оценки производительности этих инструментов ИИ. Они также попросили шести человеческих радиологов прочитать ИИ-сгенерированные отчеты.
Анализ показал, что по сравнению с человеческими радиологами, автоматические системы оценки хуже справлялись с задачей оценки ИИ-сгенерированных отчетов. Они часто неправильно толковали или упускали клинические ошибки, допущенные ИИ. Исследователи подчеркнули важность точной оценки систем ИИ для создания надежных и клинически полезных отчетов в радиологии.
Для улучшения метрик оценки команда разработала новый метод, называемый RadGraph F1. Этот метод направлен на оценку производительности искусственного интеллекта, автоматически генерирующего радиологические отчеты по медицинским изображениям. Кроме того, был создан совместный инструмент оценки под названием RadCliQ, который объединял несколько метрик для более точной оценки производительности ИИ-модели по мере того, как это делает человеческий радиолог.
Используя эти новые инструменты оценки, исследователи оценили несколько современных ИИ-моделей и обнаружили значительную разницу между их фактическими показателями и наивысшим возможным баллом. Они считают, что измерение прогресса является важным условием для развития искусственного интеллекта в медицине и его перехода на новый уровень.
Долгосрочная цель исследователей заключается в разработке универсальных медицинских ИИ-моделей, способных выполнять сложные задачи, включая решение ранее невиданных проблем. Они представляют себе ИИ-системы, способные эффективно взаимодействовать с радиологами и врачами, чтобы помогать им в принятии диагностических и лечебных решений. Кроме того, они стремятся создать ИИ-помощников, которые могут объяснять результаты изображений пациентам обычным языком.
Исследователи считают, что путем согласования с радиологами и улучшения метрик оценки, искусственный интеллект может быть беспрепятственно интегрирован в клинический процесс для улучшения качества заботы о пациентах.
Стоит отметить, что авторами исследования являются такие лица, как Пранав Раджпуркар, Фейян ‘Кэти’ Ю и другие соавторы. Исследование получило поддержку от Центра ресурсов медицинской визуализации в рамках контрактов с Национальным институтом биомедицинской визуализации и биоинженерии Национальных институтов здравоохранения. Исследователи также раскрыли несколько потенциальных конфликтов интересов, связанных с консультированием, участием в советах директоров и получением грантов или спонсорской поддержки от различных организаций и компаний в сфере здравоохранения и искусственного интеллекта.
The source of the article is from the blog maltemoney.com.br