Новый тест оценивает навыки общения врачей с искусственным интеллектом
Но хотя эти модели ИИ демонстрируют впечатляющие результаты в стандартизированных медицинских тестах, насколько хорошо они справляются с ситуациями, которые более точно имитируют реальный мир? Не все так уж и хорошо, согласно результатам нового исследования, проведенного учеными Гарвардской медицинской школы и Стэнфордского университета.
Для своего анализа, опубликованного 2 января в журнале Nature Medicine, исследователи разработали оценочную структуру — или тест — под названием CRAFT-MD (система оценки разговорного мышления для тестирования в медицине) и применили ее к четырем большим языковым моделям, чтобы увидеть, насколько хорошо они работают в условиях, максимально приближенных к реальному взаимодействию с пациентами.
Все четыре модели с большим языком хорошо справились с вопросами в стиле медицинского экзамена, но их результаты ухудшились, когда они включились в разговоры, более точно имитирующие взаимодействие в реальном мире.
По словам исследователей, этот разрыв подчеркивает двойную потребность: во-первых, в создании более реалистичных оценок, которые лучше измеряют пригодность клинических моделей ИИ для использования в реальном мире, и, во-вторых, в улучшении способности этих инструментов ставить диагнозы на основе более реалистичных взаимодействий до их внедрения в клинику.
По словам исследовательской группы, инструменты оценки, такие как CRAFT-MD, могут не только более точно оценивать модели ИИ для их пригодности в реальных условиях, но и могут помочь оптимизировать их работу в клинических условиях.
«Наша работа выявила поразительный парадокс: хотя эти модели ИИ отлично справляются с экзаменами на медицинское обследование, им трудно справиться с элементарными процедурами визита к врачу», — сказал старший автор исследования Пранав Раджпуркар, доцент кафедры биомедицинской информатики Гарвардской медицинской школы.
«Динамическая природа медицинских бесед — необходимость задавать правильные вопросы в правильное время, собирать воедино разрозненную информацию и рассуждать о симптомах — создает уникальные проблемы, которые выходят далеко за рамки ответов на вопросы с несколькими вариантами ответов.
Когда мы переходим от стандартизированных тестов к этим естественным беседам, даже самые сложные модели ИИ демонстрируют значительное снижение точности диагностики».
Лучший тест для проверки реальной производительности ИИ Сейчас разработчики проверяют производительность моделей ИИ, предлагая им ответить на медицинские вопросы с несколькими вариантами ответов, которые обычно берутся из национального экзамена для выпускников медицинских вузов или из тестов, которые проходят врачи-ординатор.
12 книг, которые помогут прокачать навыки общения Узнайте, как стать интересным собеседником, доносить своё мнение до окружающих, улаживать конфликты и оказывать поддержку. …
Это интересно 21:18, мая 6, 2024 | lifehacker.ru
Два челябинца поборются с искусственным интеллектом в шоу на ТНТ Два жителя Челябинска стали участниками шоу «Титаны» на ТНТ. За призовой фонд в десять миллионов рублей поборются челябинцы Ирина Алексеева — действу …
Общие новости 10:12, мая 2, 2024 | ura.newsВ ОМС включат описание флюорографии искусственным интеллектом Федеральный Фонд обязательного медицинского страхования (ФОМС) совместно с Минздравом Российской Федерации активно рассматривают возможность расширен …
Наука и Технологии 04:06, июня 8, 2024 | ferra.ruVolkswagen оснастил ID.3 искусственным интеллектом ChatGPT Также электрокары получили мультимедийную систему последнего поколения с дисплеем диагональю 12,9 дюйма, улучшенного голосового ассистента, приложени …
Авто / Мото 19:00, мая 2, 2024 | motor.ruУмные очки Ray-Ban обзавелись искусственным интеллектом Смарт-очки Ray-Ban Meta* получили обновление — встроенный мультимодальный искусственный интеллект, и для этого не нужен громоздкий проектор или дорог …
Наука и Технологии 21:12, апреля 24, 2024 | ferra.ruГлава Microsoft предостерег от увлечения искусственным интеллектом Генеральный директор Microsoft Сатья Наделла призывает технологическую индустрию перестать чрезмерно превозносить искусственный интеллект. Он считает …
Наука и Технологии 21:26, февраля 22, 2025 | ferra.ruОфицер ВСУ рассказал о работе дронов с искусственным интеллектом Командир подразделения Третьей отдельной штурмовой бригады ВСУ Николай Волохов заявил, что использование украинской армией БПЛА с искусственным интел …
Военное 14:48, апреля 23, 2024 | gazeta.ruIntel создаст чипы с искусственным интеллектом для всех По словам генерального директора Пэта Гелсингера, компания Intel хочет вернуть себе позицию ведущего мирового производителя чипов, после того как в п …
Это интересно 00:26, июля 1, 2024 | incrussia.ru
I*******m начал наполняться комментариями, написанными искусственным интеллектом На волне ажиотажа вокруг ИИ компания M**a представила множество функций и возможностей, вплоть до сгенерированных ИИ персонажей с уникальными профиля …
Hardware 00:26, марта 22, 2025 | 3dnews.ru У МИД Украины появился сгенерированный искусственным интеллектом спикер Все более теряющие адекватность украинские власти решили продемонстрировать, что идут в ногу с мировым прогрессом в сфере информационных технологий …
Военное 13:24, мая 1, 2024 | topwar.ru MSI показала на Computex многочисленные ноутбуки с искусственным интеллектом На выставке Computex компания MSI показала ноутбуки с процессорами Ryzen AI 300 или Lunar Lake . Хотя некоторые из них будут представлены нескоро, и …
Наука и Технологии 00:30, июня 9, 2024 | hardwareluxx.ru Xiaomi представила «титановую» рисоварку с искусственным интеллектом Компания Xiaomi пополнила свою линейку кухонной техники умной рисоваркой Mijia 3D Pressure IH Rice Cooker P1 3L. Главная фишка устройства — титановая …
Наука и Технологии 07:26, апреля 15, 2025 | ichip.ru
Лифты с искусственным интеллектом могут появиться в России Разработчик IT- и ИИ-решений Сбер Бизнес Софт и компания METEOR Lift (до ребрендинга - ООО "ОТИС Лифт"), входящая в холдинг S8 Capital, заключили сог …
Общие новости 18:18, июня 6, 2024 | interfax.ru
Столичных промышленников обучат работе с искусственным интеллектом Образовательный проект столичного правительства «Московская техническая школа» («МТШ») совместно с Национальным... …
Интернет и Игры 11:12, апреля 16, 2024 | cnews.ru Xiaomi выпустила флагманскую радионяню с искусственным интеллектом Компания Xiaomi выпустила новую смарт-камеру для наблюдения за детьми — Xiaomi Smart Camera Baby Care Edition. Устройство предлагает комплексное реше …
Наука и Технологии 19:42, мая 2, 2024 | ichip.ru Знания и навыки GPT-4 приблизились к уровню лучших врачей-офтальмологов Клинические знания и навыки рассуждения GPT-4 от OpenAI приблизились к уровню самых лучших врачей-офтальмологов, показало исследование, проведенное К …
Экономика и Финансы 17:00, апреля 18, 2024 | finam.ru В PowerToys для Windows появился буфер обмена с искусственным интеллектом В новом обновлении утилиты PowerToys для Windows (версия 0.81) появилась функция Advanced Paste, которая позволяет быстро конвертировать содержимое б …
Интернет и Игры 12:12, мая 22, 2024 | thecommunity.ru
Обзор TECNO WATCH 3 Pro: стильные часы с искусственным интеллектом TECNO WATCH 3 Pro — недорогие смарт-часы, вышедшие в продажу совсем недавно. Производитель обещает 14 дней автономности, большой экран с AMOLED-матри …
Наука и Технологии 21:26, сентября 28, 2025 | androidlime.ru Серия Honor 200 выйдет 12 июня с 4-уровневым искусственным интеллектом Сегодня компания Honor провела мероприятие на VivaTech, одном из крупнейших в Европе мероприятий в области технологий и инноваций. Компания представи …
Наука и Технологии 18:06, мая 22, 2024 | itzine.ru
В России создали антидрон «Гюрза», оснащённый искусственным интеллектом В России создали портативный антидрон «Гюрза», оснащённый искусственным интеллектом, сообщил генконструктор научно-производственного предприятия «Гер …
Общие новости 06:30, апреля 22, 2024 | russian.rt.com Google улучшила популярный сервис Gmail искусственным интеллектом Google на конференции разработчиков I/O 2024 анонсировала интеграцию технологии искусственного интеллекта Gemini в свой почтовый сервис Gmail. …
Наука и Технологии 13:06, мая 15, 2024 | news.rambler.ru Атлеты из Башкирии сразятся с искусственным интеллектом в шоу на федеральном телеканале Четверо из 99 участников экстремального реалити-шоу «Титаны» на ТНТ – представители Башкортостана. Это шорт-трекист Семен Елистратов, спортивный блог …
Общие новости 13:48, мая 21, 2024 | mgazeta.com