Новый тест для ИИ показал, что он ещё не готов заменить врачей

Продвинутые модели искусственного интеллекта отлично справляются с медицинскими экзаменами, но проваливаются в главной задаче врача — ведении беседы с пациентом для постановки точного диагноза.

Фото: cleanpublicdomain.com by Doodlebug, https://creativecommons.org/publicdomain/zero/1.0/

Искусственный интеллект

"Большие языковые модели показывают впечатляющие результаты на тестах с множественным выбором, но их точность резко снижается в диалогах," — поясняет Пранав Раджпуркар из Гарвардского университета.

Он подчеркивает, что особенно сложно ИИ справляться с открытым диагностическим мышлением.

Новый метод оценки медицинского ИИ

Чтобы изучить эту проблему, исследователи разработали методику оценки ИИ на основе симуляций бесед врача и пациента. В основе лежат 2000 медицинских случаев, взятых из экзаменационных вопросов профессиональных медицинских советов США.

"Симуляции помогают оценивать навыки сбора анамнеза — ключевого аспекта клинической практики, который невозможно протестировать с помощью сценариев," — утверждает Шрея Джохри, также из Гарварда.

Новый стандарт, названный CRAFT-MD, учитывает, что пациенты часто не понимают, какие детали важны, и делятся ими только при наводящих вопросах.

Как ИИ справляется с реальными задачами?

Для тестирования использовались такие модели, как GPT-4, GPT-3.5 от OpenAI, Llama-2 от Meta и Mistral-v2 от Mistral AI. Результаты оказались далеки от идеальных. Например, точность диагностики GPT-4 снизилась с 82% при использовании структурированных данных до 26% в симулированных беседах.

Кроме того, ИИ часто не мог собрать полный анамнез. В беседах GPT-4 справлялся с этой задачей лишь в 71% случаев, а правильный диагноз на основе собранных данных ставил ещё реже.

Что это значит для медицины?

Эксперты считают, что симуляции более полезны для оценки ИИ, чем экзамены. Однако даже успешное прохождение CRAFT-MD не гарантирует, что ИИ заменит врачей.

Уточнения

Иску́сственный интелле́кт (англ. artificial intelligence; AI) в самом широком смысле — это интеллект, демонстрируемый машинами, в частности компьютерными системами.

Врач (ст.‑слав. врачь — «заклинатель, колдун, заговаривающий, волшебник», от однокоренных глаголов врать, ворча́ть), также до́ктор (лат. doctor — «учитель», от docēre — «учить») — специалист с высшим медицинским образованием, использующий свои навыки, знания и опыт в профилактике и лечении заболеваний, поддержании нормальной жизнедеятельности организма человека.