Искусственный интеллект делает абсурдно точные прогнозы

Может ли рентген колена рассказать, как часто вы пьёте пиво или едите мексиканские пережаренные бобы? С точки зрения медицины — нет. Но искусственный интеллект утверждает обратное.

Фото: National Cancer Institute by Unknown photographer, https://creativecommons.org/public-domain/pdm/

Врачи изучают рентгеновские снимки

В рамках эксперимента исследователи обучили ИИ анализировать рентгеновские снимки коленей и предсказывать, употреблял ли человек пиво или бобы в прошлом году. Результаты удивили: точность составила 73% для пива и 63% для бобов.

Такой эффект объясняется явлением, известным как shortcut-learning. Вместо анализа сложных медицинских связей ИИ использует случайные закономерности в данных, которые не имеют медицинского смысла, но дают верный результат. Например, нейронная сеть учитывала пол, этническую принадлежность пациента и даже особенности места, где был сделан рентген, что и привело к столь неожиданным прогнозам.

Старший автор исследования Питер Шиллинг из Медицинского центра Дартмут-Хичкок предупреждает, что ИИ обладает огромным потенциалом в анализе медицинских данных, но его "прогнозы часто основаны на факторах, не связанных с реальной медициной".

Его команда выяснила, что даже после удаления очевидных данных (например, пола или места обследования) ИИ продолжал находить корреляции.

"Нейронные сети поражают своей способностью находить связи там, где их не должно быть. Но это обманчиво — они решают задачи простыми, случайными способами, игнорируя реальные закономерности", — объясняет первый автор исследования Брэндон Хилл.

Результаты исследования поднимают серьёзный вопрос: можно ли доверять выводам ИИ в медицинской диагностике? Учёные настаивают на необходимости тщательной проверки любых прогнозов, сделанных ИИ, чтобы избежать ложных выводов и последствий. Этот эксперимент показывает, как важно осознавать ограничения технологий, даже таких мощных, как искусственный интеллект.

Уточнения

Пережаренные бобы (исп. frijoles refritos, фрихо́лес рефри́тос) — блюдо из приготовленных и размятых бобов, традиционный массовый продукт питания мексиканской кухни и кухни текс-мекс, хотя рецепты его в этих кухнях имеют некоторые различия.