Может ли рентген колена рассказать, как часто вы пьёте пиво или едите мексиканские пережаренные бобы? С точки зрения медицины — нет. Но искусственный интеллект утверждает обратное.
В рамках эксперимента исследователи обучили ИИ анализировать рентгеновские снимки коленей и предсказывать, употреблял ли человек пиво или бобы в прошлом году. Результаты удивили: точность составила 73% для пива и 63% для бобов.
Такой эффект объясняется явлением, известным как shortcut-learning. Вместо анализа сложных медицинских связей ИИ использует случайные закономерности в данных, которые не имеют медицинского смысла, но дают верный результат. Например, нейронная сеть учитывала пол, этническую принадлежность пациента и даже особенности места, где был сделан рентген, что и привело к столь неожиданным прогнозам.
Старший автор исследования Питер Шиллинг из Медицинского центра Дартмут-Хичкок предупреждает, что ИИ обладает огромным потенциалом в анализе медицинских данных, но его "прогнозы часто основаны на факторах, не связанных с реальной медициной".
Его команда выяснила, что даже после удаления очевидных данных (например, пола или места обследования) ИИ продолжал находить корреляции.
"Нейронные сети поражают своей способностью находить связи там, где их не должно быть. Но это обманчиво — они решают задачи простыми, случайными способами, игнорируя реальные закономерности", — объясняет первый автор исследования Брэндон Хилл.
Результаты исследования поднимают серьёзный вопрос: можно ли доверять выводам ИИ в медицинской диагностике? Учёные настаивают на необходимости тщательной проверки любых прогнозов, сделанных ИИ, чтобы избежать ложных выводов и последствий. Этот эксперимент показывает, как важно осознавать ограничения технологий, даже таких мощных, как искусственный интеллект.