Университет "Дубна" утверждает, что человеки ИИ могут не допускать аварий

Профессор кафедры психологии ФСГН Государственного университета "Дубна" Александр Венгер вместе с профессором МФТИ Виктором Дозорцевым провел исследование по уровню доверия к искусственному интеллекту и стратегии принятия решений.

Фото: commons.wikimedia.org by Kharsohtun, CC BY-SA 4.0

Они разработали математическую модель, которая описывает возможные стратегии оператора для предотвращения аварий на опасных объектах.

В журнале Mathematics опубликована статья Александра Венгера о доверии к рекомендациям искусственного интеллекта при принятии ответственных решений.

Одним из важных применений искусственного интеллекта является выявление угроз аварий на опасных объектах. ИИ обнаруживает подобные угрозы и предлагает оператору изменить режим технологического процесса, что может включать в себя даже его остановку. Важно отметить, что остановка процесса сопряжена с серьезными экономическими потерями, хотя последствия аварии могут быть гораздо более катастрофическими. Предсказания ИИ не являются абсолютно точными, и потому его предупреждения имеют вероятностный характер. Решение все равно принимает человек-оператор, который стремится избежать аварии, минимизируя потери.

Совместно с профессором Виктором Дозорцевым Александр Венгер разработал математическую модель, описывающую возможные стратегии оператора для предотвращения аварий.

Компьютерное моделирование показало, что оптимальные стратегии, обеспечивающие надежное предотвращение аварий и минимальные экономические потери, зависят от характеристик технологического процесса и точности предсказаний ИИ. Таким образом, возможно определить профессиональную пригодность оператора на основе выбранной им стратегии.

Исследования в области доверия к искусственному интеллекту в последние годы получили широкое распространение. Однако большинство из них касается ситуаций, где риск связан с небольшими потерями. В отличие от этого, на объектах повышенной опасности необходимо учитывать риск катастрофических последствий.

Новизна предложенного в исследовании подхода заключается в выделении индивидуально-психологических характеристик, влияющих на уровень доверия оператора к аварийным предупреждениям ИИ.

Одной из таких характеристик является "опасливость" оператора, то есть уровень вероятности аварии, который он считает приемлемым. Например, оператор с максимально допустимой вероятностью аварии в один процент будет менее "опаслив", чем оператор, для которого это значение составляет 0,1 процента. Слишком высокая "опасливость" может привести к излишним остановкам процесса при неверных аварийных сигналах, что приводит к серьезным экономическим убыткам.

Второй характеристикой является "склонность к сомнениям", т. е. требуемая оператором степень надежности оценок. Например, оператору, который нуждается в 99% надежности оценки, требуется больше "склонности к сомнениям", чем тому, кто доволен 98% надежностью. Слишком большая "склонность к сомнениям" может привести к излишнему тратить времени на сбор и проверку информации, в то время как недостаточная может привести к принятию решений на основе недостоверных данных.

В будущем планируется исследовать индивидуальные стратегии операторов (отношение обеих вышеупомянутых характеристик) с использованием тренажеров, имитирующих технологический процесс. Это поможет в отборе персонала для работ на объектах повышенной опасности. Долгосрочная перспектива включает разработку программ по обучению операторов оптимальным стратегиям.

Исследование вызвало интерес на отраслевой научно-практической конференции в Сочи, и в настоящее время ведется совместная работа со специалистами по обучению кадров для атомной отрасли.