Российские исследователи научат нейросеть анализировать эмоции

В последнее время становится всё более востребованным формат видеоконференций. Но, в отличие от живого общения, здесь сложно отследить эмоции участников и степень их вовлеченности в процесс.

Этим, возможно, займутся специальные технологии, разработанные для видео-конференц-связи онлайн и систем электронного обучения (elearning). Статья по этому поводу была опубликована в IEEE Transactions on Affective Computing.

Посмотреть на лица

Новый нейросетевой алгоритм был разработан российскими программистами в рамках проекта Центра искусственного интеллекта НИУ ВШЭ "Нейросетевые алгоритмы анализа динамики эмоционального состояния и вовлеченности учеников на основе данных видеонаблюдения".

Программа использует для анализа видеоизображения лиц участников онлайн-мероприятий. При этом обрабатываются только наиболее значимые области лица и выделяются их характерные признаки.

Далее для каждого лица фиксируются эмоциональные характеристики. Наконец, нейросеть определяет, какие эмоции были наиболее ярко выражены во время онлайн-конференции или видеоурока, и насколько каждый участник был вовлечён в происходящее.

Будет работать даже на мобильнике!

"Совместно с Ильёй Макаровым из Научно-исследовательского института искусственного интеллекта (AIRI) мы создали достаточно простую в использовании компьютерную программу, позволяющую обработать видеозапись вебинара или онлайн-занятия и получить набор видеоклипов с наиболее характерными эмоциями каждого участника, — комментирует возглавляющий работу над проектом профессор кафедры информационных систем и технологий НИУ ВШЭ в Нижнем Новгороде Андрей Савченко. — Для нескольких наборов данных мы показали, что предложенные алгоритмы превосходят по точности известные аналоги. При этом, в отличие от большинства известных технологий, разработанные модели могут участвовать в обработке видео в режиме реального времени даже на малопроизводительном оборудовании, в том числе на мобильных устройствах каждого участника онлайн-мероприятия".

Теоретически можно проанализировать и эмоциональный настрой участников мероприятий, проводимых вживую. Для этого понадобятся системы видеонаблюдения и особые программы, считывающие видеоданные у присутствующих в зале или аудитории.

Повысить эффективность

А зачем, собственно, выявлять эмоции? По задумке разработчиков, если речь идёт об онлайн-лекциях, это поможет понять, что больше всего заинтересовало слушателей, а что оказалось скучным или сложным для восприятия.

Ведь, как известно, на лекциях и занятиях, и даже во время каких-то обсуждений всегда найдутся те, кто ловит каждое слово и участвует в дискуссиях, и есть те, кому неинтересно и кто порой даже засыпает в процессе… И если таких "спящих" много, то стоит задуматься об изменении формата или подачи материала. Впоследствии онлайн-курс можно будет скорректировать, опираясь на эту информацию.

Сейчас проводится интеграция разработанных нейросетевых моделей в сервис видеоконференций Jazz by Sber, так как анализ поведения участников этих мероприятий тоже сможет повысить их эффективность.