Мохамед Кари из Университета Дуйсбурга-Эссена и группа его коллег из Германии и Швейцарии разработали приложение для мобильных устройств, способное трансформировать реальные объекты среды в виртуальные, но при этом сохраняющие изначальные свойства. Проект был представлен на конференции ISMAR 2021.
Дополненная реальность (AR) нам уже не в новинку. Но в классическом варианте виртуальные объекты накладываются на реальный мир, то есть взаимодействует с уже существующей средой. При этом реальные объекты скрываются полностью или частично, или их вид немного изменяется.
Есть ещё термин "смешанная реальность" (mixed reality, или, сокращенно, MR). Эти системы меняют саму среду, а не только дополняют её новыми объектами.
Что же представляет собой новая разработка? Это программа, базирующаяся сразу на четырёх алгоритмах работы с изображениями. Она передаёт кадры с камеры смартфона или планшета на сервер, где происходит обработка изображений. На мобильном устройстве это сделать сложно, так как требуются слишком большие вычислительные мощности.
На первом этапе ИИ сегментирует изображения, то есть выделяет, например, людей и автомобили. Далее одна из нейросетей определяет положение объекта в пространстве в трёхмерном формате, а другая вырезает его из кадра и заполняет этот фрагмент реалистичным фоном. Наконец, на последнем этапе ещё один алгоритм накладывает на вырезанный фрагмент виртуальный объект таким образом, чтобы он находился в той же позиции, что и оригинал.
Модели могут быть разными: например, человека можно заменить фантастическим монстром, машину — гигантской хэллоуиновской тыквой… При этом наложенный объект будет двигаться так же, как и оригинал.
В зависимости от выбранной нейросетевой модели приложение может менять частоту от 4 до 22 кадров в секунду. Однако при большей частоте изображение становится менее реалистичным. Также, из-за того, что программа работает в облаке, виртуальный объект может появляться на дисплее с небольшим запаздыванием. Но эти проблемы решаемы, говорят авторы разработки. В будущем вычислительные мощности сервера увеличатся, что, разумеется, повлияет на качество и скорость работы приложения.
Но стоит ли так уж радоваться и хлопать в ладоши? Недавно Луис Розенберг, программист из Исследовательской лаборатории ВВС, разработавший первую функциональную AR-систему, опубликовал в издании Big Think статью о том, что метаверс — иммерсивная реальность, разрабатываемая в рамках проекта "Метавселенная" компанией Facebook, сменившей теперь свое название на Meta, может изменить реальность, и она перестанет существовать в том виде, в котором мы её знаем.
"Меня беспокоит законное использование AR мощными поставщиками платформ, которые будут контролировать инфраструктуру", — пишет Розенберг.
Учёный считает, например, что ряд пользователей смогут получать за плату информацию о реальных людях, отражающую их социальные особенности. И если такой юзер будет находиться в смешанной реальности, то он будет видеть, скажем, парящие над головой того или иного человека метки "Алкоголик", "Гей", "Расист" и др.
Также, по мнению Розенберга, люди, управляющие метавселенной, могут заставить реальные объекты просто визуально исчезать, и люди окажутся полностью зависимы от своих устройств. При этом мы не сможем осуществлять почти никакие виды жизнедеятельности без использования виртуала. В конце концов для нас станет невозможным идентифицировать, где настоящая реальность, а где — "поддельная". И мы окажемся в мире самой настоящей киберпанковской антиутопии…