Инженеры MIT разработали новую систему Clio, позволяющую роботам эффективно анализировать обстановку и принимать решения в зависимости от задач.
Эта инновационная технология сочетает методы компьютерного зрения и обработки естественного языка, помогая роботам быстро создавать карту местности и выбирать действия. Особенность Clio в том, что она позволяет роботам понимать уровень детализации, необходимый для выполнения конкретных задач. Например, если задача — просто очистить стол, робот сгребает предметы в кучу, но если нужно отобрать определенные вещи, он действует более аккуратно.
В серии экспериментов Clio продемонстрировал способность автоматически сегментировать сцены на разных уровнях детализации, опираясь на задачи, сформулированные на естественном языке. Одним из ключевых преимуществ системы является способность "запоминать" только значимые части сцены, оптимизируя обработку информации и фокусируясь на важных объектах. Это делает Clio перспективным для использования в поисково-спасательных операциях и других областях, требующих быстрой адаптации.
Clio работает на основе глубокого обучения и теории информации, используя концепцию "информационного узкого места" для выделения релевантной информации. Система способна работать в реальном времени, что продемонстрировано на четвероногом роботе Spot от Boston Dynamics.