В реальном мире нам не нравится носить с собой громоздкие контроллеры или постоянно держать меню перед глазами. Так зачем терпеть это в виртуальном пространстве? С EgoTouch вам больше не придётся сталкиваться с такими неудобствами, ведь интерфейс будет находиться прямо у вас на ладони.
Система EgoTouch в настоящее время разрабатывается аспирантом Вималом Моллином и его коллегами из Института взаимодействия человека с компьютером при Университете Карнеги-Меллона в виде прототипа. Она переосмысливает идею размещения тактильных интерфейсов, похожих на сенсорные экраны, на виртуальных телах пользователей виртуальной реальности.
Предыдущие исследования показали, что такие интерфейсы значительно превосходят по скорости, точности и эргономичности обычно используемые «воздушные» интерфейсы, которые накладываются на изображение виртуального мира, видимое пользователем.
Однако одна из проблем существующих нательных интерфейсов заключается в том, что они обычно требуют использования специальных камер с функцией определения глубины. Эти камеры необходимы для отслеживания местоположения реальной части тела, на которой отображается интерфейс в виртуальном пространстве, а также положения реального пальца, который выполняет выбор на этом интерфейсе.
В отличие от них, EgoTouch использует только RGB-камеру, которая уже есть в любой гарнитуре виртуальной реальности. Когда реальный палец пользователя нажимает на ладонь, камера фиксирует возникающие тени и деформации кожи. Сопоставляя расположение этих визуальных индикаторов с виртуальным интерфейсом на ладони, можно определить, какие опции выбираются в мире виртуальной реальности.
Чтобы обучить алгоритм, команда Моллина попросила группу добровольцев прижать указательный палец к разным участкам ладони, надев на голову RGB-камеру. Под пальцем располагался сенсорный датчик, который не был виден камере.
Сопоставляя данные с камеры с данными датчика, алгоритм определил, какие изображения соответствуют определённым местам, интенсивности и продолжительности касаний. Более того, у добровольцев был разный оттенок кожи и густота волос, а также они записывали данные при различном освещении.
При тестировании EgoTouch показал 96-процентную точность определения касаний на ладони с частотой ложных срабатываний около 5%. Он также с 98-процентной точностью определял, было ли касание мягким или жёстким, и мог распознавать такие действия, как нажатие, поднятие и перетаскивание.
«Впервые у нас есть система, которая использует только камеру, уже встроенную во все гарнитуры. Наши модели не требуют калибровки и работают сразу после установки», — говорит Моллин. — Теперь мы можем опираться на предыдущие работы по интерфейсам на коже и сделать их реальными».
Статья об этом исследовании была недавно опубликована в материалах 37-го ежегодного симпозиума ACM по программному обеспечению и технологиям пользовательских интерфейсов. Базовая версия EgoTouch представлена в следующем видео.
Источники: NewAtlas, Университет Карнеги-Меллона
