Ощущения нажатий виртуальных клавиш делают погружение в дополненную реальность максимальным.
Пользователи устройств дополненной реальности (AR) не жалуют виртуальные клавиатуры. Печать на них медленная, изобилует ошибками, а постоянное удержание руки на весу вызывает мышечное перенапряжение, которое в англоязычной среде называют «синдромом гориллы».
В Техасском университете в Далласе разработали уникальный интерфейс, который позволяет превращать в виртуальную клавиатуру в AR любой предмет из повседневного обихода. Технология получила название PropType, подана заявка на патент.
Любой предмет
«Интегрируя объекты, окружающие пользователя, PropType открывает новый подход к вводу текста в дополненной реальности, создавая целостную связь между физическим и виртуальным мирами. PropType использует тактильные ощущения от самих предметов, что дает более четкое подтверждение нажатия и снижает зависимость от визуальных подсказок», — пояснил Джин Рён Ким с кафедры информатики в Школе инженерии и компьютерных наук Эрика Йонссона.
Эта технология предлагает альтернативу распространенным решениям для набора текста в AR, таким как внешние физические клавиатуры, которые ухудшают ощущения погружения в среду без устройств.
«PropType использует нашу естественную привычку держать предметы в руках и становится более интуитивной и доступной альтернативой обычным клавиатурам — особенно когда вы в движении или руки заняты, и традиционные методы ввода просто неприменимы», — подчеркнул Ким.
PropType была представлена на ведущей мировой конференции по взаимодействию человека с компьютером ACM CHI Conference on Human Factors in Computing Systems в Йокогаме (и получила там приз) и на 38-м ежегодном симпозиуме ACM по программным технологиям пользовательского интерфейса в Пусане.
Разработчики PropType столкнулись с рядом сложностей, такими как адаптация интерфейса к предметам разной формы и размера. Они изучили, как 16 участников взаимодействуют с предметами, чтобы понять движения и жесты при печати. На основе этого составили специальные раскладки клавиатуры для разных объектов. В систему также встроили редактор, позволяющий пользователям настраивать раскладки и визуальные эффекты.
Тактильная реальность
Исследования лаборатории Кима сосредоточены на тактильных ощущениях, то есть на осязании и физической обратной связи в цифровых системах.
«Прикосновение несет в себе много информации — это еще одна форма коммуникации, которая остается недостаточно изученной в виртуальной и дополненной реальности», — сказал он.
Среди достижений команды — награды за работу по термическому маскированию и термотактильной интеграции, использующие феномен восприятия, позволяющий обмануть мозг. В эксперименте на руку испытуемого помещали тепловой и тактильный актуатор — и при их одновременной активации он чувствовал тепло в обоих местах.
«Поняв, как тактильные сигналы могут менять термическое восприятие, мы сможем создавать интерфейсы с полным погружением, Это открывает фантастические перспективы для виртуальной реальности, медицинских симуляций и других применений, где важно создать эффект почти полной осязаемости», — заключил Ким.