Программисты Новгородского государственного университета создали систему на основе искусственного интеллекта, которая распознает жесты рук в экстремальных условиях. Проект, использующий обычную веб-камеру, может применяться на запыленных производствах, в шахтах и при спасательных работах.
Разработка новгородских исследователей способна функционировать в условиях, где традиционные системы «слепнут». ИИ-комплекс распознает жесты, даже когда оператор находится в грязных защитных перчатках, при плохом освещении и на фоне визуального шума от движущихся станков.
Как пояснил старший преподаватель кафедры информационных технологий и систем НовГУ Игорь Кулаков, разработчики переобучили нейросеть на изображениях рук в перчатках и настроили пороги срабатывания, чтобы программа отличала намеренное движение от случайного, пишут «Известия».
Чтобы отдать команду, достаточно поднести руку к камере — кончик указательного пальца превратится в курсор, а соединение большого пальца с указательным или средним заменит клик левой или правой кнопкой мыши. Все жесты выполняются на весу, без необходимости касаться экрана или панели управления.
Заявленная точность системы достигает 90–95% при скорости реакции менее 0,1 секунды, что сопоставимо с дорогими зарубежными контроллерами, но при существенно меньших затратах. Специалисты, опрошенные изданием, видят у технологии как сильные стороны, так и ограничения.
Представитель «Консорциума робототехники и систем интеллектуального управления» Евгений Дудоров отметил, что достоверности в 90–95% для промышленности недостаточно, ведь ошибка в интерпретации жеста может привести к аварии. Он рекомендовал дополнять жестовое управление голосовыми командами для повышения надежности.
В свою очередь, главный научный сотрудник Института проблем управления имени В. А. Трапезникова РАН Роман Мещеряков подчеркнул преимущество разработки — автономность: для ее работы не требуется никакого дополнительного оборудования, достаточно стандартной камеры, и комплекс эффективен в шумной обстановке, где голос бессилен.
Разработчик бенчмарка для проверки программ распознавания жестов Кирилл Головань добавил, что ограничения системы связаны с природой видеосенсоров — им нужна прямая видимость и стабильный кадр, но в качестве примера успешного применения он привел хирургию, где бесконтактное управление позволяет врачу в стерильных перчатках просматривать снимки, не нарушая стерильность.