Машина поднимает тонну, но не может взять фишку пальцами. Пришло время исправить несправедливость.
Роботам до сих пор трудно выполнять руками действия, которые человеку кажутся простыми: поднять монету, поддеть тонкую деталь, достать маленький предмет из углубления или удержать инструмент без лишнего давления. Система FingerEye решает эту задачу с помощью датчика, который видит предмет перед касанием и чувствует контакт после него.
Разработку представили исследователи из Национального университета Сингапура и RoboScience. FingerEye - компактный зрительно-тактильный сенсор для ловкой манипуляции объектами. Не просто схватить и перенести, а повернуть, поддеть, поставить на ребро, вытащить из узкого места или удержать с нужной силой.
Современные роботы уже неплохо справляются с обычным захватом и переносом. Но тонкие действия быстро создают проблемы. Камера показывает форму и положение предмета, но не измеряет давление пальцев. Тактильный датчик чувствует силу только после прикосновения. В последние миллиметры перед контактом робот часто теряет важную часть информации: предмет уже близко, но понять, как именно к нему подойти, еще трудно.
FingerEye соединяет зрение и осязание в одном датчике. Внутри расположены две маленькие цветные камеры и мягкое кольцо. Камеры непрерывно снимают ближайшую область и работают по принципу стереозрения: расстояние рассчитывается по разнице между двумя точками обзора, примерно как у человеческих глаз. Благодаря этому робот заранее видит, где находится край предмета, под каким углом подходит поверхность и сколько места осталось до касания.
Не спрашивайте почему мы в MAX.
После контакта в работу вступает мягкое прозрачное кольцо на кончике сенсора. Оно расположено вокруг камер и касается предмета первым. Под давлением и крутящим моментом кольцо деформируется, а камеры отслеживают смещение маркеров на его поверхности. По этим изменениям система оценивает силу, направление нагрузки и движение предмета относительно пальца.
Датчик полезен там, где действие складывается из множества мелких поправок. Роботу нужно выбрать точку касания, подвести палец под правильным углом, вовремя замедлиться, распределить усилие и изменить хват, если предмет сместился. FingerEye дает данные до контакта и после него, поэтому система может корректировать движение раньше, а не разбираться с последствиями неудачного захвата.
Исследователи также обучили модель, которая объединяет данные от нескольких FingerEye. Для этого использовали имитационное обучение: робот учится по демонстрациям, где нужное действие уже выполнено человеком или другой системой. Реальные примеры дополнили симуляциями, чтобы навык меньше зависел от внешнего вида конкретных предметов и лучше переносился на новые объекты.
Команда создала цифровую копию сенсора и платформу для настройки роботизированных навыков. В симуляции можно менять освещение, форму, положение и внешний вид предметов, проверять разные движения и только потом переносить удачные стратегии на физический робот. Этот подход сокращает число дорогих экспериментов с реальным оборудованием.
FingerEye проверили в симуляциях и на настоящих роботах. Команда выбрала четыре задачи, где роботу нужно не просто сомкнуть пальцы, а точно рассчитать контакт до и после прикосновения. В первом тесте монета лежала на столе в случайном положении, а робот должен был поддеть ее, поставить на ребро и убрать пальцы так, чтобы монета не упала. Во втором робот поднимал тонкий картофельный чипс: нужно было скоординировать несколько пальцев, не сломать хрупкий предмет и не дать ему выскользнуть. В третьем кейсе робот доставал письмо из наклоненного и частично подвешенного конверта. В четвертом тесте система работала со шприцем. Все эти действия срываются из-за небольшой ошибки в угле, силе или моменте касания. Но с новым пальцем машина справилась успешно.
Разработчики отдельно отмечают компактность и сравнительно низкую стоимость сенсора. FingerEye не требует громоздкой оптики или внешней системы наблюдения, потому что основные данные приходят прямо с пальца робота. Конструкция и программный код открыты на GitHub, поэтому другие лаборатории смогут воспроизвести систему или адаптировать ее под свои платформы.
Возможности FingerEye не ограничиваются лабораторными демонстрациями. Домашним роботам пригодится способность брать посуду, одежду, лекарства и мелкие предметы без повреждений. В медицине похожие сенсоры могут помочь при работе с инструментами и расходными материалами. На производстве зрительно-тактильные датчики полезны там, где детали различаются по форме, положению и жесткости.