Исследовательская группа Нью-Йоркского университета во главе с Джаредом Аланном Франком разработала специализированную систему дополненной реальности, которая способна работать на обычном планшетном компьютере или смартфоне. Новая разработка использует камеру девайса для анализа окружающей среды, на которую проецируются виртуальные объекты. Оператор в данном случае может выбрать любой объект и из списка действий дать роботу команду для взаимодействия.
Система разработана на базе Xcode от компании Apple. Она способна распознавать роботов и определять их местоположение относительно объектов окружающего мира. Затем система накладывает на пространство координатную сетку, к которой и будут привязаны все последующие действия. Команды обрабатываются при помощи миниатюрного компьютера Raspberry Pi, а передаются при помощи Wi-Fi.
На данный момент технология управления роботами при помощи дополненной реальности была протестирована лишь в лабораторных условиях, однако в ближайшем будущем ученые планируют провести испытания в условиях строительства и промышленного производства.