Task-oriented teleoperation through natural 3D user interaction

Abstract

Teleoperation provides a technical means to perform desired tasks in remote environments. Teleoperation using direct control and haptic-mediated interactions requires significant effort for unskilled users to understand how to operate the robot. Task-oriented teleoperation supports human-level understanding to directly transfer the meaning of tasks from the user to the robot. In this paper, we propose a natural 3D interface to transfer task knowledge to a remote robot. We design a 3D manipulation system in a mixed reality environment that combines human hand gestures and a 3D view of the remote robot. We demonstrate that the remote robot successfully executes the ordered task even in dynamic environments.

Augmented Reality and Robotics: A Survey and Taxonomy for AR-enhanced Human-Robot Interaction and Robotic Interfaces

“…Internal Status [479] Robot's Capability [66] Object Status [21] Sensor/Camera Data [377] Plan and Target [136] Simulation [76] Interactive Content [386] Virtual Background [8] [ 13,15,18,19,66,86,98,101,124,158,195,262,282,285,302,324,332,375,474,479,481] [4, 15,21,24,38,47,79,84,89,102,114,143,149,150,153,171,174,178,182,184,185,201,216,…”

Augmented Reality and Robotics: A Survey and Taxonomy for AR-enhanced Human-Robot Interaction and Robotic Interfaces

“…Internal Status [479] Robot's Capability [66] Object Status [21] Sensor/Camera Data [377] Plan and Target [136] Simulation [76] Interactive Content [386] Virtual Background [8] [ 13,15,18,19,66,86,98,101,124,158,195,262,282,285,302,324,332,375,474,479,481] [4, 15,21,24,38,47,79,84,89,102,114,143,149,150,153,171,174,178,182,184,185,201,216,2...…”

Interfaces naturales en la robótica: una revisión

“…Muchas veces el operario no puede estar cerca del robot y al querer manipularlo a distancia con un dispositivo físico, puede perder sensaciones de profundidad o no tener claro exactamente qué debe hacer el robot pues las cámaras le transmiten imágenes de baja calidad o en 2D. Ante esto, en Corea se ha creado un sistema de teleoperación de realidad mixta que permite al operario tener una imagen del robot en 3D y ver cómo este se mueve e interactúa con los objetos alrededor gracias a la obtención de gestos de la mano a través de un Kinect [18]. El sistema aprovecha las dos manos del usuario para manipular y navegar por la interfaz creada, además que ayuda a mejorar la forma en que se maneja un robot industrial y no requiere mucho tiempo de aprendizaje, por lo cual puede ser utilizado por usuarios novatos (Figura 8).…”