Multi-robot missions are a challenge for operators in terms of workload and situational awareness. These operators have to receive data from the robots, extract information, understand the situation properly, make decisions, generate the adequate commands, and send them to the robots. The consequences of excessive workload and lack of awareness can vary from inefficiencies to accidents. This work focuses on the study of future operator interfaces of multi-robot systems, taking into account relevant issues such as multimodal interactions, immersive devices, predictive capabilities and adaptive displays. Specifically, four interfaces have been designed and developed: a conventional, a predictive conventional, a virtual reality and a predictive virtual reality interface. The four interfaces have been validated by the performance of twenty-four operators that supervised eight multi-robot missions of fire surveillance and extinguishing. The results of the workload and situational awareness tests show that virtual reality improves the situational awareness without increasing the workload of operators, whereas the effects of predictive components are not significant and depend on their implementation.
Las misiones multi-robot suponen un reto para los operadores en términos de carga de trabajo y conciencia de la situación. Los operadores tienen que recibir los datos de los robots, extraer la información, entender la situación, tomar decisiones, generar los comandos adecuados y enviarlos a los robots. Las consecuencias de una carga de trabajo excesiva o una falta de conciencia de la situación pueden variar desde ineficiencias hasta accidentes. Este trabajo se centra en el estudio de las interfaces de operador del futuro para sistemas multi-robot, teniendo en cuenta interacciones multimodales, dispositivos inmersivos, capacidades predictivas y paneles adaptativos. En concreto, se han diseñado y desarrollado cuatro interfaces: una convencional, otra convencional predictiva, una de realidad virtual y otra de realidad virtual predictiva. Las cuatro interfaces se han validado con el rendimiento de veinticuatro operadores en la supervisión de ocho misiones multi-robot de vigilancia y extinción de incendios. Los resultados de las encuestas de carga de trabajo y conciencia de la situación muestran que la realidad virtual mejora la conciencia de la situación sin incrementar la carga de trabajo de los operadores, mientras que los efectos de los componentes predictivos no son significativos y dependen de su implementación.
J.J. Roldán, E. Peña-Tapia, A. Martín-Barrio, M.A. Olivares-Méndez, J. del Cerro and A. Barrientos. “Multi-Robot Interfaces and Operator Situational Awareness: Study of the Impact of Immersion and Prediction”. Sensors, 17(8), 1720. 2017. Impact Factor (2016): 2.677. Article
