JJRG: PhD Thesis

I did my PhD thesis "Adaptive and Immersive Interfaces to improve Situational Awareness in Multi-Robot Missions" at the Technical University of Madrid in the context of SAVIER (Situational Awareness VIrtual EnviRonment) project of Airbus Defence & Space between 2014 and 2018.

Abstract

Missions involving multiple robots have experienced an unprecedented growth over the last years. The explanation behind this fact may be that using a robot fleet is more effective, efficient, flexible and fault tolerant than employing a single robot for the task. However, this kind of missions entail a set of challenges related to human factors. Among these challenges, the most remarkable include managing workload, keeping situational awareness and managing stressful situations.

This PhD thesis aims at developing a new generation of interfaces that allow single operators to control robot fleets. For this purpose, data mining and machine learning tools are applied to discover relevant information and provide it to operators, whereas virtual and augmented reality technologies are used to create immersive interfaces that improve their situational awareness.

The thesis can be split into four blocks:

Mission modeling: The objective is to generate mission models able to show what is happening at any moment and select relevant information. In this thesis, the use of process mining is proposed as a way to automatically model the missions through the data generated by them. Specifically, the use of Petri nets is proposed to determine the state of the mission, and decision trees are employed to predict its evolution. Among all the discovery algorithms of process mining that have been tested, the inductive miner provided the best results in the context of multi-robot missions.

Operator modeling: The objective is to generate operator models to enable a prediction of their behavior during the mission, in order to provide them with the most adequate information at any moment. The classification of operators is proposed according to their mission control strategies, and it is followed by the prediction of their preferences, taking into account the data of previous missions. The first step is performed by applying clustering algorithms (Partition Around Medoids provided the best classifications), whereas the second one is developed by using probability distributions.

Adaptive interfaces: Once the mission and operator models are obtained, the objective of this block is to discover the relevant information from the mission data and provide it to the operators through the interface. In this section of the thesis, the use of neural networks is proposed as a tool to transfer functions from operators to interfaces. Specifically, the experiments performed demonstrate that these models allow the interface to evaluate the relevances and risks of robots mirroring the way a human operator would.

Immersive interfaces: Once the relevant information is selected, according to the mission’s state and operator preferences; the objective of this last block is to transmit this information to the operators, while controlling their workload and keeping their situational awareness. In this thesis, the development of immersive interfaces is proposed based on virtual reality, which introduces the operators in the scenario where the robots are working. The experiments performed on this phase demonstrate that these interfaces improve the situational awareness of operators without increasing their workload.

All the developments of the thesis have been validated through experiments with operators, who have monitored and commanded robot fleets (formed by ground, aerial and manipulator robots) to perform realistic missions (surveillance and intervention in disaster areas) in varied and relevant scenarios (both outdoors and indoors).

Keywords: Mission, Mission Modeling, Fleet, Swarm, Ground Robot, Aerial Robot, Manipulator Robot, Operator, Operator Modeling, Workload, Situational Awareness, Stress, Human-System Interaction, Autonomy, Monitoring, Commanding, Interface, Adaptive Interface, Immersive Interface, Virtual Reality, Augmented Reality, Multimodal, Robotics, Data Mining, Process Mining, Petri Net, Decision Tree, Discovery Algorithm, Inductive Miner, Clustering, Artificial Intelligence, Machine Learning, Neural Networks.

Resumen

Las misiones con múltiples robots han experimentado un gran crecimiento en los últimos años. Este hecho se debe a que una flota de robots aporta más eficacia, eficiencia, flexibilidad y tolerancia a fallos que un robot individual. Sin embargo, este tipo de misiones plantea una serie de retos relacionados con los factores humanos. Entre estos retos se pueden destacar la gestión de la carga de trabajo, el mantenimiento del conocimiento de la situación, la gestión de situaciones de estrés, etc.

Esta tesis doctoral tiene como objetivo el desarrollo de una nueva generación de interfaces que permitan a un solo operador controlar una flota de robots. Con este fin se emplean herramientas como la minería de datos y el aprendizaje automático para descubrir la información más relevante y proporcionarla al operador, así como tecnologías de realidad virtual y aumentada para crear interfaces inmersivas que mejoren su conocimiento de la situación.

La tesis se puede dividir en cuatro bloques:

Modelado de misiones: El objetivo es generar modelos de las misiones que permitan conocer lo que está sucediendo en cada momento y seleccionar la información más relevante. La tesis propone el uso de la minería de procesos para modelar automáticamente las misiones a partir de los datos generados por las mismas. En concreto, se propone el uso de redes de Petri para determinar el estado de la misión y árboles de decisión para predecir su evolución. Tras probar todos los algoritmos de descubrimiento de modelos de la minería de procesos se llegó a la conclusión de que el algoritmo de minado inductivo es el mejor en el contexto de las misiones con múltiples robots.

Modelado de operadores: El objetivo es generar modelos de los operadores para predecir su comportamiento durante la misión y poder proporcionarles la información que necesitan en cada momento. La tesis propone la clasificación de los operadores según sus estrategias para controlar las misiones y la predicción de sus preferencias teniendo en cuenta los datos de las misiones anteriores. El primer paso se realiza utilizando algoritmos de agrupamiento (el algoritmo de partición alrededor de los medoides proporciona la mejor clasificación), mientras que el segundo empleando distribuciones de probabilidad.

Interfaces adaptativas: Una vez obtenidos los modelos de las misiones y los operadores, el objetivo es descubrir la información relevante a partir de los datos generados por la misión y proporcionarla a los operadores a través de la interfaz. La tesis propone el uso de redes neuronales para transferir funciones de los operadores a la interfaz. En concreto, los experimentos demuestran que estos modelos pueden ser utilizados para que la interfaz evalúe las relevancias o riesgos de los robots de la forma en que lo hacen los operadores.

Interfaces inmersivas: Una vez seleccionada la información relevante según el estado de la misión y las preferencias del operador, el objetivo es mostrarla de manera que alivie la carga de trabajo y mantenga el conocimiento de la situación del operador. La tesis propone el desarrollo de interfaces inmersivas basadas en realidad virtual, que introducen a los operadores en el escenario en el que están trabajando los robots. Los experimentos demuestran que estas interfaces mejoran el conocimiento de la situación de los operadores sin incrementar su carga de trabajo.

Todos los desarrollos de la tesis se han validado mediante experimentos con operadores, que tenían que supervisar y controlar flotas de robots (formadas por robots terrestres, aéreos y manipuladores) para llevar a cabo misiones realistas (vigilancia e intervención en entornos de desastre) en escenarios variados y relevantes (tantos exteriores como interiores).

Palabras clave: Misión, Modelado de Misiones, Flota, Enjambre, Robot Terrestre, Robot Aéreo, Robot Manipulador, Operador, Modelado de Operadores, Carga de Trabajo, Conocimiento de la Situación, Estrés, Interacción Humano-Sistema, Autonomía, Supervisión, Control, Interfaz, Interfaz Adaptativa, Interfaz Inmersiva, Realidad Virtual, Realidad Aumentada, Multimodal, Robótica, Minería de Datos, Minería de Procesos, Red de Petri, Árbol de Decisión, Algoritmo de Descubrimiento de Modelos, Algoritmo de Minado Inductivo, Agrupamiento, Inteligencia Artificial, Aprendizaje Automático, Redes Neuronales.