DeAR: combining desktop and augmented reality for visual data analysis

Abstract

Most Visual Data Analysis tools in the literature focus on conventional Desktop environ ments, where interactions via mouse and keyboard are typically used. While such tools can be extremely efficient for many analytical tasks, the exclusively bi-dimensional nature of both interactions and displays in Desktop environments might, in some cases, hinder the perception of details or correlations that might be more evident in a three-dimensional view of the data. Wehypothesize that the combined use of conventional displays and Aug mented Reality (AR) hologram views could therefore be helpful in such circumstances. We propose a novel prototype for Visual Data Analysis in Hybrid Environments, called DeAR (Desktop + AR, i.e., combining Desktop and Augmented Reality for Visual Data Analysis). In this work, we validate our hybrid interface with two use case scenarios. For an initial validation of our prototype, we discuss two use case scenarios which demon strate how our design would support common visualization tasks integrating 2D and 3D views of the data. In our first scenario, one analyst uses DeAR to interact with two differ ent visualizations (Bar Chart and Scatterplot), one of them in a conventional screen and the other seen as a three-dimensional hologram. In the second scenario, two participants work together, carrying out similar tasks, but collaborating asymmetrically, with each one of them interacting with a different visualization paradigm. We also discuss an experiment design that will allow a controlled evaluation of our in terface in a future user study. We propose a series of tasks for such an evaluation, and discuss the most adequate questionnaires to be used. Our main contribution in this work was the design and implementation of a proof-of concept prototype for interaction with data in Hybrid Environments (DeAR) by combining heterogeneous interfaces/displays. An additional contribution of this work is the experi mental design for a user study evaluating the performance of hybrid environments used either by a single participants or by multiple collaborating participants.

A maioria das ferramentas de Análise Visual de Dados na literatura foca em ambientes convencionais Desktop, onde interações via mouse e teclado são tipicamente usadas. Em bora tais ferramentas possam ser extremamente eficientes para muitas tarefas analíticas, a natureza exclusivamente bidimensional tanto das interações quanto das exibições em am bientes Desktop pode, em alguns casos, dificultar a percepção de detalhes ou correlações que poderiam ser mais evidentes em uma visualização tridimensional dos dados. Hipo tetizamos que o uso combinado de exibições convencionais e visualizações holográficas em Realidade Aumentada (RA) pode, portanto, ser útil em tais circunstâncias. Propo mos um novo protótipo para Análise Visual de Dados em Ambientes Híbridos, chamado DeAR(Desktop +RA,ouseja, combinando Desktop eRealidade Aumentada para Análise Visual de Dados). Para uma validação inicial de nosso protótipo, discutimos dois cenários de uso que de monstram como nosso design apoiaria tarefas comuns de visualização integrando visu alizações 2D e 3D dos dados. No primeiro cenário, um analista usa o DeAR para interagir com duas visualizações diferentes (gráfico de barras e de dispersão), uma em uma tela convencional e a outra vista como um holograma tridimensional. No segundo cenário, dois participantes trabalham juntos, realizando tarefas similares, mas colaborando de forma assimétrica, cada um interagindo com um paradigma de visualização diferente. Também discutimos um design de experimento que permitirá uma avaliação controlada de nossa interface em um futuro estudo com usuários. Propomos uma série de tarefas para tal avaliação e discutimos os questionários mais adequados a serem usados. Nossa principal contribuição neste trabalho foi o design e a implementação de um protótipo de prova de conceito para interação com dados em ambientes híbridos (DeAR) combinando interfaces/exibições heterogêneas. Uma contribuição adicional deste trabalho é o design experimental para um estudo com usuários avaliando o desempenho de ambientes híbridos usados por um único participante ou por múltiplos participantes colaborativamente.