Characterizing affordances using AR for laparoscopic surgeries and challenges of planning a mixed reality remote collaboration application

Abstract

The advantages of Minimally Invasive Abdominal Surgery (MIAS) over traditional open surgery include shorter recovery time, less blood loss, and less postoperative pain and complications. However, laparoscopic surgeries are more complex to perform and learn, with various difficulties that surgeons face during learning and procedures. AR and VR devices in surgical settings have become increasingly suitable, offering hands-free, non-intrusive, and portable solutions to help guide and identify the points of interest during the operation, complementing verbal explanations and reducing the complexity of learning. This dissertation presents a comprehensive overview of the literature and related work exploring remote collaboration, augmented reality (AR), virtual reality (VR), and mixed reality (MR) for health environments, specifically in laparoscopic surgeries. We describe the primary perspective for planning and developing the XR application, its modes of utilization, and the challenges faced and turned into research questions, focusing on the AR interface and its standalone mode of utilization in laparoscopic surgeries intraoperatively. Further, we present the final developed AR interface, the hardware, and interaction designs. Finally, it details a user experiment to evaluate hand and head-gaze affordances using AR for annotation during laparoscopy surgeries and similar settings. The main study aims to understand the impact and improvements that head-gaze average filtering and the scale method can bring to perform annotations in the laparoscopy video feed in a virtual monitor positioned straight in front of the user. The user experiment was performed in a between-subject protocol with 32 volunteers from the Institute of Informatics. The study found that the users are confident about their performance and demonstrated low physical and temporal demand, and the head-gaze interaction with HL1 is very distributed. The conclusion presents an overview of the user study’s main findings, data analysis, and the interface’s limitations. A brief explanation of the future experiment is also proposed to evaluate surgeons’ interface use while performing physical tasks.

As vantagens da Cirurgia Abdominal Minimamente Invasiva (MIAS) em relação à cirurgia aberta tradicional incluem menor tempo de recuperação, menor perda de sangue e menos dor e complicações pós-operatórias. Porém, as cirurgias laparoscópicas são mais complexas de realizar e aprender, com diversas dificuldades que os cirurgiões enfrentam durante o aprendizado e os procedimentos. Os dispositivos de AR e VR em ambientes cirúrgicos têm se tornado cada vez mais comums, oferecendo soluções sem o uso ads mãos, não intrusivas e portáteis para ajudar a orientar e identificar os pontos de interesse durante a operação, complementando as explicações verbais e reduzindo a complexidade do aprendizado. Esta dissertação apresenta uma visão abrangente da literatura e trabalhos relacionados explorando colaboração remota, realidade aumentada (AR), realidade virtual (VR) e realidade mista (MR) para ambientes de saúde, especificamente em cirurgias laparoscópicas. Descrevemos a perspectiva primária para o planejamento e desenvolvimento da aplicação XR, seus modos de utilização e os desafios enfrentados e transformados em questões de pesquisa, com foco na interface AR e seu modo autônomo de utilização em cirurgias laparoscópicas intraoperatórias. Além disso, apresentamos a interface AR final desenvolvida, o hardware e os designs de interação. Por fim, é detalhado um experimento de usuário para avaliar as possibilidades de interação em AR usando a direção da cabeça e um anel an mão para anotação durante cirurgias de laparoscopia e configurações semelhantes. O estudo principal tem como objetivo compreender o impacto e as melhorias que o método de filtragem por média do mapeamento da direção da cabeça, e o método de escala do mapeamento podem trazer para realizar anotações no feed de vídeo de laparoscopia em um monitor virtual posicionado diretamente na frente do usuário. O experimento do usuário foi realizado em um protocolo entre sujeitos com 32 voluntários do Instituto de Informática. O estudo constatou que os usuários foram confiantes em seu desempenho e demonstraram baixa demanda física etemporal, e a interação com a direção da cabeça com HL1 é muito distribuída, embora apresente uma diferença significante entre os eixos dos posiconamentos. A conclusão apresenta uma visão geral das principais conclusões do estudo do usuário, análise de dados e limitações da interface. Uma breve explicação do experimento a seguir também é proposta para avaliar o uso da interface dos cirurgiões durante a execução de tarefas físicas.