Estimativa de profundidade usando uma única imagem esférica

Abstract

A estimativa de profundidade é um componente essencial de diversas aplicações de visão computacional, e um dos assuntos mais extensivamente estudados na área. Recentemente, houveram avanços na utilização de métodos de aprendizagem de máquina para realizar a estimativa a partir de uma única imagem, diferentemente do método tradicional de casamento estéreo, que utiliza duas ou mais imagens. Imagens esféricas, ou omnidirecionais, possuem um campo de visão de 360 e oferecem informação contextual muito maior da cena em relação a imagens planares. A estimativa de profundidade de cenas esféricas pode ser de grande utilidade para diversas aplicações, como navegação, compreensão de cena e realidade virtual. Tradicionalmente, no entanto, são necessárias múltiplas câmeras esféricas ou câmeras especializadas para a estimativa de profundidade na esfera, e com a popularização de câmeras 360 e o fácil acesso a métodos de geração de panoramas 360 , é de interesse poder aplicar as técnicas de estimativa de profundidade utilizando um única imagem ao domínio das imagens esféricas. Este trabalho propõe um método para estimar profundidades utilizando apenas uma única imagem esférica a partir da divisão da esfera e projeção em planos. São estimadas as profundidades no domínio planar utilizando métodos já existentes, e então projeta-se as estimativas de volta para a esfera, combinando as estimativas de cada divisão da esfera em um único mapa de profundidades para toda a esfera.

Depth estimation is an essential component in many computer vision applications, and one of the most extensively studied subjects in the field. Recently, advancements were made in applying machine learning methods to estimate depths from a single image, differently from traditional stereo matching methods, which need two or more images. Spherical, or omnidirectional, images, have a 360 field of view and provide higher contextual information about a scene in comparison to planar images. Depth estimation of spherical scenes can be an asset for many applications, such as navigation, scene understanding and virtual reality. Normally, however, multiple spherical cameras, or specialized camera configurations are needed to perform depth estimation on spherical images, and with the rise in ease of access to 360 cameras and panorama generation tools, it is of interest to be able to apply single image depth estimation method to spherical images. This work proposes a method for estimating depth from a single spherical image by dividing the sphere and projecting each section onto a plane. Depths are estimated on the planar domain using existing methods, and these estimates are projected back to the sphere, combining each sections’ estimates into a single depth map for the whole sphere.