Construção de nuvem de pontos a partir do movimento de uma câmera monocular

Abstract

O Processamento Digital de Imagens (PDI) e a captura de imagens evoluíram significativamente, permitindo sua aplicação em diversas áreas, como medicina, esporte, indústria e arte. A captura de imagens no espectro visível possibilita muitas aplicações, incluindo robótica, automação, controle de qualidade e monitoramento de ambientes. Técnicas de PDI também podem ser aplicadas a sinais de radar, ressonância magnética, imagens térmicas e hiperespectrais. Este trabalho explora as relações geométricas das projeções do espaço tridimensional para obter informações sobre a localização de pontos do cenário e a pose de uma câmera monocular. Utilizando algoritmos de identificação de detalhes (features) e sua correspondência em imagens capturadas de diferentes pontos de vista, o sistema determina as coordenadas desses pontos. Esses pontos formam uma nuvem que representa a estrutura do cenário, técnica conhecida como Structure from Motion (SfM). A parte experimental deste projeto foi realizada em laboratório, onde uma câmera foi acoplada a um braço robótico KUKA. O uso do braço robótico foi fundamental para garantir a repetibilidade dos movimentos, bem como a precisão na captura das imagens, assegurando que a câmera percorresse trajetórias programadas em um ambiente controlado. A automação proporcionada pelo braço robótico permitiu não apenas uma maior confiabilidade nos dados capturados, mas também flexibilidade para adaptar o experimento a diferentes peças e condições. Para avaliar o desempenho do sistema SfM, uma nuvem de pontos gerada por esse método foi comparada a uma nuvem de pontos da mesma peça, gerada por uma máquina de medição por coordenadas ZEISS Prismo Ultra, cujas medições possuem incerteza conhecida. Os resultados preliminares indicam que o sistema SfM apresentou medições lineares com desvios dentro de tolerâncias aceitáveis para diversas aplicações industriais, com desvios de até 2 mm em peças de formato escalonado. Experimentos complementares foram realizados em uma sala com esferas fixadas nas paredes, onde os desvios nas medições das esferas variaram de 4 mm a 9 mm, especialmente em distâncias maiores, quando comparadas a sistemas de referência como o Laser Tracker LEICA. Foram elaborados mapas de calor e histogramas para analisar a distribuição e densidade dos pontos. Gráficos de erros de reprojeção ao longo dos eixos X e Y mostraram a precisão do processo de projeção. Os resultados detalhados são apresentados no texto da dissertação.

Digital Image Processing (DIP) and image capture have evolved significantly, enabling their application in various fields such as medicine, sports, industry, and art. Capturing images in the visible spectrum allows for many applications, including robotics, automation, quality control, and environmental monitoring. DIP techniques can also be applied to radar signals, magnetic resonance imaging, thermal and hyperspectral images. This work explores the geometric relationships of projections from three-dimensional space to obtain information about the location of points in the scene and the pose of a monocular camera. By using feature detection algorithms and their matching in images captured from different viewpoints, the system determines the coordinates of these points. These points form a cloud representing the structure of the scene, a technique known as Structure from Motion (SfM). The experimental part of this project was carried out in a laboratory, where a camera was mounted on a KUKA robotic arm. The use of the robotic arm was essential to ensure the repeatability of movements as well as the precision in image capture, ensuring that the camera followed programmed trajectories in a controlled environment. The automation provided by the robotic arm not only ensured greater reliability in the captured data but also flexibility to adapt the experiment to different parts and conditions. To evaluate the performance of the SfM system, a point cloud generated by this method was compared to a point cloud of the same part, generated by a ZEISS Prism Ultra coordinate measuring machine, whose measurements have known uncertainty. Preliminary results indicate that the SfM system showed linear measurements with deviations within acceptable tolerances for various industrial applications, with deviations of up to 2 mm in stair-shaped parts. Complementary experiments were conducted in a room with spheres fixed to the walls, where the measurement deviations of the spheres ranged from 4 mm to 9 mm, especially at greater distances, when compared to reference systems such as the LEICA Laser Tracker. Heat maps and histograms were generated to analyse the distribution and density of the points. Reprojection error graphs along the X and Y axes showed the accuracy of the projection process. Detailed results are presented in the dissertation text.