Superpixel-driven 360º image compression

Abstract

Omnidirectional, 360◦, or spherical images are signals defined on the surface of the sphere that capture information in all directions. These images are essential for immersive ap plications such as virtual reality and often come in high resolutions, requiring efficient and specialized compression strategies. Typically, spherical images are projected onto a two-dimensional plane using the equirectangular projection, which introduces latitude dependent distortions that affect both image representation and compression performance. Conventional block-based compression methods applied to 360◦ images often lead to vis ible blocking artifacts and face limitations in terms of geometric adaptability, resulting in suboptimal visual quality and practical implementation challenges. In this work, we pro pose a novel content-guided compression framework specifically designed for spherical images, which uses spherical superpixels as coding units. Each superpixel is processed using a spherically-weighted graph Fourier transform and a latitude-adaptive quantization strategy, allowing for better alignment with the geometry and content distribution of the spherical signal. Our method achieves state-of-the-art compression performance, yielding image quality gains of up to 3.66 dB and bit rate reductions of up to 55% compared to other recent coding unit-based approaches. Compared to learning-based methods, which require bitrate-specific training and struggle with generalization, our approach is training free and achieves competitive visual quality.

Imagens omnidirecionais, 360◦ ou esféricas são sinais definidos sobre a superfície da esfera que capturam todo o campo de visão em todas as direções. Essas imagens são es senciais para aplicações imersivas, como a realidade virtual, e frequentemente possuem altas resoluções, exigindo estratégias de compressão eficientes e especializadas. Tipica mente, imagens esféricas são projetadas em um plano bidimensional por meio da projeção equiretangular, a qual introduz distorções dependentes da latitude que afetam tanto a re presentação quanto o desempenho da compressão. Métodos convencionais de compressão baseados em blocos, quando aplicados a imagens 360◦, frequentemente resultam em ar tefatos visuais de blocagem e enfrentam limitações quanto à adaptabilidade geométrica, levando a uma qualidade visual subótima e desafios práticos de implementação. Neste trabalho, propomos uma nova estrutura de compressão guiada por conteúdo, especifica mente projetada para imagens esféricas, que utiliza superpixels esféricos como unidades de codificação. Cada superpixel é processado por meio de uma transformada de Fou rier no domínio de grafos com pesos esféricos (GFT) e uma estratégia de quantização adaptativa à latitude, permitindo melhor alinhamento com a geometria e a distribuição de conteúdo do sinal esférico. Nosso método atinge desempenho de compressão com va lores de estado da arte, com ganhos de qualidade de imagem de até 3,66 dB e reduções de taxa de bits de até 55% em comparação com outras abordagens recentes baseadas em unidades de codificação. Em comparação com os métodos baseados em aprendizado de máquina, que exigem treinamento específico para cada taxa de bits e enfrentam dificulda des de generalização, nossa abordagem dispensa treinamento e alcança qualidade visual competitiva.