Real-time frequency adjustment of images and videos

Abstract

We present a technique for real-time adjustment of spatial frequencies in images and videos. Our method allows for both decreasing and increasing of frequencies, and is orthogonal to image resizing. Thus, it can be used to automatically adjust spatial frequencies to preserve the appearance of structured patterns during image downscaling and upscaling. By pre computing the image’s space-frequency decomposition and its unwrapped phases, these operations can be performed in real time, thanks to our novel mathematical perspective on frequency manipulation of digital images: interpreting the problem through the theory of instantaneous frequencies and phase unwrapping. To make this possible, we introduce an algorithm for the simultaneous phase unwrapping of several unordered frequency components, which also deals with the frequency-sign ambiguity of real signals. As such, our method provides theoretical and practical improvements to the concept of spectral remapping, enabling real-time performance and improved color handling. We demonstrate its effectiveness on a large number of images subject to frequency adjustment. By providing real-time control over the spatial frequencies associated with structured patterns, our technique expands the range of creative and technical possibilities for image and video processing.

Apresentamos uma técnica para ajuste em tempo real de frequências espaciais em imagens e vídeos. Nosso método permite aumentar e diminuir as frequências, e é ortogonal ao redimensionamento de imagens. Portanto, pode ser utilizado para automaticamente ajustar frequências espaciais preservando a aparência de padrões estruturados durante a redução e ampliação de imagens. Pré-computando a decomposição espaço-frequência da imagem e sua unwrapped phase, essas operações podem ser feitas em tempo real, devido à nossa nova perspectiva matemática sobre manipulação de frequências em imagens digitais: interpretando o problema por meio da teoria de frequências instantâneas e phase unwrapping. Para esse fim, introduzimos um algoritmo de phase unwrapping simultâneo de vários componentes de frequência desordenados, que também lida com a ambiguidade de sinal em sinais reais. Desse modo, nosso método proporciona melhorias teóricas e práticas para o conceito de remapeamento espectral, permitindo desempenho em tempo real e melhor tratamento de cores. Demonstramos sua eficácia em um grande número de imagens sujeitas a ajustes de frequência. Ao proporcionar controle em tempo real de frequências espaciais associadas a padrões estruturados, nosso método expande uma gama de possibilidades criativas e técnicas para processamento de imagens e vídeos. Nosso método inicialmente detecta as frequências e amplitudes de várias ondas senoidais que localmente reconstroem uma imagem por meio de uma transformada de Gabor e remove as ondas da imagem para obter o resíduo. Em seguida, para obter um campo de fases suave, as frequências são integradas usando o nosso método de integração por mínimos quadrados ponderado por uma medida de similaridade. Finalmente, a imagem é reconstruida somando o resíduo da imagem original e o produto das amplitudes e os cossenos das fases escaladas por um fator de ajuste. Além disso, podemos alterar as frequências em tempo real repetindo o processo de reconstrução com outro fator de ajuste. Demonstramos a performance em tempo real com uma implementação em GPU, nossa implementação usa a API OpenGL e o fato de que a reconstrução da imagem usa operações por pixel para reconstruir a imagem usando o fragment shader do pipeline gráfico.