Transcrição musical automática do instrumento de bateria a partir de vídeos

Abstract

Métodos para transcrição automática de música consistem em algoritmos para automaticamente extrair informações de tom e ritmo a partir de áudios e/ou vídeos. Diversas pesquisas e trabalhos desenvolvidos na área propões técnicas eficazes, mas ainda existe espaço para melhorias e algoritmos mais sofisticados. Este trabalho propõe implementar uma nova solução para a transcrição musical automática do instrumento de bateria a partir da análise de vídeos de pessoas tocando este instrumento, e propõe atingir tal objetivo combinando técnicas de processamento de imagem e informações espaciais sobre a movimentação do corpo do músico e as peças da bateria que podem estar sendo tocadas a cada momento. O presente trabalho foca na transcrição do instrumento de bateria a partir apenas de vídeo, mas não áudio; essa suposição é importante pois a bateria é um instrumento cujos sons são frequentemente sobrepostos e não possuem notas bem definidas, como no caso de instrumentos de corda, o que pode dificultar o uso de técnicas baseadas em áudio e análise de frequência para transcrição. Em particular, uma das dificuldades de transcrever automaticamente músicas deste instrumento é que até mesmo as partituras não descrevem as músicas por notas musicais, e sim por qual tambor ou prato deve ser tocado em dado instante. Além disso, ao contrário de instrumentos de corda, nos quais o número de cordas é fixo, a quantidade de tambores e pratos em uma bateria é variável. Nossa implementação supera tais obstáculos com o uso de informação espacial, tais como a determinação de onde estão as peças da bateria e a verificação automática de qual peça foi tocada em cada momento. Além disso, se o áudio estiver disponível, nossa solução poderá ser usada em conjunto com técnicas atuais de transcrição baseadas em áudio. Neste trabalho, através do uso de filtros e máscaras, com auxílio de algoritmo de estimação de pose, foi possível realizar a transcrição de trechos de vídeos de músicos tocando o instrumento de bateria. Iremos apresentar, neste trabalho, as tecnologias empregadas, assim como resultados experimentais, limitações do trabalho e possíveis aplicações do método proposto.

Methods for automatic music transcription consist of algorithms to automatically extract tone and rhythm information from audios and/or videos. Several research developed in the field propose effective techniques, but there is still room for improvement and more sophisticated algorithms. This work proposes to implement a new solution for the automatic musical transcription of the drum instrument from the analysis of videos of people playing this instrument, and proposes to achieve this goal by combining image processing techniques and spatial information about the movement of the musician’s body and the parts of the drum that may be being played at any moment. The present work focuses on the transcription of the drum instrument from video only, but not audio; this assumption is important because the drum is an instrument whose sounds are often superimposed and do not have well-defined notes, contrary to the case of string instruments, making it difficult to use audio-based techniques and frequency analysis for transcription. In particular, one of the difficulties of automatically transcribing songs of this instrument is that even the music sheets do not describe the songs by musical notes, but by which drum or cymbal should be played at a given moment. In addition, unlike stringed instruments, in which the number of strings is fixed, the number of drums and cymbals in a drum kit is variable. Our implementation overcomes such obstacles with the use of spatial information, such as determining where the drum parts are and the automatic checking of which part has been touched at each time. In addition, if audio is available, our solution can be used in conjunction with current audio-based transcription techniques. In this work, through the use of filters and masks, with the aid of a pose estimation algorithm, it was possible to perform transcriptions of videos of musicians playing the drums instrument. We will show, in this work, the technologies employed, limitations of our technique, as well as experimental results and possible applications of the proposed method.