Applying BERT language model to poem classification : a study on data imbalance issues

Abstract

Art, and specifically poetry, has always been a very valuable resource to understand a society’s identity and view of life. Recently, with the rise of the big data revolution, large datasets of the most varied subjects are starting to appear. Also, we are seeing a new wave of very powerful Artificial Intelligence systems based on deep learning, especially in the area of Natural Language Processing (NLP). It is reasonable, then, to explore how well suited these systems are to process data within the realm of poetry, since we stand to gain so much insight about human cultures from it. In this work we apply the BERT pre-trained language model to a real-world dataset of poems, in order to create classifiers to recognize the topics the poems deal with. We list some of the issues that appeared during this process and experiment with possible strategies to mitigate one of them, namely imbalance of classes. We found that it was possible to improve the baseline results by applying two of the strategies explored, those being undersampling of the majority class and the use of different weights for each class to scale the loss function

Arte, e em específico poesia, sempre foi um recurso muito valioso para a compreensão da identidade e visão de mundo de uma sociedade. Recentemente, com o crescimento da revolução de big data, grandes conjuntos de dados dos mais variados assuntos estão começando a aparecer. Também estamos presenciando uma nova onda de sistemas de In teligência Artificial muito poderosos baseados em aprendizado profundo, em especial na área de Processamento de Linguagem Natural. É razoável, então, explorar o quão adequa dos são esses sistemas para processar dados dentro do campo da poesia, já que podemos ganhar tanto entendimento sobre as culturas humanas através deles. Nesse trabalho apli camos o modelo pré-treinado de linguagem BERT a um dataset de poemas do mundo real, de modo a criar classificadores para reconhecer com quais tópicos os poemas lidam. Listamos alguns dos problemas que apareceram durante esse processo e experimentamos com estratégias possíveis para mitigar um deles, a saber o desbalanceamento de classes. Descobrimos que é possível melhorar os resultados iniciais ao aplicar duas das estratégias propostas, sendo estas undersampling da classe majoritária e o uso de diferentes pesos para cada classe escalando a função de perda.