Detecção e fusão de atributos duplicados para mineração de dados

Abstract

Atributos duplicados são um problema recorrente em várias bases de dados geradas de fontes de dados similares e decentralizadas. Esta duplicação de atributos resulta em grande dimensionalidade sem aumentar proporcionalmente o valor da informação contida na base de dados. Buscando lidar com esta questão, o presente trabalho procurou aplicar métodos de identificação e fusão de atributos duplicados em conjuntos de dados utilizando algoritmos de aprendizado de máquina para tornar esse processo menos custoso a um especialista. O objetivo foi avaliar a hipótese de que a fusão de atributos duplicados pode melhorar o poder preditivo dos modelos enquanto reduz o seu tempo de treinamento. Um método foi proposto para detecção de atributos duplicados usando classificadores para rotularem pares de atributos como duplicados ou não. Esse método tem como base evidências extraídas da base de dados sendo analisada. As evidências indicam a semelhança entre os atributos de cada par e são separadas em três categorias: baseadas nos nomes dos atributos, no seus conjuntos de valores e na coocorrência de cada par. Ao tornar essa fase de identificação automática, o trabalho dos especialistas se torna menos custoso, visto que é necessário rotular manualmente um conjunto pequeno de pares de atributos para o modelo conseguir rotular os demais. Após a fase de detecção, um método de fusão das duplicatas também foi proposto, de forma que as informações presentes nos atributos duplicados fossem mantidos em um único atributo. Uma avaliação comparando a detecção de duplicados com um ground truth gerado manualmente obteve F1 de 0,91. Em seguida, os efeitos da fusão foram medidos em uma tarefa de predição de mortalidade. Assim, observamos que embora nosso modelo tenha sido bem sucedido na tarefa de encontrar pares de atributos duplicados, a fusão destes atributos de acordo com a estratégia implementada não foi efetiva na melhoria da qualidade da classificação. Ainda que tenha sido constatada uma redução do tempo de treinamento com o método de fusão de atributos, a mesma não foi compensada pelo ganho de qualidade na tarefa de classificação. Concluímos que a hipótese investigada não é válida e uma análise foi feita com relação aos pontos a serem aprimorados na fase de detecção de atributos duplicados, que se mostrou como o principal gargalo a ser tratado.

Duplicate features generated from similar and decentralized data sources are a recurring problem found in several databases. This duplication of features results in large dimensionality without proportionally increasing the value of the information contained in the database. Seeking to deal with this issue, the present work sought to apply methods for the identification and fusion of duplicate features in data sets using machine learning algorithms to make this process less costly for a specialist. The goal was to evaluate the hypothesis that the fusion of duplicate features can improve the predictive power of the models while reducing their training time. A method has been proposed for detecting duplicate features using classifiers to label pairs of features as duplicates or not duplicates. This method is based on evidences extracted from the database being analyzed. The evidence indicates the similarity between a pair of attributes and is separated into three categories: based on the feature names, their sets of values, and their co-occurrence. Through automatic identification, the burden on the specialists is reduced, since it is only necessary to manually label a small set of attribute pairs for the model to be able to label the others. After the detection phase, a method for fusing the duplicates was also proposed, so that the information present in the duplicate features is merged into a single feature. An evaluation comparing the detection of duplicates with a manually generated ground truth obtained an F1 of 0.91. Then, the effects of the fusion were measured in a mortality prediction task. Thus, we observed that although our model was successful in finding duplicate pairs of features, the fusion of these attributes according to the strategy implemented was not effective in improving performance. Even though the feature fusion method brought a reduction in training time, it was not compensated by the performance gain in the classification task. We conclude that the investigated hypothesis is not valid and an analysis was made regarding the points to be improved in the phase of detecting duplicate features, which proved to be the main bottleneck to be addressed.