Measuring drift impact : a customizable synthetic data generator

Abstract

Concept drift, the change of the statistical properties of data over time, is a characteristic common to data from multiple domains. It can substantially impact the performance of Machine Learning models over time. For this reason, developing methods to detect, evalu ate, and mitigate these changes in data behavior is crucial for optimizing or viabilizing the utilization of Machine Learning (ML) models to solve real-world problems. In contexts where expressive drift occurs, it is desirable to understand thoroughly and to effectively utilize information on the phenomenon to apply ML solutions effectively. Hence, it is indispensable to have algorithms with demonstrated robustness. Nevertheless, to evaluate the theoretical robustness of algorithms, using data from real contexts can be a hindrance, for understanding the dynamics that generate the data in real contexts is often deficient or unknown. It is difficult to determine with sufficient precision when and why changes induced by drift occur, nor their expected impact on the performance of ML models. A solution to this problem is to use synthetic data. By using synthetic data, it is possible to better comprehend the effects of the changes in data by making the dynamics of the change of the distributions measurable and explainable by design. Another positive effect is the ability to compare and enhance algorithms, as having measurability and explainabil ity allows the comparison of algorithm performance under drift to be more precise and objective. With this goal, an application for generating data with customizable concept drift has been developed. This application implements indicators of the theoretical limits of maximum achievable performance for models and indicators of expected performance loss for models that have yet to abstract the drift dynamics, iteration by iteration. Finally, a comparison was made with other implementations of synthetic data generators in the literature, comparing qualitative and quantitative characteristics. Contrary to other imple mentations in the literature, which lack at least one of the following characteristics, the proposed data generator can generate problems with varying degrees of complexity and multiple dimensions for input and output. It is suitable for classification problems, binary or multiclass, and regression problems.

Concept drift, mudança das propriedades estatísticas dos dados com o tempo, é uma característica comum a dados de múltiplos domínios. Ele pode impactar substancialmente a performance de modelos de Aprendizado de Máquina ao longo do tempo. Por esse motivo, o desenvolvimento de métodos para detectar, avaliar e mitigar essas mudanças no comportamento dos dados é crucial para a otimização, ou mesmo a viabilização, da aplicação de modelos de Aprendizado de Máquina à resolução de problemas reais. Em contextos em que há drift expressivo, para a efetiva aplicação de soluções de Aprendizado de Máquina, é desejável compreender com profundidade e utilizar bem informações sobre o fenômeno. Dessa forma, é imprescindível ter à disposição algoritmos com comprovada robustez. Contudo, para avaliar a robustez teórica de algoritmos, a utilização de dados provenientes de contextos reais pode ser um empecilho, visto que o entendimento da dinâmica que gera o dado em contextos reais é frequentemente deficiente ou desconhecido. É difícil dizer com suficiente precisão quando e por quê alterações por drift ocorrem, ou seu impacto esperado na performance de modelos de Aprendizado de Máquina. Uma solução para esse problema é utilizar dados sintéticos. Ao se utilizar dados sintéticos, é possível compreender melhor os efeitos das mudanças nos dados, por implementar no design da aplicação dinâmicas de mudança da distribuição dos dados que sejam explicáveis e mensuráveis. Outro efeito positivo é a possibilidade de comparar e aprimorar algoritmos, por possuir critérios objetivos. Com esse objetivo, foi desenvolvido uma apli cação para geração de dados com concept drift customizável. A aplicação implementa indicativos dos limites teóricos de máxima performance para modelos e indicativos da perda esperada de performance de algoritmos que não tenham abstraído as dinâmicas do drift, iteração a iteração. Por fim, foi feita uma comparação com outras implementações de geradores de dados sintéticos na literatura, qualitativa e quantitativa. Ao contrário de outras implementações na literatura, que carecem de pelo menos uma das seguintes carac terísticas, o gerador de dados proposto é capaz de gerar problemas com diferentes graus de complexidade e com múltiplas dimensões para entrada e saída. Ele é adequado para problemas de classificação, binária ou multiclasse, e de regressão.