Mitigando o impacto de dados non-IID em federated learning com entropia

Abstract

Algoritmos de Machine Learning (ML) possibilitam processar um conjunto de dados de entradas para gerar coeficientes que ajustem a saída a um resultado previamente conhecido, como menor erro possível, fazendo com que seja possível reconhecer e extrair padrões de um grande volume de dados (Big Data). Isso permite construir um modelo de aprendizagem para tomada de decisão. Essa aprendizagem pode ser de forma colaborativa, onde a aprendizagem envolve grupos de indivíduos trabalhando juntos para resolver determinado problema. Essa abordagem chama-se Collaborative Learning e demonstra desempenho bastante otimizado em relação aos métodos tradicionais de ML em várias aplicações, como por exemplo, compreensão de imagem e reconhecimento de voz. Também é possível ter uma aprendizagem de máquina em ambiente federado, mais conhecido como Federated Learning, onde os dispositivos compartilham dados não sensíveis entre si, como seus parâmetros, ajustando o modelo no dispositivo e o modelo global, através de hiperparâmetros. No entanto, um modelo de Federated Learning pode sofrer com dados non-IID (não independentes e identicamente distribuídos), que podem ser dados heterogêneos, surgindo de diversas fontes de dados e dispositivos. Os dados non-IID causam baixa convergência para algoritmos de ML e alto consumo de energia, aumentando também a largura de banda. Um dos conceitos da Teoria da Informação, que é a entropia, serve para medir o grau de aleatoriedade dos dados. Este trabalho propõe um modelo de Federated Learning que mitiga o impacto dos dados non-IID por meio de um algoritmo FedAvg-BE, que fornece aprendizado federado com a avaliação de entropia de borda para selecionar dados com melhor qualidade, em um ambiente de dados non-IID. A avaliação do desempenho do algoritmo, no melhor caso, demonstra 26% de economia de tempo de execução do modelo proposto em configurações de FL para datasets conhecidos da literatura. Os resultados dos 115 experimentos realizados neste trabalho demonstram a viabilidade do modelo proposto para mitigar o impacto dos dados non-IID.

Machine Learning (ML) algorithms make it possible to process a set of input data to generate coefficients that adjust the output to a previously known result, with the smallest possible error, making it possible to recognize and extract patterns from a large volume of data (Big Data). This will allow building a learning model for decision making. This learning can be collaborative, where learning involves groups of individuals working together to solve a given problem. This approach is called Collaborative Learning and demonstrates highly optimized performance compared to traditional ML methods in several applications, such as image understanding and voice recognition. It is also possible to have machine learning in a federated environment, better known as Federated Learning, where IoT devices share non sensitive data with each other, such as their parameters, adjusting the model on the device and the global model, through hyperparameters. However, a Federated Learning model can suffer from non-IID (non-independent and identically distributed) data, which can be heterogeneous data, being produced from diverse data sources and devices. Non-IID data causes low convergence for ML algorithms and high power consumption, also increasing bandwidth. One of the concepts of Information Theory, which is entropy, serves to measure the degree of randomness of data. This work proposes a Federated Learning model that mitigates the impact of non-IID data through a FedAvg-BE algorithm, which provides federated learning with border entropy evaluation to select data with better quality, in a non-IID data environment. The evaluation of the performance of the algorithm, in the best case, demonstrates 26% of execution time savings of the proposed model in FL configurations for datasets known in the literature. The results of the 115 experiments carried out in this work demonstrate the viability of the proposed model to mitigate the impact of non-IID data.