Using deep learning and evolutionary algorithms for time series forecasting

Abstract

Time series analysis is widely used in fields such as business, economics, finance, science, and engineering. One of the main purposes of time series data analysis is to use past observations from the data to forecast future values. Moreover, time series data analysis allows you to represent the data in a form that can convey changes over time. Many different time series forecasting algorithms have been explored in machine learning and statistics literature. More recently, deep neural networks have been increasingly used, since they can be trained in such a way that they are effective at representing many kinds of data, including raw and featurized data. This thesis aims to assess the performance of Deep Learning algorithms optimized by an Evolutionary Algorithm in predicting different time series. First, a description of the selected Deep Learning algorithms will be presented, namely Stacked Autoencoder (SAE), Stacked Denoising Autoencoder (SDAE) and Long Short-Term Memory Networks (LSTM). The Feedforward Multilayer Perceptron (MLP) network is used frequently in time series prediction, and thus it is used as baseline to compare these Deep Learning models. Given the complexity of these models, their hyperparameters are optimized by an Evolutionary Algorithm called Covariance Matrix Adaptation Evolution Strategy (CMAES) The strengths and drawbacks of CMAES are also highlighted in order to explain why it is considered as state-of-the-art and one of the most powerful Evolutionary Algorithms for real-valued optimization. In order to demonstrate the performance of the proposed approach on forecasting time series, experiments are performed using three different datasets. Two of them are artificial data generated by the Mackey-Glass and Lorenz System equations. The third one includes real data of hourly energy demand. Throughout the analysis of the results, it was found that some models, such as LSTM and MLP, perform better on data presenting some degree of seasonality; while models with pre-processing layers (i.e. SAE and SDAE) have difficulties learning the time structure of the data. Problems containing time series data behave similar to many other machine learning problems such that there is no master algorithm that is the best for all problems. Therefore, this study supports the effectiveness of deep learning models for usage on time series forecasting problems, as well as the usage of CMAES for hyperparameters optimization.

A análise de séries temporais é amplamente utilizada em areas relacionadas a negócios, economia, finanças, ciências e engenharia. Uma das principais caracteristicas dos dados de séries temporais é que observações passadas podem ser usadas para prever valores futuros. Além disso, esse tipo de dado introduze o problema adicional de se fazer necessário a criação de representações que reflitam mudanças ao longo do tempo. Muitos algoritmos de previsão de séries temporais baseados em aprendizado de máquina e estatística têm sido propostos na literatura. Mais recentemente, tecnincas de Deep Learning vêm sendo aplicadas nesse campo, uma vez que esses tipos de rede neurais podem ser treinadas de forma a representarem diferentes tipos de dados, sejam dados brutos ou transformados. Esta tese tem por objetivo avaliar o desempenho de algoritmos de Aprendizagem Profunda otimizados por um Algoritmo Evolutivo na predição de diferentes séries temporais. Primeiramente, é apresentada uma descrição dos algoritmos de Aprendizado Profundo selecionados, a saber: Autoencoder (SAE), Stacked Denoising Autoencoder (SDAE) e redes Long Short-Term Memory (LSTM). A rede Feedforward Multilayer Perceptron (MLP) é usada freqüentemente em predições de séries temporais e, portanto, é usada como modelo base para comparar os modelos base em Aprendizagem Profunda. Dada a complexidade desses modelos, seus hiperparâmetros são otimizados por um Algoritmo Evolucionário denominado Covariance Matrix Adaptation Evolution Strategy (CMAES) Os pontos fortes e as desvantagens do CMAES são destacados a fim de se explicar por que ele é considerado como estado-da-arte e um dos mais poderosos algoritmos evolutivos para otimização de valor real. Para demonstrar o desempenho da abordagem proposta na previsão de séries temporais, os experimentos são realizados usando três conjuntos de dados diferentes. Dois deles são dados artificiais gerados pelas equações de Mackey-Glass e Lorenz System. O terceiro inclui dados reais de demanda de energia horária. Ao longo da análise dos resultados, verificou-se que alguns modelos, como o LSTM e o MLP, apresentam melhor desempenho em dados que apresentam algum grau de sazonalidade; enquanto os modelos com camadas de pré-processamento (ou seja, SAE e SDAE) têm dificuldades em aprender a estrutura temporal dos dados. Os problemas que envolvem dados de séries temporais se comportam de maneira semelhante a muitos outros problemas de aprendizado de máquina, de modo que não há um algoritmo que seja o melhor para todos os problemas. Portanto, este trabalho corrobora a eficácia da utilização de modelos de Aprendizagem Profunda em problemas de previsão de séries temporais, bem como a eficácia do uso do algoritmo CMAES na otimização de hiperparâmetros.