Avaliação do modelo MapReduce em diferentes arquiteturas : um comparativo entre Hadoop e Maresia.

Abstract

No mundo computacional, tem-se um aumento constante na demanda de processamento. Há cada vez mais dados a serem processados, de forma que frequentemente eles exigem uma abordagem distribuída para que isto ocorra em um tempo aceitável. O MapReduce é um modelo de programação paralela, que visa facilitar o desenvolvimento deste tipo de aplicação, gerenciando grande parte dos complicadores como comunicação, tolerância a falhas, etc.. No Hadoop, framework open source mais utilizado pela comunidade científica que implementa este modelo, há dois pontos únicos de falha que podem comprometer toda a computação de um job. Tendo isso como inspiração, foi desenvolvido em um trabalho anterior a este uma nova arquitetura para o MapReduce, denominada Maresia, além de um protótipo que a utiliza. Esta arquitetura segue um modelo peer to peer para processar jobs. O objetivo deste trabalho é fazer uma avaliação aprofundada do desempenho do protótipo, analisando o seu comportamento e comparando seus resultados com testes executados em uma arquitetura Mestre/Escravo. Para um melhor comparativo foram implementadas novas funcionalidades durante o trabalho que permitem que ele tenha um fluxo de execução mais semelhante ao Hadoop. Os resultados mostram um protótipo que sofre com alguns pontos ineficientes, principalmente a transmissão de dados intermediários. Além disso, o comparativo com o Hadoop mostra que esta nova arquitetura é bastante promissora, no entanto, seu gargalo precisa ser otimizado.

In the computational world, has been a steady increase in demand for processing. There is an increasing amount of data to be processed, that often demand a distributed approach to occurs in an acceptable time. MapReduce is a parallel programming model, which aims to ease the development of this kind of application, managing great part of the complicating factors like communication, fault tolerance, etc.. In Hadoop, the most used open source framework by the scientific community which implements this model, there are two single points of failure that can compromise the process of a job. Having this as inspiration, a previous work has designed a new MapReduce architecture, called Maresia, besides an prototype to use it. This architecture follows a peer to peer model to process jobs. The objective of this work is execute a thorough performance evaluation of the prototype, analyzing it’s behavior and comparing the results with tests performed in a Master/ Slave architecture. For a better comparison, new features has been implemented that allows it to have a workflow more similar to Hadoop. The results shows a prototype that suffers with some inefficient points, mainly the intermediate data transmission. Furthermore, the Hadoop comparison with the model shows that this architecture is quite promising, however, the bottleneck must to be optimized.