Estudo de viabilidade para detecção de intrusão usando técnicas de Big Data para a análise de logs

Abstract

Este trabalho apresenta um estudo de viabilidade para implementação de um IDS através do uso de tecnologias Big Data com o objetivo de analisar logs. Para isso é realizado um estudo das ferramentas de Big Data, bem como uma apresentação de seus principais conceitos, visando explorar um dos propósitos da tecnologia: Analytics. A ideia fundamental é efetuar pesquisas em logs de dispositivos de rede, como switches, roteadores e servidores, buscando por padrões específicos como forma básica de detectar intrusões. Para atingir esse objetivo, este trabalho propõe uma arquitetura de sistema (software) que emprega ferramentas em software livre para realizar a aquisição de dados, seu armazenamento, análise dos logs e visualização. Por fim, é feito uma avaliação da solução proposta usando como dados de entrada os logs coletados em uma infraestrutura real: o PoP-RS. Essa avaliação é realizada comparando-se o tempo de execução de busca por padrões em logs utilizando ferramentas tradicionais (grep) contra ferramentas Big Data (Pig).

This work presents a feasibility study for implementation of an IDS through the use of Big Data technologies in order to analyze logs. For this, a study of Big Data tools it is conducted, as well as a presentation of its main concepts, aiming to explore one of the purposes of the technology: Analytics. The fundamental idea is to perform researches on logs of network devices, such as switches, routers and servers, searching for specific patterns as a basic way to detect intrusions. To achieve this goal, this work proposes a system architecture (software) using free software tools to perform data acquisition, its storage, log analysis and visualization. To conclude, an evaluation of the proposed solution is done using as the input data logs collected in a real infrastructure: PoP-RS. This evaluation is performed by comparing the search runtime for patterns in logs using traditional tools (grep) against Big Data (Pig) tools.