Comportamento da E/S de aplicações paralelas em sistemas de alto desempenho

Abstract

Na Computação de Alto Desempenho (CAD), um grande número de aplicações disputam pelos recursos disponíveis, principalmente pelo sistema de arquivos paralelos. Esta con corrência muitas vezes causa contenção nas operações de Entrada/Saída (E/S) reduzindo o desempenho das aplicações. Portanto, caracterizar as operações de E/S dos supercompu tadores é crucial para compreender carga de trabalho de E/S e assim identificar possíveis gargalos. Uma das formas de investigar os padrões de acesso das aplicações é através do uso de profiles de E/S das aplicações, porém, em um sistema CAD estes geram grandes quantias de dados. Nesse contexto, a abordagem proposta nesta dissertação consiste em caracterizar a carga de trabalho de E/S em supercomputadores. Para tanto, foram combinados profiles de E/S de diferentes aplicações em um único conjunto de dados com o objetivo de identificar e caracterizar os principais comportamentos de E/S. Duas abordagens são aplicadas para caracterizar a carga de trabalho: (1) Análise da duração e da representatividade dos pa drões de acesso a nível de aplicação; (2) Análise do comportamento das operações de E/S a nível de sistema. Assim, analisou-se os dados fornecidos pela ferramenta Darshan coletados pela Argonne Leadership Computing Facility e disponibilizados ao público. Os dados são uma coleção de arquivos de registros anônimos referentes a 12 meses do ano de 2012 que resumem as características de E/S de 91.603 jobs de computação científica de produção executadas no supercomputador IBM Intrepid Blue Gene/P. Foi apresentado o conceito de fase de E/S que define um intervalo de tempo onde uma aplicação realizou operações de E/S. A partir disso foi identificado que as fases de E/S das aplicações executaram em mediana por 1,2 microssegundos, se considerado o tempo ocioso entre as fases como parte da fase, identificando assim a estabilidade de uma fase de E/S na aplicação, esse valor sobe para 1 segundo. Quando considerado o comportamento global do sistema uma fase de E/S contém mais que uma operação e a duração dela em mediana é de 4 microssegundos. Além disso, conseguimos indicificar que em 50% do tempo, o sistema de arquivo paralelo trabalhou simultaneamente com 4 padrões de acesso distintos.

In High-Performance Computing (HPC), multiple applications compete for the available resources, mainly for the parallel file system. This concurrency often causes contention in Input/Output (I/O) operations, reducing application performance. Therefore, charac terizing supercomputer I/O operations is crucial to understanding the I/O workload and thus identifying potential bottlenecks. One way to investigate application access patterns is through the use of application I/O profiles; however, in an HPC system, these generate large amounts of data. In this context, the approach proposed in this dissertation is to characterize the I/O work load in supercomputers. Therefore, we combined profiles of I/O from different appli cations into a single dataset in order to identify and characterize the main I/O behaviors. Two approaches are applied to characterize the workload: (1) Analysis of the duration and representativeness of access patterns at the application level; (2) Analysis of the behavior of I/O operations at the system level. Thus, we analyzed the data provided by the Darshan tool collected by the Argonne Lead ership Computing Facility. The data is a collection of anonymous log files for 12 months of the year 2012 that summarize the I/O characteristics of 91,603 production scientific computing jobs executed on the IBM Intrepid Blue Gene/P supercomputer . The concept of the I/O phase was presented, which defines a time interval where an appli cation performed I/O operations. We identified that the I/O phases of the applications ran on average for 1.2 microseconds. If we consider the idle time between phases part of the phase, thus identifying the stability of an I/O phase in the application rises to 1 second. When we consider the system’s overall behavior, an individual I/O phase contains more than one operation, and its median duration is 4 microseconds. Furthermore, we were able to indicate that 50% of the time, the parallel file system worked simultaneously with four different access patterns.