Autorização da classificação de dados numéricos para geração de mapas temáticos no contexto do Big Geo data

Abstract

A sociedade contemporânea gera informações em uma escala sem precedentes, impulsionada pela popularização da internet e pela ampla adoção de dispositivos móveis. Esse contexto tem provocado fluxos contínuos de dados gerados em tempo real, originados de transações digitais, redes sociais e sensores conectados à internet. Muitos desses dados possuem referência espacial associada, sendo classificados como Big Geo Data. Portanto, compreender suas particularidades é essencial para sua aplicação em projetos de mapas temáticos. A relevância desta dissertação reside no fato de que, além das conhecidas características do Big Data, como volume e velocidade, o Big Geo Data agrega a dimensão espacial que impõe novos desafios à análise e à representação da informação geográfica. Essa especificidade exige o desenvolvimento de métodos computacionais automatizados, capazes de lidar com a heterogeneidade dos atributos e da geometria para a sua utilização em projetos cartográficos. Diante disso o algoritmo criado nesta pesquisa inicia com a classificação das informações como qualitativas ou quantitativas, utilizando as bibliotecas do ecossistema Python, Pandas e NumPy. Em seguida, os dados quantitativos são categorizados por meio do método de Fisher-Jenks, adaptado ao contexto de fluxos de dados constantes e dinâmicos, característicos do Big Geo Data. Para o controle de qualidade dessa classificação, foi utilizada a métrica Goodness of Absolute Deviation Fit (GADF). Essa métrica permite não apenas avaliar a qualidade de uma categorização, mas também permite monitorar, ao longo do tempo, possíveis degradações nas classes à medida que novos dados são incorporados. Para a automação cartográfica, foram utilizadas as bibliotecas Matplotlib e Folium. Os métodos computacionais desenvolvidos nesta dissertação foram testados com dados reais com atualização constante. Os resultados obtidos, com base na análise da métrica de desempenho GADF, apontam uma melhora nessa métrica conforme a quantidade de dados aumenta, o que demonstra a adequação dos métodos computacionais desenvolvidos ao contexto do Big Geo Data, viabilizando sua utilização na automação da produção de mapas temáticos.

Contemporary society generates information on an unprecedented scale, driven by the popularization of the internet and the widespread adoption of mobile devices. This context has led to continuous flows of data generated in real time, originating from digital transactions, social networks, and internet-connected sensors. Many of these data carry associated spatial references and are thus classified as Big Geo Data. Therefore, understanding their specific characteristics is essential for their application in thematic map projects. The relevance of this dissertation lies in the fact that, beyond the well-known characteristics of Big Data, such as volume and velocity, Big Geo Data adds a spatial dimension that imposes new challenges to the analysis and representation of geographic information. This specificity requires the development of automated computational methods capable of handling the heterogeneity of both attributes and geometries for their use in cartographic projects. In this regard, the algorithm begins by classifying the information as either qualitative or quantitative, using libraries from the Python ecosystem, namely Pandas and NumPy. Then, the quantitative data are categorized using the Fisher-Jenks method, adapted to the context of continuous and dynamic data flows that characterize Big Geo Data. For quality control of this classification, the Goodness of Absolute Deviation Fit (GADF) metric was employed. This metric not only evaluates the quality of a categorization but also allows monitoring, over time, of potential degradations in the classes as new data are incorporated. Subsequently, the quantitative data are classified according to their geometry namely, point, line, or area. For cartographic automation, the Matplotlib and Folium libraries were employed. The computational methods developed in this dissertation were tested using real data with constant updates. The results obtained, based on the analysis of the GADF performance metric, indicate an improvement in this metric as the data volume increases, demonstrating the adequacy of the computational methods developed for the Big Geo Data context and enabling their use in the automation of cartographic products.