Contribuições da linguística de corpus para a definição de níveis de proficiência escrita no exame Celpe-Bras

Abstract

Desde a virada do milênio, percebe-se o aumento do interesse no uso da Linguística de Corpus para informar a validação de exames de língua (Cushing, 2017; 2022), havendo um aumento significativo no uso de corpora de línguas adicionais em pesquisas voltadas para avaliações de proficiência (Wisniewski, 2017). Resultados destas pesquisas são úteis para um maior entendimento das classificações de proficiência em um nível empírico (Callies; Díez-Bedmar; Zaytseva, 2014; Barker; Salamoura; Saville; 2015; Callies; Götz, 2015). O Celpe-Bras, Certificado de Proficiência em Língua Portuguesa para Estrangeiros, é um exame brasileiro que busca avaliar as práticas linguísticas em Português como Língua Adicional em contextos variados (Brasil, 2020). Com o intuito de dar seguimento a trabalhos que se debruçaram sobre os níveis de proficiência escrita avaliados no Celpe-Bras (Sirianni, 2016; Mendel, 2019; Divino, 2021; Hanauer, 2023; Schoffen; Divino, 2023; Sostruznik, 2023), esta dissertação se propõe a responder à pergunta: Como as análises lexicais realizadas com ferramentas de Linguística de Corpus podem contribuir para a descrição dos níveis de proficiência em tarefas de leitura e escrita no exame Celpe-Bras? Para isto, foi analisado um corpus não anotado de 2.293 textos produzidos por examinandos em resposta à Tarefa 4 da edição de 2015/2 do Celpe-Bras, avaliados com notas 0, 1, 2, 3, 4 e 5 (CorCel20152t4). Os objetivos específicos se dividem em três grupos: o primeiro deles diz respeito à extensão dos textos, incluindo análises das quantidades totais, médias e normalizadas de types, tokens e sentenças, bem como o cálculo Type-Token-Ratio; o segundo grupo é voltado para a relação do léxico utilizado em cada subcorpus com o material de insumo, com análises de n-grams, keywords e wordlists no Sketch Engine (Kilgarriff et al., 2004); e o terceiro grupo se refere à incidência de termos relacionados à configuração da relação de interlocução dentro do gênero do discurso proposto, com foco na ferramenta concordance do Sketch Engine. Os resultados sugerem que a extensão dos textos é um fator importante no que diz respeito à proficiência, com textos mais avançados sendo, em geral, maiores. Quanto aos termos relacionados à construção do gênero, estes são mais recorrentes conforme a nota aumenta, mas não estão presentes em 100% dos textos, confirmando que há diversas possibilidades de se cumprir adequadamente a tarefa. Os dados também desmistificam a ideia de que a cópia é realizada apenas nos níveis mais baixos: apesar da quantidade de cópias de trechos mais longos ser, proporcionalmente, mais alta nos corpora n3, n2 e n1 do que nos corpora n5 e n4, foram encontrados n-grams com cópia de fragmentos do material de insumo em todas as notas. Foi identificado ainda que o corpus n5 apresenta mais palavras diferentes das que constam no material de insumo, mas que são morfologicamente semelhantes às apresentadas neste material. Com isto, infere-se que estes examinandos conseguem transitar mais na língua portuguesa ao demonstrarem conhecer seu funcionamento.

Since the turn of the millennium, there has been a growing interest in using Corpus Linguistics to inform the validation of language exams (Cushing, 2017; 2022), with a significant increase in the use of additional language corpora in research focused on proficiency assessments (Wisniewski, 2017). Findings from these studies are valuable for a deeper understanding of proficiency classifications at an empirical level (Callies; Díez-Bedmar; Zaytseva, 2014; Barker; Salamoura; Saville; 2015; Callies; Götz, 2015). The Celpe-Bras, Certificate of Proficiency in Portuguese for Foreigners, is a Brazilian exam designed to assess language practices in Portuguese as an Additional Language in various contexts (Brazil, 2020). Building on previous work that examined written proficiency levels assessed in the Celpe-Bras (Sirianni, 2016; Mendel, 2019; Divino, 2021; Hanauer, 2023; Schoffen; Divino, 2023; Sostruznik, 2023), this dissertation aims to address the question: How can lexical analysis conducted with Corpus Linguistics tools contribute to describing proficiency levels in reading and writing tasks in the Celpe-Bras exam? To achieve this, an unannotated corpus of 2,293 texts produced by exam takers in response to Task 4 of the 2015/2 edition of Celpe-Bras, evaluated with scores ranging from 0 to 5, was analyzed (CorCel20152t4). The specific objectives are divided into three groups: the first group concerns the text's length, including analyses of total, average, and normalized quantities of types, tokens, and sentences, as well as Type-Token-Ratio calculation; the second group focuses on the relationship between the lexicon used in each subcorpus and the input material, with analyses of n-grams, keywords, and wordlists in the Sketch Engine (Kilgarriff et al., 2004); and the third group refers to the incidence of terms related to the configuration of the interlocution relationship within the proposed discourse genre, with a focus on the concordance functionality of the Sketch Engine. The results suggest that text length is an important factor regarding proficiency, with more advanced texts generally being longer. As for the terms related to genre construction, they become more frequent as the score increases, but they are not present in 100% of the texts, confirming that there are different ways to adequately complete the task. The data also debunk the notion that copying is only done at lower levels. Despite the proportionally higher amount of longer passage copying in corpora n3, n2, and n1 than in corpora n5 and n4, n-grams copying fragments from the input material were found at all levels. In addition, corpus n5 presented more different words than those in the input material, but morphologically similar to those in that material. Therefore, it can be inferred that these examinees can navigate more freely in the Portuguese language by demonstrating an understanding of its functioning.