Assessment of Short Essay Questions by LLMs:

Challenges and Potential Educational Applications

Authors

  • Roberlei Alves Bertucci Federal University of Technology of Paraná image/svg+xml
  • Osmar de Oliveira Braz Junior Santa Catarina State University image/svg+xml
  • Renato Fileto Universidade Federal de Santa Catarina image/svg+xml

DOI:

https://doi.org/10.21814/lm.18.2.509

Keywords:

Automatic short-answer grading, ASAG, evaluation of student answers, large language models, LLM

Abstract

The relationship between emerging technologies and human language has been widely investigated, especially after the popularization of large language models (LLMs) and their ability to interpret and generate texts. In educational settings, there is intense debate about the use of these technologies in classrooms by students, teachers, and institutions. Considering recent advances in the use of Artificial Intelligence (AI) in computational linguistics, this research is motivated by the need to integrate innovative methodologies into textual analysis, specifically in the assessment of short-answer questions (ASAG, Automatic Short Answer Grading) answered by undergraduate students in a text interpretation activity. This study compares human evaluation, marked by subjectivity, with the capabilities of LLMs, whose operation is based on probabilistic calculations. Data analysis revealed a very similar grading pattern between the two human evaluators, whereas the LLMs showed greater variation, both across models and in comparison with human evaluators. The highest positive correlation between an LLM and human evaluators was observed for Gemini 3, in one of the prompt variations tested in this study. These findings indicate that further research is still needed to refine tools for the ASAG task in Portuguese. Nevertheless, the observed performance of models such as Gemini suggests potential educational contributions, particularly in supporting teachers' diagnosis and feedback practices in short-answer assessment.

Author Biographies

  • Roberlei Alves Bertucci, Federal University of Technology of Paraná

    Graduado em Letras Português-Inglês pela PUCPR (2004); mestre em Letras (Estudos Lingüísticos) pela UFPR (2007) e doutor em Lingüística pela USP (2011), tendo feito parte de seu doutorado na Université Paris 8 (2009-2010). Desenvolveu a pesquisa de pós-doutorado na Bar-Ilan University em Israel (2012). Atualmente é professor na Universidade Tecnológica Federal do Paraná (UTFPR) e pesquisador de pós-doutorado do PGLit/NuPILL da UFSC (2025-2026), com bolsa de professor visitante do CNPq. Interessa-se por diferentes processos gramaticais de produção de sentido em línguas naturais, como: sintaxe, semântica e pragmática das línguas naturais, em especial o português brasileiro; descrição e análise linguística nos domínios verbal e nominal, em especial por meio de ferramentas tecnológicas; e aplicação de fundamentos e descobertas linguísticas a ferramentas tecnológicas digitais; ensino de leitura e escrita. É bolsista produtividade da Fundação Araucária desde 2025.

  • Osmar de Oliveira Braz Junior, Santa Catarina State University

    Possui graduação em Ciência da Computação pela Universidade do Sul de Santa Catarina (1997), mestrado em Engenharia de Produção pela Universidade Federal de Santa Catarina (2000) e doutorado em Ciência da Computação pela Universidade Federal de Santa Catarina (2025). Atualmente é professor adjunto da Universidade do Estado de Santa Catarina (UDESC) e professor horista da Universidade do Sul de Santa Catarina (UNISUL). Tem experiência na área de Ciência da Computação, com ênfase em Banco de Dados, atuando principalmente nos seguintes temas: educação a distância, programação, processamento de linguagem natural e banco de dados. 

  • Renato Fileto, Universidade Federal de Santa Catarina

    Renato Fileto é bacharel em Ciência da Computação pela Universidade Federal de Uberlândia (1992), mestre (1994) e doutor (2003) em Ciência da Computação pela Universidade Estadual de Campinas (UNICAMP), Brasil, com estágio no Georgia Institute of Technology, EUA (2002), e pós-doutorado pela Universidade de São Paulo (2012). Sua trajetória acadêmica tem sido marcada por atividades na indústria. Desde 2006, é professor titular do Departamento de Informática e Estatística (INE) da Universidade Federal de Santa Catarina (UFSC), em Florianópolis, SC, Brasil. Sua área de pesquisa é ciência de dados, com foco em sistemas inteligentes para análise de dados.

     

Published

2026-11-17

Issue

Section

Research Articles

How to Cite

Assessment of Short Essay Questions by LLMs:: Challenges and Potential Educational Applications. (2026). Linguamática, 18(2). https://doi.org/10.21814/lm.18.2.509