EFFECTIVENESS OF AN LLM-ASSISTED METHOD FOR SUPPORTING STUDY SCREENING IN LITERATURE REVIEWS

Authors

  • Renan Carneiro Batista Instituto Brasileiro de Informação em Ciência e Tecnologia image/svg+xml
  • Fabio Lorensi do Canto Instituto Brasileiro de Informação em Ciência e Tecnologia image/svg+xml
  • Washington Luís Ribeiro de Carvalho Segundo Instituto Brasileiro de Informação em Ciência e Tecnologia image/svg+xml
  • Thiago Magela Rodrigues Dias Instituto Brasileiro de Informação em Ciência e Tecnologia image/svg+xml

Keywords:

Recuperação da informação, Revisão de literatura, Inteligência artificial, Modelos de linguagem

Abstract

This study evaluates the effectiveness of a method assisted by large language models (LLMs) for screening studies in a simulated literature review procedure. The study was conducted using a corpus of 69 records retrieved from the Oasisbr Portal through a Boolean search on the topic “the use of artificial intelligence in monitoring deforestation and forest preservation in the Amazon region.” The records were classified by consensus among the authors into three categories: Include, Reassess, and Exclude. This classification was adopted as the reference standard for evaluating four current LLMs: two proprietary models, Gemini 3.1 Flash Lite and Claude Haiku 4.5, and two open models, Llama 3.1 8B and Qwen 3 14B. The evaluation considered agreement measures, using Cohen’s Kappa, and practical utility measures, using recall for the Keep category and Work Saved over Sampling at Recall R (WSS@R). The results indicate that Gemini, Claude, and Qwen showed moderate agreement with the human reference classification, whereas Llama showed weaker performance and a greater tendency to include studies. Gemini achieved the best result as a pre-filter, with 100% recall for the Keep category and a WSS@R of 31.9%. The study concludes that LLMs can support preliminary screening and reduce the reading workload, provided that they are used under human supervision.

Author Biographies

  • Fabio Lorensi do Canto, Instituto Brasileiro de Informação em Ciência e Tecnologia

    Doutor (2022) e Mestre (2018) em Ciência da Informação pela Universidade Federal de Santa Catarina - UFSC. Graduado em Biblioteconomia - Gestão da Informação pela Universidade do Estado de Santa Catarina - UDESC (2005) e Bacharel em Direito pela Faculdade CESUSC (2012). Atua como Bibliotecário/Documentalista na Biblioteca Central da Universidade Federal de Santa Catarina - UFSC e como bolsista do Projeto Serviços PI, coordenado pelo Instituto Brasileiro de Informação em Ciência e Tecnologia (IBICT) em colaboração com o Instituto Nacional de Propriedade Industrial (INPI).

  • Washington Luís Ribeiro de Carvalho Segundo, Instituto Brasileiro de Informação em Ciência e Tecnologia

    É doutor em Informática pela Universidade de Brasília (UnB), com período sanduíche no King's College London, e mestre na mesma área pela UnB. Possui também formação em Matemática (bacharelado e licenciatura) pela mesma instituição. Atualmente, é Coordenador-Geral de Informação Científica e Técnica no Instituto Brasileiro de Informação em Ciência e Técnica (Ibict), onde lidera projetos voltados à Ciência Aberta, repositórios digitais, interoperabilidade de sistemas e gestão de dados científicos. É Docente Permanente do Programa de Pós-graduação em Ciência da Informação do Ibict. Entre suas contribuições no Instituto, destaca-se a coordenação de iniciativas como o Oasisbr, um portal que agrega e dissemina conteúdos científicos brasileiros de acesso aberto, e a Biblioteca Digital Brasileira de Teses e Dissertações (BDTD), que centraliza a produção acadêmica de programas de pós-graduação em todo o país. Ele também lidera esforços relacionados à Rede dARK, um sistema descentralizado de identificadores persistentes baseado em blockchain, que visa garantir a integridade e rastreabilidade de recursos digitais, promovendo inovação em gestão de dados científicos. Sua trajetória inclui o desenvolvimento do BrCris, um sistema de integração e visualização de dados científicos no Brasil, e o projeto Laguna, voltado à criação de um lago de dados científicos de acesso aberto. É autor de diversos artigos acadêmicos que abrangem desde métodos formais em ciência da computação até temas aplicados de Ciência Aberta e repositórios digitais. Suas principais contribuições estão relacionadas a ferramentas de promoção da visibilidade e do acesso à produção científica brasileira, fortalecendo a interoperabilidade e a inovação no ecossistema de pesquisa nacional.

  • Thiago Magela Rodrigues Dias, Instituto Brasileiro de Informação em Ciência e Tecnologia

    Doutor em Modelagem Matemática e Computacional pelo CEFET-MG (2016) tendo trabalhado com Bibliometria, Extração de Dados Científicos e Análise de Redes de Colaboração Científica. Mestre em Modelagem Matemática e Computacional pelo CEFET-MG (2008), trabalhando com Arquitetura Orientada a Serviços e Web Mining com o tema: Uma Arquitetura Orientada a Serviços para emprego em Sistemas de Mineração de Dados na Web. Possui graduação em Ciência da Computação pelo Centro Universitário de Formiga - UNIFOR (2004), além de Especialização em Produção de Software - com Ênfase em Software Livre pela UFLA (2007) e Especialização em Melhoria do Processo de Software, UFLA (2007). Atua como Professor no Centro Federal de Educação Tecnológica de Minas Gerais (CEFET-MG) lecionando disciplinas na Graduação e Pós-graduação da instituição. Professor do Programa de Pós-graduação em Modelagem Matemática e Computacoinal do CEFET-MG e Professor Permanente do Programa de Pós-graduação em Ciência da Informação da Universidade Federal de Santa Catarina (UFSC). Também tem atuação como Colaborador em Projetos no Instituto Brasileiro de Informação em Ciência e Tecnologia (IBICT). Tem experiência na área de Ciência da Computação e Ciência da Informação, atuando principalmente nos seguintes temas: Bibliometria, Cientometria, Extração e Integração de Dados, Análise de Redes Sociais, Análise de Redes de Colaboração Científica, Acesso Aberto, Recuperação e Organização da Informação, Ciência de Dados, Data Mining, Text Mining e Web Mining. Membro da Sociedade Brasileira de Computação (SBC) e da Associação Nacional de Pesquisa e Pós-Graduação em Ciência da Informação (ANCIB).

References

BEHROUZIAN, Amir M. et al. Linguistic polarity and decision architecture in LLM-based abstract screening for systematic reviews. Information, [s. l.], v. 17, n. 5, art. 449, maio 2026. Disponível em: https://doi.org/10.3390/info17050449. Acesso em: 21 jun. 2026.

BROWN, Tom B.; MANN, Benjamin; RYDER, Nick; SUBBIAH, Melanie et al. Language models are few-shot learners. arXiv, [s. l.], arXiv:2005.14165, 2020. Disponível em: https://arxiv.org/abs/2005.14165. Acesso em: 21 jun. 2026.

COHEN, Aaron M.; HERSH, William R.; PETERSON, K.; YEN, Po-Yin et al. Reducing workload in systematic review preparation using automated citation classification. Journal of the American Medical Informatics Association, [s. l.], v. 13, n. 2, p. 206-219, 2006. Disponível em: https://doi.org/10.1197/jamia.M1929. Acesso em: 21 jun. 2026.

COOPER, Harris M. Organizing knowledge syntheses: a taxonomy of literature reviews. Knowledge in Society, [s. l.], v. 1, n. 1, p. 104-126, 1988. Disponível em: https://doi.org/10.1007/BF03177550. Acesso em: 16 jun. 2026.

GRANT, Maria J.; BOOTH, Andrew. A typology of reviews: an analysis of 14 review types and associated methodologies. Health Information & Libraries Journal, [s. l.], v. 26, n. 2, p. 91-108, 2009. Disponível em: https://doi.org/10.1111/j.1471-1842.2009.00848.x. Acesso em: 16 jun. 2026.

HARARI, Michael B.; PAROLA, Heather R.; HARTWELL, Christopher J.; RIEGELMAN et al. Literature searches in systematic reviews and meta-analyses: a review, evaluation, and recommendations. Journal of Vocational Behavior, [s. l.], v. 118, art. 103377, 2020. Disponível em: https://doi.org/10.1016/j.jvb.2020.103377. Acesso em: 16 jun. 2026.

HIGGINS, Julian P. T.; THOMAS, James; CHANDLER, Jacqueline; CUMPSTON, Miranda et al. (ed.). Cochrane handbook for systematic reviews of interventions. [S. l.]: Cochrane, 2024. Disponível em: https://www.cochrane.org/authors/handbooks-and-manuals/handbook/current. Acesso em: 20 jun. 2026.

HUOTALA, Aleksi; KUUTILA, Miikka; RALPH, Paul; MÄNTYLÄ, Mika. The promise and challenges of using LLMs to accelerate the screening process of systematic reviews. In: INTERNATIONAL CONFERENCE ON EVALUATION AND ASSESSMENT IN SOFTWARE ENGINEERING, 28., 2024, Salerno. Anais [...]. New York: ACM, 2024. p. 262-271. Disponível em: https://doi.org/10.1145/3661167.3661172. Acesso em: 18 jun. 2026.

LANDIS, J. Richard; KOCH, Gary G. The measurement of observer agreement for categorical data. Biometrics, [s. l.], v. 33, n. 1, p. 159-174, 1977. Disponível em: https://doi.org/10.2307/2529310. Acesso em: 21 jun. 2026.

LI, Michael; SUN, Jianping; TAN, Xianming. Evaluating the effectiveness of large language models in abstract screening: a comparative analysis. Systematic Reviews, [s. l.], v. 13, art. 219, 2024. Disponível em: https://doi.org/10.1186/s13643-024-02609-x. Acesso em: 18 jun. 2026.

POLANIN, Joshua R.; PIGOTT, Therese D.; ESPELAGE, Dorothy L.; GROTPETER, Jennifer K. Best practice guidelines for abstract screening large-evidence systematic reviews and meta-analyses. Research Synthesis Methods, [s. l.], v. 10, n. 3, p. 330-342, 2019. Disponível em: https://doi.org/10.1002/jrsm.1354. Acesso em: 16 jun. 2026.

SHAMEEM, Mohammad; ALSHAYEB, Mohammad; NIAZI, Mahmood; MAHMOOD, Sajjad; AHMAD, Aakash; AL DALLAL, Jehad. An exploratory study on effectiveness of GPT-4o in conducting sub-tasks of systematic literature reviews. Automated Software Engineering, [s. l.], v. 33, n. 3, art. 81, 2026. Disponível em: https://doi.org/10.1007/s10515-026-00629-6. Acesso em: 21 jun. 2026.

SNYDER, Hannah. Literature review as a research methodology: an overview and guidelines. Journal of Business Research, [s. l.], v. 104, p. 333-339, 2019. Disponível em: https://doi.org/10.1016/j.jbusres.2019.07.039. Acesso em: 16 jun. 2026.

TORRACO, Richard J. Writing integrative literature reviews: using the past and present to explore the future. Human Resource Development Review, [s. l.], v. 15, n. 4, p. 404-428, 2016. Disponível em: https://doi.org/10.1177/1534484316671606. Acesso em: 16 jun. 2026.

WEBSTER, Jane; WATSON, Richard T. Analyzing the past to prepare for the future: writing a literature review. MIS Quarterly, [s. l.], v. 26, n. 2, p. xiii-xxiii, 2002. Disponível em: https://www.jstor.org/stable/4132319. Acesso em: 16 jun. 2026.

WEI, Jason; WANG, Xuezhi; SCHUURMANS, Dale; BOSMA, Maarten et al. Chain-of-thought prompting elicits reasoning in large language models. arXiv, [s. l.], arXiv:2201.11903, 2022. Disponível em: https://arxiv.org/abs/2201.11903. Acesso em: 21 jun. 2026.

Downloads

Published

2026-11-13

Conference Proceedings Volume

2026: XXVI ENCONTRO NACIONAL DE PESQUISA E PÓS-GRADUAÇÃO EM CIÊNCIA DA INFORMAÇÃO

Section

GT 8 – Dados, Informação e Tecnologia

Categories