XAI IN ALTMETRICS ON X

EXPLAINING BEHAVIORS OF BOTS AND HUMANS

Authors

Keywords:

explainable artificial Intelligence, bot detection, altmetrics, SHAP, scientific communication

Abstract

This paper examines how Explainable Artificial Intelligence (XAI) can contribute to interpreting the behavioural patterns that differentiate bot and human accounts in the dissemination of scientific articles on platform X. Drawing on findings from a broader doctoral investigation, the study mobilises SHAP (SHapley Additive Explanations) values generated by a supervised XGBoost-based model trained on 46 predictive variables across five behavioural dimensions: activity, temporality, textuality, sentiment, and profile. The analysis is structured in three levels: the relative weight of each dimension in the model's global explanatory power; identification of thresholds for the most important variables; and variation of the explanatory profile across groups defined by thematic dispersion of accounts, considering 362,395 automatically classified accounts. Results indicate that the Activity dimension accounts for 39.1% of explanatory power, followed by Temporality (29.0%), Textuality (16.3%), Profile (12.8%), and Sentiment (2.7%). Bots post at a median volume eight times higher than humans, with more regular cadence, while humans exhibit more spontaneous and topic-specific behaviour. This explanatory hierarchy varies with the degree of automation by area: in low-automation contexts, volume is the dominant signal; in high-automation contexts, temporal regularity takes the lead. The findings show that XAI not only makes detection models more transparent, but also provides a foundation for a critical reading of altmetric indicators based on mention counts.

Author Biographies

  • Danielle Noronha Pontes, Universidade do Estado do Amazonas

    Doutora em Ciência da Informação pela UnB, mestre em Sistemas Digitais pela USP e graduada em Processamento de Dados pela UFAM, possui também pós-graduação em Ciência da Computação pela UFC e MBA em Desenvolvimento de Startups de Software pela IGTI/XP Educação. Professora efetiva da Universidade do Estado do Amazonas (UEA), atuando nos cursos de Licenciatura em Computação, Sistema de Informação e Engenharia da Computação. Pesquisadora no Samsung Ocean Center/UEA, responsável pelo Studio Ocean e pelas trilhas de Engenharia de Software  e Experiência do Usuário (UX). Coordenadora do Programa de Extensão Escritório de Indicadores e Observatório de informação da UEA - (EiUEA).

     

  • João de Melo Maricato, University of Brasília

    Professor da Faculdade de Ciência da Informação e do Programa de Pós-Graduação em Ciência da Informação da Universidade de Brasília, bolsista de produtividade nível 2 do CNPq e pesquisador com atuação destacada em comunicação científica, bibliometria, cientometria, altmetria e avaliação da ciência. Doutor em Ciência da Informação pela Universidade de São Paulo, onde recebeu o Prêmio Tese Destaque USP, atualmente realiza pós-doutorado na Leiden University Centre for Science and Technology Studies (CWTS). Ao longo de sua trajetória, exerceu funções de gestão acadêmica na UnB, atuou como editor e revisor de importantes periódicos científicos e lidera grupos de pesquisa voltados à comunicação científica e à análise de indicadores de ciência, tecnologia e inovação, com foco em produção e análise de dados científicos, internacionalização da pesquisa e relações entre ciência, tecnologia e sociedade.

References

ALJOHANI, Naif Radi; FAYOUMI, Ayman; HASSAN, Saeed-Ul. Bot prediction on social networks of Twitter in altmetrics using deep graph convolutional networks. Soft Computing, Berlin, v. 24, n. 15, p. 11109-11120, ago. 2020. Disponível em: https://doi.org/10.1007/s00500-020-04689-y. Acesso em: 30 abr. 2025.

ARROYO-MACHADO, Wenceslao; HERRERA-VIEDMA, Enrique; TORRES-SALINAS, Daniel. The botization of science? Large-scale study of the presence and impact of Twitter bots in science dissemination. Journal of the Association for Information Science and Technology, Hoboken, v. 76, n. 8, p. 1105-1122, ago. 2025. Disponível em: https://asistdl.onlinelibrary.wiley.com/doi/10.1002/asi.24998. Acesso em: 13 jun. 2026.

ARROYO-MACHADO, Wenceslao; HERRERA-VIEDMA, Enrique; TORRES-SALINAS, Daniel. The Elon Musk paradox: quantifying the presence and impact of Twitter bots on altmetrics with focus in social sciences. In: INTERNATIONAL CONFERENCE ON SCIENCE, TECHNOLOGY AND INNOVATION INDICATORS (STI 2023), 27., 2023, Leiden. Anais [...]. Leiden: [s. n.], 2023. p. 1-7. Disponível em: https://dapp.orvium.io/deposits/644235015db3c5af25159230/view. Acesso em: 30 abr. 2025.

CHU, Zi; GIANVECCHIO, Steven; WANG, Haining; JAJODIA, Sushil. Detecting automation of Twitter accounts: are you a human, bot, or cyborg? IEEE Transactions on Dependable and Secure Computing, New York, v. 9, n. 6, p. 811-824, 2012. Disponível em: https://ieeexplore.ieee.org/document/6280553. Acesso em: 30 abr. 2026.

CRESCI, Stefano. A decade of social bot detection. Communications of the ACM, New York, v. 63, n. 10, p. 72-83, out. 2020. Disponível em: https://dl.acm.org/doi/10.1145/3409116. Acesso em: 13 jun. 2026.

FERRARA, Emilio; VAROL, Onur; DAVIS, Clayton; MENCZER, Filippo et al. The rise of social bots. Communications of the ACM, New York, v. 59, n. 7, p. 96-104, jul. 2016. Disponível em: https://dl.acm.org/doi/10.1145/2818717. Acesso em: 30 abr. 2026.

HAUSTEIN, Stefanie. Grand challenges in altmetrics: heterogeneity, data quality and dependencies. Scientometrics, Dordrecht, v. 108, n. 1, p. 413-423, jul. 2016. Disponível em: http://link.springer.com/10.1007/s11192-016-1910-9. Acesso em: 13 jun. 2026.

HAUSTEIN, Stefanie et al. Tweets as impact indicators: examining the implications of automated “bot” accounts on Twitter. Journal of the Association for Information Science and Technology, Hoboken, v. 67, n. 1, p. 232-238, jan. 2016. Disponível em: https://asistdl.onlinelibrary.wiley.com/doi/10.1002/asi.23456. Acesso em: 10 set. 2026.

LINARDATOS, Pantelis; PAPASTEFANOPOULOS, Vasilis; KOTSIANTIS, Sotiris. Explainable AI: a review of machine learning interpretability methods. Entropy, Basel, v. 23, n. 1, art. 18, 2021. Disponível em: https://www.mdpi.com/1099-4300/23/1/18. Acesso em: 13 jun. 2026.

LUNDBERG, Scott M.; ERION, Gabriel G.; LEE, Su-In. Consistent individualized feature attribution for tree ensembles. Ithaca: arXiv, 2018. Versão 3. Preprint arXiv:1802.03888. Disponível em: https://arxiv.org/abs/1802.03888. Acesso em: 13 jun. 2026.

LUNDBERG, Scott M.; LEE, Su-In. A unified approach to interpreting model predictions. In: INTERNATIONAL CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMS, 31., 2017, Long Beach. Anais [...]. Red Hook: Curran Associates, 2017. p. 4768-4777. Disponível em: https://dl.acm.org/doi/10.5555/3295222.3295230. Acesso em: 13 jun. 2026.

MARICATO, João de Melo; SILVA, Márcia Regina da; MANSO, Bruno Lara de Castro; SILVA, Vanessa Suelen da. Passado, presente e futuro da altmetria na perspectiva de especialistas de diferentes regiões globais: entrevistas com Rodrigo Costas e Ronaldo Araújo. InCID: Revista de Ciência da Informação e Documentação, Ribeirão Preto, v. 16, 2025. Disponível em: https://revistas.usp.br/incid/article/view/240602. Acesso em: 13 jun. 2026.

PONTES, Danielle Pompeu Noronha. Classificação de contas entre bots e humanas que divulgam artigos científicos no X: contribuições para aprimoramento dos indicadores altmétricos. 2025. 206 f. Tese (Doutorado em Ciência da Informação) - Universidade de Brasília, Brasília, 2025. Disponível em: https://educapes.capes.gov.br/handle/capes/1182306. Acesso em: 13 jun. 2026.

SAIED, Mohamed; GUIRGUIS, Shawkat. Explainable artificial intelligence for botnet detection in internet of things. Scientific Reports, London, v. 15, art. 7632, 2025. Disponível em: https://www.nature.com/articles/s41598-025-90420-6. Acesso em: 13 jun. 2026.

THELWALL, Mike; KOUSHA, Kayvan; ABDOLI, Mahshid; STUART, Emma et al. Do altmetric scores reflect article quality? Evidence from the UK Research Excellence Framework 2021. Journal of the Association for Information Science and Technology, Hoboken, v. 74, n. 5, p. 582-593, maio 2023. Disponível em: https://asistdl.onlinelibrary.wiley.com/doi/10.1002/asi.24751. Acesso em: 13 jun. 2026.

Published

2026-11-13

Conference Proceedings Volume

Section

GT 8 – Dados, Informação e Tecnologia

Categories