Avaliação de LLMs na Detecção de Phishing em E-mails em Português
O phishing por e-mail é uma das formas mais comuns de engenharia social, e os modelos de linguagem de grande porte (LLMs) surgem como possíveis aliados em sua detecção. Contudo, a maior parte das avaliações usa e-mails em inglês, e há pouca evidência sobre o desempenho desses modelos em português. Este trabalho avalia três LLMs (Sabiá 4, ChatGPT 5.5 e Gemini 2.5 Flash) na classificação de e-mails como phishing ou legítimos, a partir de um prompt em português. Foram usados 200 e-mails de duas bases públicas (CEAS 2008 e Nazario), organizados em 10 lotes de 20 e apresentados aos modelos em inglês, em duas execuções, e em uma tradução para o português do Brasil, em uma execução. O desempenho foi medido por acurácia, precisão, recall (com prioridade à classe phishing) e F1. O ChatGPT e o Gemini obtiveram acurácia entre 0,990 e 0,995 e recall entre 0,990 e 1,000 em todas as condições, sem diferença relevante entre inglês e português. O Sabiá obteve acurácia entre 0,885 e 0,930 e mudou de resposta em 13,5% dos e-mails entre as duas execuções em inglês. Sua acurácia global não diferiu entre os idiomas, mas, em português, ele classificou menos e-mails como phishing, e o recall caiu de 0,902 e 0,941 para 0,804, um indício exploratório que requer confirmação. Os resultados são discutidos à luz de limitações como o tamanho da amostra, a possível contaminação por treinamento (as bases são públicas e antigas), o efeito teto nos dois modelos de melhor desempenho, a natureza de parte dos rótulos da base CEAS (em sua maioria spam) e o uso de traduções em vez de e-mails originalmente em português, o que motiva, como trabalho futuro, a avaliação com e-mails reais em português.