PPGINF PÓS-GRADUAÇÃO EM ENGENHARIA DA INFORMAÇÃO FUNDAÇÃO UNIVERSIDADE FEDERAL DO ABC Téléphone/Extension: http://propg.ufabc.edu.br/ppginfo

Banca de QUALIFICAÇÃO: LUYRA BENINI

Uma banca de QUALIFICAÇÃO de MESTRADO foi cadastrada pelo programa.
DISCENTE : LUYRA BENINI
Data: 08/12/2026
HORA: 14:00
LOCAL: https://conferenciaweb.rnp.br/sala/joao-74
TÍTULO:

Avaliação de LLMs na Detecção de Phishing em E-mails em Português


PÁGINAS: 47
RESUMO:

O phishing por e-mail é uma das formas mais comuns de engenharia social, e os modelos de linguagem de grande porte (LLMs) surgem como possíveis aliados em sua detecção. Contudo, a maior parte das avaliações usa e-mails em inglês, e há pouca evidência sobre o desempenho desses modelos em português. Este trabalho avalia três LLMs (Sabiá 4, ChatGPT 5.5 e Gemini 2.5 Flash) na classificação de e-mails como phishing ou legítimos, a partir de um prompt em português. Foram usados 200 e-mails de duas bases públicas (CEAS 2008 e Nazario), organizados em 10 lotes de 20 e apresentados aos modelos em inglês, em duas execuções, e em uma tradução para o português do Brasil, em uma execução. O desempenho foi medido por acurácia, precisão, recall (com prioridade à classe phishing) e F1. O ChatGPT e o Gemini obtiveram acurácia entre 0,990 e 0,995 e recall entre 0,990 e 1,000 em todas as condições, sem diferença relevante entre inglês e português. O Sabiá obteve acurácia entre 0,885 e 0,930 e mudou de resposta em 13,5% dos e-mails entre as duas execuções em inglês. Sua acurácia global não diferiu entre os idiomas, mas, em português, ele classificou menos e-mails como phishing, e o recall caiu de 0,902 e 0,941 para 0,804, um indício exploratório que requer confirmação. Os resultados são discutidos à luz de limitações como o tamanho da amostra, a possível contaminação por treinamento (as bases são públicas e antigas), o efeito teto nos dois modelos de melhor desempenho, a natureza de parte dos rótulos da base CEAS (em sua maioria spam) e o uso de traduções em vez de e-mails originalmente em português, o que motiva, como trabalho futuro, a avaliação com e-mails reais em português.


MEMBROS DA BANCA:
Presidente - Interno ao Programa - 1603840 - JOAO HENRIQUE KLEINSCHMIDT
Membro Titular - Examinador(a) Interno ao Programa - 2196309 - CARLOS ALBERTO KAMIENSKI
Membro Titular - Examinador(a) Interno ao Programa - 1761105 - MURILO BELLEZONI LOIOLA
Membro Suplente - Examinador(a) Interno ao Programa - 1544392 - ALINE DE OLIVEIRA NEVES PANAZIO
Notícia cadastrada em: 18/11/2026 21:06
SIGAA | UFABC - Superintendência de Tecnologia da Informação - ||||| | Copyright © 2006-2026 - UFRN - sigaa-2.ufabc.int.br.sigaa-2-prod