Este estudo investiga a confiabilidade do modelo TrafficGPT, uma abordagem baseada em Large Language Model (LLM), para classificação de tráfego criptografado, migrando do cenário tradicional de closed set (em que todas as classes são conhecidas no treinamento) para o de open set (em que o modelo pode encontrar classes nunca vistas e deve ser capaz de identificá-las como desconhecidas). Com foco na detecção de ataques zero-day, isto é, ataques que exploram vulnerabilidades até então desconhecidas e que frequentemente se valem de tráfego criptografado, ocultando sua carga maliciosa enquanto mantêm a comunicação aparentemente legítima.

Este trabalho analisa a relação entre a confiabilidade do GPT-2 (base do TrafficGPT) e a classificação open set, visando contribuir para a redução da efetividade desses ataques. Embora o TrafficGPT apresente desempenho promissor na identificação de padrões de tráfego conhecidos e desconhecidos, sua arquitetura exibe superconfiança estrutural, frequentemente gerando previsões excessivamente confiantes mesmo para dados fora da distribuição de treinamento. Para mitigar essa limitação, aplica-se a técnica de Temperature Scaling, que recalibra as probabilidades de saída ajustando a escala dos logits por meio do parâmetro de temperatura T, otimizado via algoritmo L-BFGS-B. O modelo foi treinado exclusivamente com tráfego benigno do conjunto CICIDS2017 e avaliado com a porção contendo ataques simulados, emulando assim um ambiente sob ataque zero-day. Os resultados indicam que, embora o Temperature Scaling tenha evidenciado a necessidade de calibrar as confiança do modelo, ele não impactou significativamente o desempenho do classificador K-LND em cenário de open set — o qual opera com base em medidas de distância geométrica, e não em saídas probabilísticas. Isso sugere que melhorias na detecção em open set podem exigir ajustes não apenas na calibração de confiança, mas também nas representações vetoriais internas do modelo e nas métricas de distância empregadas. Por fim, o trabalho ressalta a importância da confiabilidade e da calibração de modelos baseados em LLMs para aplicações críticas de cibersegurança, visando uma detecção mais robusta de ataques zero-day.

Para visualização dos pôster, clique aqui: visualizar