Aplicação Local e Open-Source de Grandes Modelos de Linguagem na Geração de Testes de Unidade
O presente trabalho explora a viabilidade da adaptação do sistema Testpilot para utilizar um LLM de código aberto acessível localmente, com o objetivo de agilizar e facilitar o processo de teste de unidade. A abordagem utiliza o LM Studio para acessar um servidor local que executa o modelo open-source Llama 3.1 8B com quantização de 4 bits. São criados conjuntos de testes de unidade para 22 pacotes npm e os resultados são comparados com o Testpilot original em termos de métricas de cobertura. Os resultados mostram que não há diferença estatisticamente significativa entre a cobertura de statements e branches entre os dois experimentos, demonstrando a viabilidade da utilização de um LLM open-source acessível localmente, mesmo com restrições de espaço.
2024/2 - POC2
Orientador: Marco Túlio de Oliveira Valente
Palavras-chave: Testes de unidade, Automação de testes, Grandes Modelos de Linguagem (LLMs), Open-Source, Llama, Testpilot
Link para vídeo
PDF Disponível