Performance de LLMs Locais na Migração de Bibliotecas de Teste

Pedro Baptista

A utilização de Grandes Modelos de Linguagem (LLMs) na Engenharia de Software tem transformado atividades de manutenção e evolução de código, incluindo a migração automática de bibliotecas. O trabalho a seguir investiga a performance de LLMs executadas localmente na migração de bibliotecas de teste em sistemas de software. Para tal, foi consolidada uma base de dados curada manualmente a partir de repositórios abertos, contendo funções de teste antes e depois de migrações reais feitas por desenvolvedores. A metodologia propõe o desenvolvimento de um pipeline automatizado para orquestrar LLMs locais através da plataforma Ollama, utilizando diferentes estratégias de engenharia de prompt, para recriar as alterações de código. A qualidade das migrações geradas artificialmente é, então, avaliada através da métrica CodeBLEU, comparando a similaridade sintática e semântica em relação às migrações originais. Os resultados visam determinar a eficácia de modelos locais em tarefas complexas de refatoração de testes, contribuindo para o entendimento do estado da arte na aplicação de IA generativa em manutenção de software.


2026/1 - POC2

Orientador: João Eduardo Montandon

Palavras-chave: Engenharia de Software, LLMs, Migração de Bibliotecas, Teste de Software, Needleman-Wunsch, Métricas de Código

PDF Disponível