O grande impacto do advento da IA generativa trouxe para o mundo de engenharia de software um novo paradigma: o uso da IA como ferramenta de produção de código. Mais especificamente,
as inteligências artificiais generativas de texto como o chatGPT conseguem produzir trechos
de código de qualidades partir de prompts descritivos simples, oque levantou dúvidas entre
múltiplas comunidades acerca de qual nível essas novas ferramentas poderiam substituir o
próprio programador humano em si, mesmo com suas limitações. Nesse viés, este projeto
orientado a computação, comum a atuação empírica e experimentar, visou avaliar quantitativa e
qualitativamente a performance de uma promissora ferramenta de IA especializada na geração de
código, a extensão de IDEs GitHub Copilot, por meio da sua aplicação extensiva na resolução de
problemas de diferentes categorias e dificuldades de programação do repositório online beecrowd.

O ponto chave é avaliar, de forma exploratória, a sua performance e as estratégias lógico
estruturais empregadas pela ferramenta de IA generativa para desvelar contextos de uso úteis e
prejudiciais para o programador humano. Das linguagens usadas para os testes (JS e Python), os
resultados mostraram uma performance acima do esperado para problemas de dificuldade mais
fácil e categorias mais simples, mas com uma queda acentuada com o aumento da complexidade
geral dos problemas, produzindo mais erros e soluções incompletas. Tanto o Copilot quanto o
Copilot Chat, um chatbot dedicado ao uso em codificação, conseguem produzir resultados úteis e
bem estruturados em contextos triviais, mas para um contexto mais complexo e multifatorial,
introduzem um alto débito técnico e bugs sutis. O trabalho futuro deste projeto consiste em
explorar essa IA mais a fundo em outros contextos, mais especificamente em um contexto
educacional acerca de engenharia de software e corporativo, como uma revisão da literatura
acerca do uso atual da ferramenta em ambiente profissional de codificação.