Fusão de Rankings Baseada em Confiança: Um Estudo sobre Calibração de Scores e Fusão de Rankings para Classificação de Texto Multi-Classe

Gabriel Franco Jallais

Pipelines de recuperação que combinam recuperadores esparsos (BM25) e densos (baseados em transformadores) têm se mostrado promissores para tarefas de Classificação de Texto Multi-Rótulo Extrema (Extreme Multi-Label Text Classification — XMTC), explorando a complementaridade entre correspondências lexicais e semânticas. Contudo, os scores produzidos por esses recuperadores não são calibrados, isto é, não representam probabilidades reais de relevância. Neste trabalho, investiga-se a aplicação de métodos de calibração de scores — incluindo Platt Scaling, Regressão Isotônica e um método proposto denominado QueryFeature Calibration — ao pipeline xCoRetriev. Para permitir uma análise controlada utilizando métricas de calibração binária padrão, os experimentos foram conduzidos no contexto de Classificação de Texto Multi-Classe (MCTC), onde cada documento possui um único rótulo relevante. Experimentos em três benchmarks (REUTERS, ACM e TWITTER) demonstram que, embora a calibração isolada não melhore significativamente métricas de ranking em dois dos três datasets, os métodos de calibração aplicados apresentam boa capacidade de calibrar os scores retornados pelos recuperadores, em especial, o método QueryFeature Calibration apresentou um desempenho interessante, abrindo perspectivas para abordagens contextuais de fusão de rankings aplicáveis tanto a MCTC quanto a cenários XMTC.


2025/2 - POC2

Orientador: Marcos André Gonçalves

Palavras-chave: Calibração, Recuperação de Informação, Classificação de Textos, Fusão de Rankings

PDF Disponível