Aprendizado Multimodal Tabular-Texto em Registros Clínicos Baseado em Modelos Fundacionais

Rafaela de Fátima Silva Alexandre

Registros eletrônicos de saúde combinam dados estruturados, como exames, sinais vitais e histórico do paciente, com informações textuais, como anotações e relatórios clínicos. Entretanto, essas modalidades são frequentemente analisadas separadamente, limitando a representação integrada do contexto clínico. Este trabalho propõe investigar o alinhamento multi-modal entre dados tabulares e textuais por meio de modelos fundacionais. A abordagem prevê a extração independente de embeddings, sua projeção em um espaço latente compartilhado e o uso de aprendizado contrastivo para aproximar representações correspondentes. Espera-se obter representações mais completas, robustas e transferíveis para tarefas clínicas posteriores.

2026/1 - POC2

Orientador: Heitor Soares Ramos Filho

Palavras-chave: aprendizado multimodal, registros eletrônicos de saúde, dados tabulares, texto clínico, modelos fundacionais, aprendizado contrastivo

PDF Disponível