Contrastively-trained Structured World Models (C-SWMs): Modificações e Avaliação em Tarefas Finais
O aprendizado supervisionado com redes neurais tem alcançado grande sucesso na visão computacional, frequentemente dependendo de grandes conjuntos de dados anotados, que são caros e demorados para serem gerados. Essa limitação tem incentivado o interesse por abordagens de aprendizado não supervisionado, especialmente o aprendizado auto-supervisionado, que demonstrou um forte desempenho com o uso mínimo de dados rotulados. Embora métodos contrastivos, como o SimCLR, tenham estabelecido o estado da arte no aprendizado auto-supervisionado, os dados de vídeo — ricos em informações espaciais e temporais — permanecem pouco explorados. Os Contrastively-trained Structured World Models (C-SWMs) oferecem uma abordagem interessante ao utilizar representações baseadas em objetos para modelar estados do mundo, mas sua avaliação é limitada e não incorpora os avanços recentes no aprendizado contrastivo. Neste trabalho, os autores propõem um protocolo de avaliação aprimorado para o C-SWM, introduzindo modificações que integram técnicas bem-sucedidas do aprendizado auto-supervisionado, como aumento de dados e funções de perda contrastiva atualizadas. O objetivo é oferecer insights sobre o potencial do aprendizado contrastivo em nível de objetos na compreensão de vídeos.
2020/1 - POC1
Orientador: Douglas Guimarães Macharet
Palavras-chave: aprendizado de máquina, redes neurais, visão computacional, contrastivo
Link para vídeo
PDF Disponível