多模态如何自监督？爱丁堡等最新「自监督多模态学习」综述：目标函数、数据对齐和模型架构

新智元报道来源：专知在这份综述中，作者对 SSML 的最新进展进行了全面回顾，并沿着三个正交轴进行分类：目标函数、数据对齐和模型架构。多模态学习旨在理解和分析来自多种模态的信息，近年来在监督机制方面取得了实质性进展。然而，对数据的严重依赖加上昂贵的人工标注阻碍了模型的扩展。与此同时，考虑到现