零样本学习超越CLIP！谷歌提出首个多模态稀疏化模型LIMoE

明敏发自凹非寺量子位公众号 QbitAI 多模态模型常见，但是基于稀疏化的还是头一个。谷歌带来最新成果LIMoE，首次将稀疏化方法用在了图像文本混合模型上。要知道，随着大模型参数呈指数级增加，训练成本也是一路飙升。所以如何降低训练成本，成为了目前学界重点关注的一个问题。谷歌想到的办法，不是