教大模型跳过无用层，推理速度×3性能不变，谷歌MIT新方法火了

萧箫发自凹非寺量子位公众号 QbitAI 大语言模型用着爽，但推理速度实在太慢了？而且，增加模型体积，推理效果也并不一定就比之前更好。为了解决这一问题，谷歌 MIT 的研究人员提出了一个新框架CALM，让它自己来决定计算量。如果 CALM 意识到某些层“可有可无”，那么它在计算时就会跳过这些