萧箫发自凹非寺 量子位公众号 QbitAI 只需给大模型“加点小零件”，推理速度立刻提升 2 倍！ 不需要额外训练一个模型，也不需要对计算硬件做优化，单张 A100 最快几小时就能微调完成。 这项新研究名叫 Medusa（美杜莎），来自普林斯顿、UIUC、CMU 和康涅狄格大学，FlashAtten
萧箫发自凹非寺 量子位公众号 QbitAI 只需给大模型“加点小零件”，推理速度立刻提升 2 倍！ 不需要额外训练一个模型，也不需要对计算硬件做优化，单张 A100 最快几小时就能微调完成。 这项新研究名叫 Medusa（美杜莎），来自普林斯顿、UIUC、CMU 和康涅狄格大学，FlashAtten
By Timothyswita