闻乐发自凹非寺 量子位 | 公众号 QbitAI 既能提升模型能力，又不显著增加内存和时间成本，LLM 第三种 Scaling Law 被提出了。 对于 1. 6B 模型，能实现性能接近 4.4B 模型，内存占用仅为后者的1/22，延迟增加量为1/6。 并且可直接应用于现有模型（如 Qwen-2.5
闻乐发自凹非寺 量子位 | 公众号 QbitAI 既能提升模型能力，又不显著增加内存和时间成本，LLM 第三种 Scaling Law 被提出了。 对于 1. 6B 模型，能实现性能接近 4.4B 模型，内存占用仅为后者的1/22，延迟增加量为1/6。 并且可直接应用于现有模型（如 Qwen-2.5
By