字节团队提出并行隐藏解码 Transformer

大语言模型（LLM）的近期进展证明了（输入序列）长度 scaling 在后训练中的有效性，但其在预训练中的潜力仍未得到充分挖掘。 在这项工作中，字节跳动团队提出了并行隐藏解码 Transformer（PHD-Transformer）框架，其可以在保持推理效率的同时，在预训练期间实现高效的长度 sca

本文链接