LLM生成延迟降低50%！DeepSpeed团队发布FastGen：动态SplitFuse技术，提升2.3倍有效吞吐量

新智元报道 编辑：LRS DeepSpeed-FastGen 结合 MII 和 DeepSpeed-Inference 实现 LLM 高吞吐量文本生成。 GPT-4 和 LLaMA 这样的大型语言模型（LLMs）已在各个层次上成为了集成 AI 的主流服务应用。从常规聊天模型到文档摘要，从自动驾驶到各

本文链接