登录

当前标签：首字延迟

腾讯混元提出 Stem 稀疏注意力算法，首字延迟降低 3.6 倍

腾讯混元提出 Stem 稀疏注意力算法，首字延迟降低 3.6 倍

腾讯混元团队提出创新的Stem稀疏注意力算法，通过优化注意力计算机制，将模型推理时的首字生成延迟降低3.6倍，显著提升大模型响应速度。