豆包提出全新稀疏模型架构 UltraMem 推理成本较 MoE 最高可降 83%

豆包大模型团队提出全新稀疏模型架构UltraMem，有效解决了MoE推理时高额的访存问题，推理速度较MoE架构提升2-6倍，推理成本最高可降低83%。该架构在参数和激活条件相同的情况下，不仅超越了MoE的模型效果，还大幅降低了访存成本，为构建大规模模型提供了新路径。