【经营】ParaStor首入大模型推理核心链路,KV Cache卸载吞吐提升16倍
2026-09-28
中科曙光分布式存储ParaStor成为业界首家接入Mooncake社区的商用分布式存储,首次完成商用分布式存储后端的生产环境落地,并完整可复制的商业化落地方案,相关技术能力已全部合入Mooncake社区主干。
商用分布式存储首次进入大模型推理核心业务链路,承接长尾KV Cache卸载工作。实测环境显示,KV Cache卸载实现16倍吞吐提升,达到DRAM池吞吐值的80%,平均首Token延迟和P90首Token延迟均保持在10s以内,满足企业SLA要求。同时方案支持接口标准化改造与缓存空间按需弹性扩容,可为用户降低AI运行成本、提升GPU利用率。
点此打开小程序免费查看完整AI分析结果
商用分布式存储首次进入大模型推理核心业务链路,承接长尾KV Cache卸载工作。实测环境显示,KV Cache卸载实现16倍吞吐提升,达到DRAM池吞吐值的80%,平均首Token延迟和P90首Token延迟均保持在10s以内,满足企业SLA要求。同时方案支持接口标准化改造与缓存空间按需弹性扩容,可为用户降低AI运行成本、提升GPU利用率。
点此打开小程序
重要提示和声明
本页面内容由AI生成,不保证完全真实、准确或完整,不代表希财舆情宝官方立场,不构成任何投资建议。查看详细说明,请点击此处
订阅榜