【经营】中科曙光发布ParaCache破除推理瓶颈

中科曙光在2026数博会上发布了ParaCache高效管理解决方案。该方案旨在通过存算协同，解决大模型推理中因KV Cache占用GPU显存而导致的“内存墙”问题。其核心是构建分布式共享存储，实现跨层级的KV张量缓存与复用。在120K输入长度时，该方案单轮对话首Token时延最高可降低98.5%至400ms，Token吞吐量最高可提升27倍。

该方案已在曙光8000十万卡AI超集群中得到验证，精准适配长文本对话、知识库问答等高并发推理场景。通过智能调度机制，突破传统HBM容量瓶颈，可从容承载超长上下文推理任务，有效降低推理时延与硬件成本。