中国联通业界首创大模型能力边界量化基准

中国联通研究团队发布了应用驱动的大语言模型能力评估基准，该基准包括文本生成、理解、关键信息抽取、逻辑推理、任务规划等5大类能力，细分为27类子能力，并构建了678个问答对的评估数据集。通过专家评估和自动化评估方法，量化不同参数量模型的能力边界，提出了一种简单可行的模型选型方法，以降低大模型应用门槛，促进其普惠化。