中文通用大模型综合性基准SuperClue发布了最新中文大语言模型排行榜。榜单结果显示,百度文心一言总分超GPT-3.5-Turbo,领跑国内大模型。

此次SuperCLUE从基础能力、专业能力、中文特性能力三个维度70余项子能力,选取国内外20个有代表性的可用大模型进行测评,兼具综合能力考量与中文特定任务理解积累的考察,并通过自动化测评以相对客观形式进行效果测评。

微信截图_20230726082742.png

评测基准中,基础能力包括了常见的有代表性的模型能力,如语义理解、对话、逻辑推理、角色扮演、代码、生成与创作等10项能力;专业能力包括了中学、大学与专业考试,涵盖了从数学、物理、地理到社会科学等50多项能力;中文特性能力包括了中文成语、诗歌、文学、字形等10项多种能力。

百度表示,文心一言v2.2.0版背后搭载的是文心大模型3.5,文心大模型自2019年3月发布1.0版后,现已升级到3.5版。新版本模型效果提升50%,训练速度提升2倍,推理速度提升30倍。