5 月 27 日消息，近日，豆包大模型在火山引擎原动力大会上发布。火山引擎的一份产品资料中，豆包模型团队公布了一期内部测试结果。
结果显示，在 MMLU、BBH、GSM8K、HumanEval 等 11 个业界主流的公开评测集上，Doubao-pro-4k 的总分为 76.8 分，相比上一代模型云雀 Skylark2 的 64.5 分提升了 19%，也优于同期测试的其他国产模型。
此次评测在今年 5 月完成，主要包括豆包通用模型-pro、云雀 Skylark2 在内的九款国产大语言模型。除了云雀 Skylark2 以外，其他模型均为各家厂商最新发布的高级版本，通过 API 调用进行测试。
评测结果显示，在评估代码能力的两个评测集 HumanEval 和 MBPP 上，豆包相比上一代模型提升了 50% 左右；在专业知识和指令遵循的评测集上，豆包分别获得 33% 和 24% 的性能提升，同时也是得分最高的国产模型。
此外，豆包模型在数学能力、语言理解能力，以及综合评测集 CMMLU 和 CEval 的评测上也有不错的表现，得分排在前三。综合 11 个公开评测集上的测试成绩，豆包通用模型-pro 的总分为 76.8 分。根据 OpenAI 公布的测试成绩，GPT-4 在这些评测集上的总分为 80.1 分，相比国产模型仍有一定领先优势。
据悉，豆包模型在 5 月 15 日刚刚推出，尚未加入到第三方机构测试中。预计未来一到两个月内，很多第三方评测机构将会陆续披露该模型的评测结果。与模型同名的 AI 对话助手“豆包”，官方公布的月活用户数已经达到 2600 万，用户可以自由体验测试。
此前，智源研究院公布了覆盖全球 91 个语言模型的评测报告。在偏重考察中文能力的主观评测中，云雀 Skylark2 排名第一，中文能力超过 GPT-4。（定西）
