专治大模型“刷题”!贾佳亚团队新基准让模型只挑错不做题

  MR-Ben 团队投稿

  量子位公众号 QbitAI

  大模型测试能拿高分,实际场景中却表现不佳的问题有解了。

  贾佳亚团队联合多家知名高校提出了一种全新的测评方法,让一些模型立马现出了原型。

  这下不用担心大模型“刷题”太多,测试集无法体现真实水平了。

  这个新的测评数据集叫做 MR-Ben,利用的是 GSM8K、MMLU 等数据集中的现有题目。

  只不过,大模型在测试中的身份从“答题学生”变成了“阅卷老师”,任务是要给已有的解答步骤指出错误

  这样一来,模型无法再通过背诵或猜测撞对题目,测试题泄露也无需担心了。

  利用 MR-Ben,贾佳亚团队评测了 GPT4-Turbo、Cluade3.5-Sonnet、GLM4、Qwen2-70B 等许多开源和闭源模型。

  目前,该数据集涉及的所有代码和数据均已开源。

  熟悉的试题,全新的任务

  目前,大模型测试的主流方向是使用人类的标准化考试——选择题和填空题的方式去进行大模型评测。

  这套测试方式的优点是标准明确、指标直观,且量化结果天然具有话题性。

  但作者认为,由于现在的大模型普遍采用逐步作答的思维链方式生成最终答案,导致这种方式并不“靠谱”。

  预训练模型在预训练时早已见过数以万亿级别的 token,很难判断被评测的模型是否早已见过相应的数据,从而通过“背题”的方式回答正确。

  而因为评测的方式主要靠检查最终的答案,因此模型是否是基于正确的理解推理选出正确的选项,也不得而知

  尽管学术界不断地对诸如 GSM8K、MMLU 等数据集进行升级改造,如在 GSM8K 上引入多语言版本的 MGSM 数据集,在 MMLU 的基础上引入更难的题目等,依然无法摆脱选择或填空的窠臼。

  并且,这些数据集都已面临着严重的饱和问题,大语言模型在这些指标上的数值已经见顶,并逐渐丧失了区分度。

  为此,贾佳亚团队联合 MIT、清华、剑桥等多家知名高校,与国内头部标注公司合作,标注了一个针对复杂问题推理过程的评测数据集 MR-Ben。

  MR-Ben 基于 GSM8K、MMLU、LogiQA、MHPP 等大模型预训练必测数据集的题目,进行了“阅卷式”的范式改造,生成的新数据集更难、更有区分度,更能真实地反映模型推理能力!

  不用重新找题出卷,也不用把题目变形来测试模型的鲁棒性,MR-Ben 直接让模型从“答题者”变成“阅卷者”,对数据集中已有的答题过程进行评判,通过让大模型当老师来测试它对知识点的掌握情况!

  具体来说,贾佳亚团队针对市面上主流的评测数据集 GSM8K、MMLU、LogiQA、MHPP 等数据集进行整理,并分成了数理化生、代码、逻辑、医药等多个类别,同时区分了不同的难度等级。

  针对每个类别、收集到的每个问题,团队精心收集了对应的分步解题过程,并经由专业的硕博标注者进行培训和标注。

  标注过程中,解题过程是否正确、出错的位置、出错的原因都会被细致指出,比对大模型的阅卷结果和人类专家的阅卷结果,就能知道模型对知识点的掌握情况。

  从评测方式来看,MR-Ben 所提出的方法,需要模型对于解题过程的每一个步骤的前提、假设、逻辑都进行细致分析,并对推理过程进行预演来判断当前步骤是否能导向正确答案。

  这种“阅卷”式的评测方式从难度上远超于仅答题的评测方式,但可有效避免模型背题所导致的分数虚高问题。而只会背题的学生很难成为一名合格的阅卷老师。

  GPT4-Turbo 表现最佳

  贾佳亚团队针对目前几款知名的大模型进行了评测,部分模型有多个版本参与测试。

  可以看到,闭源模型中,GPT4-Turbo 的表现最佳(虽然在“阅卷”时未能发现计算错误),在绝大部分的科目里,有 demo(k=1)和无 demo(k=0)的设置下都领先于其他模型。

  智谱团队的 GLM 模型表现在榜单中位列第二,超过了 Claude 最新的 3.5-Sonnet。

  不过不同模型间的区分度较大,最强的 GPT4-Turbo 在 MR-Ben 数据集上获得的成绩也不到 50 分,可以看出其表现仍未饱和。

  另外,一些表现较强的开源模型,效果已经赶上了部分商用模型。

  除此之外,MR-Ben 团队在工作过程中还发现了一些有意思的现象,例如:

  • 低资源场景下,小模型也有不少亮点,MR-Ben 评测中 Phi-3-mini 在一众小模型里脱颖而出,甚至高于或持平几百亿参数的大模型,展现出了微调数据的重要性。
  • MR-Ben 场景包含复杂的逻辑解析和逐步推断,Few-shot 模式下过长的上下文反而会使得模型困惑,造成水平下降的后果。
  • MR-Ben 评测了不少生成-反思-重生成的消融实验,查看不同提示策略的差异,发现对低水平的模型没有效果,对高水平的模型如 GPT4-Turbo 效果也不明显。反而对中间水平的模型因为总把错的改对,对的改错,效果反而略有提升。
  • 将 MR-Ben 评测的科目粗略划分成知识型、逻辑型、计算型、算法型后,不同的模型在不同的推理类型上各有优劣。

  贾佳亚团队已在 github 上传一键评测的方式,测试一次消耗的 token 量大约为 12M,开发者可以在自家的模型上评测并提交,MR-Ben 团队会及时更新相应的 leaderboard。

  论文地址:

  https://arxiv.org/abs/2406.13975

  项目主页:

  https://randolph-zeng.github.io/Mr-Ben.github.io/

  Github Repo:

  https://github.com/dvlab-research/Mr-Ben