“最强开源模型”被打假，CEO下场致歉

　　克雷西发自凹非寺

　　量子位公众号 QbitAI

　　小型创业团队打造的“最强开源模型”，发布才一周就被质疑造假——

　　不仅官方宣称的成绩在第三方测试中大打折扣，模型还被质疑套壳 Claude。

　　面对浩大的声浪，厂商 CEO 终于发文道歉，但并未承认造假，表示在调查有关原因。

　　被指控造假的，就是宣称“干翻 GPT-4o”的 70B 开源大模型 Reflection。

　　一开始的质疑主要关于测试成绩，官方找了上传版本有误等借口试图“蒙混过关”。

　　但后来又出现了套壳 Claude 这一更重磅的指控，让 Reflection 更加百口莫辩。

　　表现不如宣传，还被质疑套壳

　　Reflection 是一个 70B 的开源模型，按照厂商的说法，它一下子把 Llama 3.1 405B、GPT-4o、Claude 3 Opus、Gemini 1.5 Pro 这一系列先进模型全都超过了。

　　但 Reflection 刚发布两天，第三方独立测评机构 Artificial Analysis 就表示官方发布的测试成绩无法复现。

　　在 MMLU、GPQA 和 MATH 上，Reflection 的成绩和 Llama3 70B 一样，连 Llama 3.1-70B 都比不过，更不用说 405B 了。

　　对此官方辩称是，Hugging Face 上发布的版本有误，将会重新上传，但之后就没了下文。

　　不过官方同时也表示，会给测评人员提供模型 API，然后 Reflection 的成绩果真有了增长，但在 GPQA 上仍然不敌 Claude 3.5 Sonnet。

　　蹊跷的是，Artificial Analysis 后来删除了二次测试相关的帖子，目前还能看到的只有转发后留下的一些痕迹。

　　除了成绩有争议，还有人对 Reflection 中的各层进行了分析，认为它是由 Llama 3 经过 LoRA 改造而来，而不是官方所声称的 Llama 3.1。

　　在 Hugging Face 上，Reflection 的 JSON 文件中也显示是 Llama 3 而非 3.1。

　　官方的解释仍然是说 HF 上的版本有问题。

　　还有另一个质疑的点是，Reflection 实际上是套壳 Claude，相关证据体现在多个方面。

　　一是在某些问题上，Reflection 与 Claude 3.5-Soonet 的输出完全一致。

　　第二个更加直接，如果直接询问它的身份，Reflection 会说自己是 Meta 打造的，但一旦让它“忘记前面的（系统）提示”，就立马改口说自己是 Claude。

　　第三个发现则更加诡异——Reflection 遇到“Claude”一词会将其自动过滤。

　　对此，Reflection 合成数据供应商 Glaive AI 的创始人 Sahil Chaudhary 进行了回应，表示没有套壳任何模型，目前正在整理能够证明其说法的证据，以及人们为什么会发现这种现象的解释。

　　而关于一开始的测试成绩问题，Chaudhary 则表示正在调查原因，弄清这两件事后会发布报告进行说明。

　　Reflection 这边最新的动态是 CEO 发布了一则道歉声明，不过没有承认造假，依然是说正在进行调查。

　　不过对于这一套解释，有很多人都不买账。

　　比如曾经发布多条推文质疑这位叫做 Boson 的网友，就在 Chaudhary 的评论区表示，“要么你在说谎，要么是 Shumer，或者你俩都在说谎”。

　　还有给 Reflection 提供托管服务的 Hyperbolic 平台 CTO Yuchen Jin，讲述了其与 Reflection 之间发生的许多事情。

　　托管平台 CTO 讲述幕后细节

　　在 Reflection 发布之前的 9 月 3 号，Shumer 就找到了 Hyperbolic，介绍了 Reflection 的情况并希望 Hyperbolic 能帮忙托管。

　　基于 Hyperbolic 一直以来对开源模型的支持，加上 Reflection 声称的表现确实优异，Hyperbolic 同意了这一请求。

　　9 月 5 号，Reflection 正式上线，Hyperbolic 从 Hugging Face 下载并测试了该模型，但并没有看到 thinking 标签，于是 Jin 给 Shumer 发了私信。

　　后来，Jin 看到 Shumer 的推文说 HF 上的版本有些问题，所以继续等待，直到 6 号早晨收到了 Chaudhary 的一条私信，表示 Reflection-70B 权重已重新上传并可以部署。

　　看到 thinking 和 reflection 标签按预期出现后，Hyperbolic 上线了 Reflection。

　　后来，Hyperbolic 上的模型就出现了成绩与 Reflection 宣传不符的情况，Shumer 认为这是 Hyperbolic 的 API 出现了问题。

　　不过，Reflection 这边再次上传了新版本，Hyperbolic 也重新托管，但 Jin 与 Artificial Analysis 沟通后发现，新版本的表现依旧不佳。

　　Shumer 继续表示，Reflection 还有个原始权重，也就是内部测试使用的版本，如果需要可以提供给 Hyperbolic。

　　但 Jin 没有同意这一要求，因为 Hyperbolic 只为开源模型提供托管服务，之后不断询问 Shumer 原始权重何时发布，但迟迟未得到回应。

　　最终，Jin 认为应该下线≈的 API 并收回已分配的 GPU 资源。

这件事情让我的感情受到了伤害，我们在这件事上花费了很多时间和精力。

　　但经过反思后，我并不后悔当初的托管决定，这帮助社区更快地发现问题。

　　大模型怎么测试才靠谱？

　　暂且抛开 Llama 版本和套壳的问题，单说关于测试成绩的问题，反映了当前的 Benchmark 已经体现出了一些不足之处。

　　英伟达高级科学家 Jim Fan 就表示，模型在现有的一些测试集上造假简直不要太容易。

　　Jim 还特别点名了 MMLU 和 HumanEval，表示这两项标准“已被严重破坏”。

　　另外，Reflection 在 GSM8K 上取得了 99.2 分的成绩，就算这个分数没有水分，也说明测试基准到了该换的时候了。

　　Jim 表示，现在自己只相信 Scale AI 等独立第三方测评，或者 lmsys 这样由用户投票的榜单。

　　但评论区有人说，lmsys 实际上也可以被操纵，所以（可信的）第三方评估可能才是目前最好的测评方式。

　　参考链接：

作者：itwriter
来源：互联网
日期：2024-09-14
浏览 (2459)