新智元报道
编辑：编辑部
每家国产大模型都说自己是第一，该信谁的？最近，字节推出了扣子模型广场，全体国产 LLM 开启大混战！你一票，我一票，谁是第一，大众说了算。投票连小朋友都能参与，模型生态从此彻底从黑盒到白盒。
只有打开黑盒，大模型应用生态才能从玄学变科学。
从厉害到能用，关键一步是确定性
在过去的半年里，笔者在北京拜访了一百多位人工智能应用开发者，其中最年长的是 80 多岁的张老。
张老是一位中美混血的华侨，在人工智能这个词诞生的第一届达特茅斯会议召开时，他已经成年，并且从事着与编码相关的工作，甚至还在卡片上打孔进行过编程，后来又在 IBM 从事研发工作。
可以说，张老一生都是人工智能的忠实拥趸。在这一轮大模型爆发的时候，他表现得非常激动，尽管已经退休很多年，但仍然充满热情地在扣子上开发 Bot，之前不仅使用过 GPTs，还对工作流了如指掌。
张老在谈论现在大模型的发展时，一方面给予了高度赞扬，另一方面也表达了担忧。
他告诉笔者：「别看舆论上很热闹，似乎一下子出现了很多发明，但实际上真正能被使用的东西很少。」他认为，真正的新发明必须能够提供新的服务，并举例将大模型与计算机的发展进行了类比。
在他年轻的时候，IBM 和惠普等公司生产的产品只能说是接近计算机的计算器。而当时，一位名叫王安的华人制造出了现代意义上的第一台移动电脑 Wang 2200。
Wang 2200 不仅与 IBM、惠普的机器一样支持 Basic 语言和磁芯存储（顺便说一句，磁芯存储也是王安发明的），而且在计算功能之外还能进行数据处理和文字处理，甚至还配备了 CRT 显示器，运行着他自己发明的文字处理系统 WPS。
他本人也因此入选美国发明家名人堂，与特斯拉、爱迪生等人齐名。在这台移动电脑发布两年多后，微软和苹果才相继成立，并且深受其影响。
然而，Wang 2200 的发明虽然具有进步意义，但也存在严重的缺陷：
-
其一，它的稳定性较差，由于设计过于超前，其性能甚至不如当时的计算器；
-
其二，它是一个黑盒子，虽然机器本身很好，但与主流的 IBM 路线不兼容。
工程师们不愿意使用这种结果不确定的机器。因此，尽管 IBM 落后一年才推出 5100，但却获得了市场的普遍认可，被认为是 PC 机的开端。
在张老看来，不稳定和黑盒子这两个问题，也是大模型生态发展面临的两大挑战。
笔者非常认同他的观点，并且在后来对应用创业者的拜访中，更加深刻地验证了这一点。
大模型生态的两大挑战
-
首先，大模型生态的发展过于超前，一诞生就被说得无所不能，但产出结果的稳定性仍然存在问题。
包括 OpenAI 在内的各家模型都存在幻觉问题，许多微调垂类微调模型在实际应用中的表现甚至不如知识图谱。
这一点在各家 SaaS 厂商接入大模型时表现得尤为明显。有多少 SaaS 接入大模型后发现实际效果并不理想，下面的人面对不稳定的结果，根本不敢依赖它来产生结果。
网上常说的 AI 写简历、写日报、写周报，在现实中有几个人真的敢依靠 AI 来写呢？输入信息给 AI 的时间早就足够自己写完报告了。
-
其次，黑盒子问题更加严重。
一位应用创业者曾经告诉笔者，如果他描述的问题在大模型中没有得到很好的解决，他的下意识动作就是把问题需求描述得更加详细。但事实上，他写的 prompt（提示）越多，得到的结果只会越混乱。
在现实中，大多数对话式大模型产品都需要非常好的 prompt 工程能力才能使用，而且 prompt 过程本身就非常复杂。这与使用 AI 来降低成本、提高效率的初衷背道而驰。
一位在中关村从事 AI 资源管理系统的创业者对笔者说，他在调用大模型 API 时，最关心的就是能否给用户一个稳定的结果。他现在拓展新客户非常困难，只有一些小公司愿意免费尝试，因为大客户都很担心模型给出的数据不准确，在关键时刻还得重新编写。
另一位从事 AI 运营系统的创业者则更加苦恼，因为他提供给付费客户的小红书文案有时好有时坏，总是出现幻觉表述，他们的创业团队为了挽回客户，经常要手动帮客户改稿到半夜。
在B端市场，有趣并不重要，有用才是关键。如何提高输出质量的确定性，对于创业者和开发者来说具有极其重要的价值。
手搓 Bot，扣子 AI 工作坊可能会让大家看到更多真实场景
大众市场不在乎你是否是人工智能，也不在乎你是否是高科技产品，他们只关心你能否解决他们的生活和工作问题。
因此，大模型生态要想被市场广泛接受，就必须做到两件事：一是极大地降低使用门槛，二是极大地提高确定性。
只有做到这两点，大模型生态才能真正融入大众的工作和生活。
在上述两件事中，第一件事，即降低使用门槛，目前各家大模型厂商都已经意识到了，并且主流的解决办法是采用 Agent 路线。
这里的 Agent 需要解释一下，目前百度的词条翻译是通用人工智能，这过于科幻，与当前的现状不符。
网上还有另一个被广泛使用的说法是「智能体」，这个说法虽然正确且理想，但笔者觉得不够形象，圈内人想吐槽它叫「智障体」，圈外读者甚至不知道它是什么意思。听说有 Saas 厂商将其翻译成「AI 员工」，只能说他们想多了。
这里想说一个不太准确但肯定能让大家一眼就明白的词——「人设」。无论以后基础模型如何发展，Agent 目前的状态就是这样。
举个例子，笔者曾经按照 prompt 教程，设计了一个哈佛大学教授的 Agent 来协助日常工作。然而，它除了能用哈佛精英的口吻与我说话之外，其他事情都做不好，文章等等也写得很糟糕。
这样说大家应该能理解「人设」和「智能体」的区别了吧。而且与上文一致，你写的 prompt 越详细，Agent 就越模糊，输出的结果也就越混乱。
那么有没有解决办法呢？目前，在国内平台中，笔者只看到扣子注意到了第二件事——极大地提高确定性。
扣子智能体开发平台
扣子现在给自己的定位是新一代一站式 AI Bot 开发平台，由此可以看出他们对 Bot 的重视程度。
为了方便大家区分 Agent 和 Bot，这里还是要做一下翻译，网络直翻是「机器人」。
这里可能还是不好理解，举一个实际运行的例子——根据抖音热点内容创作微信公众号文章。
如果我们给创作大师 Agent 写 prompt，可能会这样写：「你是一个热文创作大师。请根据今天的抖音热点内容 XXX，写一篇微信公众号文章。」
如果在扣子平台使用 Bot 来做这件事，我们输入的提示词可能是一样的，但它可以进行更复杂的任务执行，包括检索、提纲、修改、查询数据库、核定、提升文学性等预动作，然后再输出给你。而且，这些预设的工作流、技能、插件、数据库、长期记忆都是你可以设计的。
不出意外的话，后者输出的文字会比前者好很多。因为这个 Bot 是根据你的需求量身定制的，它可以存储你日常的数据库，你真的可以放心地让它帮你写日报、周报、简历，在写长文字时，甚至在细节上的它表现比你还好。
Bot 和 Agent 有什么区别？
Bot 和 Agent 并不是两种路线，一些预设简单的 Bot 甚至就是 Agent 的套壳，它们最大的区别在于确定性更强。
目前，扣子上最受好评的部分是工作流，其生态玩得非常溜，不久前甚至上线了工作流商店。在开发者中已经有了新的说法——当 prompt 越多 Agent 越模糊时，workflow（工作流）越细致 Bot 越精准好用。
为了方便普通读者理解，这里也要对 Bot 做一个不准确的解读——「手搓小程序」。因为用户写了 Bot 并不是用完就结束了，而是可以继续分发到微信、飞书、抖音等多个渠道给别人使用，真的和小程序差不多。
为什么说是「手搓」呢？因为扣子真的把「小程序」的编写门槛降低了太多，哪怕是完全不懂编程的小学生也能像玩拼图一样拼出来。
近期，扣子与 Intel 联合推出了主题为 Bot 征集活动的扣子 AI 工作坊（Coze AI Factory），涵盖了图文创作、实用工具、互动创意三大赛道。
在抖音快速发展的过程中，「降低两个门槛」起到了重要作用，一是降低创作门槛，二是降低分发门槛。
扣子的发展也是如此，现在他们把「小程序」的开发门槛降到如此之低，下一步就是大规模分发。
在大模型应用的发展过程中，扣子正在吸引越来越多的普通人进入创作领域，让开发者生态变成大众创新的生态。
最低门槛的比赛，最能认清生态的时候
在扣子 AI 工作坊活动开展的同时，扣子模型广场也正式推出。
什么是扣子模型广场？
从字面上看，这是一个拥有众多模型的地方。扣子虽然是字节跳动的平台，但并没有限制 Bot 只能使用豆包大模型，而是支持 Bot 接入国内众多主流大语言模型，如通义千问-Max、智谱 GLM-4、MiniMax 6.5s、Moonshot 128k、Baichuan4 等。
为什么要这样做呢？
现在看来，主要原因是扣子希望构建的 Bot 生态是一个场景丰富的超级生态，无论是医疗、金融、汽车、美容、交通等公共领域，还是围棋、电竞、情感、消费、营养等个人领域，所有赛道的人都能在上面开发出符合自己需求的 Bot。目前国内模型的技术路线尚未统一，服务能力也各有优劣，扣子必须为开发者开发更好的 Bot 争取空间。
但在具体开发过程中，对于到底该选择哪家模型，开发者该如何进行比较和选择呢？
对此，扣子在模型广场提供了模型对战功能。所谓对战功能，就是指用户可以通过与两个隐藏了模型的 Bot 实时对话（注意，这里 Bot 相同，只是模型不同），然后根据模型的回答进行投票，投票结束后系统才会揭示具体的模型。
在具体操作过程中，用户的使用体验大致如下：
他可以看到一个界面弹出两个分页面，两个页面运行同一个 Bot，只是其背后支持的大模型不同； 他在其中一个页面输入提示词，另一个页面也会跟着输入相同的提示词，两边的模型同时支持 Bot 运算并给出结果，两边的结果同时展示； 他可以根据两边结果的优劣进行投票，投票之后才能看到两边的大模型名称以及相关参数； 他可以多次进行对战，通过这种对战测试来决定自己的 Bot 以后使用哪个大模型。
模型对战
在扣子上，这个模型对战功能还提供了三种模式：
其一，是指定 Bot 对战。
用户可以指定一个 Bot 进行不同模型的对战，操作非常简单，这非常适合开发者测试自己的 Bot，最大的好处是可以让开发者决定自己的 Bot 以后调用谁家的模型。
指定 Bot 对战
其二，是随机 Bot 对战。
过程与前面基本相同，唯一的区别是用户不需要指定模型，系统会随机分配模型供你对战使用。这对普通用户来说非常有价值，他不仅可以比较模型的能力，还可以感受扣子上许多有趣 Bot 的能力。
随机 Bot 对战
其三，是纯模型对战。
这个过程与前面仍然相同，只是用户不再测试 Bot，而是测试评价模型本身。大模型技术仍在高速发展，技术路线也没有完全统一，好坏优劣一直难以评判，各家都在不断自称某项第一。
纯模型对战
前文说大模型 Agent 输出结果是黑盒状态，其实各家大模型能力评测也是黑盒状态，开发者在选择时非常缺乏测评尺度。因此，Bot 的效果好坏很大程度上受到开发者个人审美偏好的影响。
但是要想让大模型应用生态繁荣起来，这种黑盒必须变成直观可见的白盒。
对于开发者来说，扣子模型广场的对战功能无疑是最直观的比较工具，为他们节省了不少投入。
在此之前，开发者在选择模型时，肯定会进行比较和衡量，也少不了找群体做双盲测试，但这既浪费金钱和人力，又麻烦，最关键的是难以控制变量。
各家模型都在不断变化，每隔一段时间整个赛道都会发生变化，如果没有这样的工具，开发者将会在评测上浪费大量时间，而现在时间恰恰是最宝贵的。
对于大模型厂商来说，如此直接的对比，如此公开的投票，确实是一种巨大的鞭策。
在过去的一年里，许多大模型厂商都用尽各种话术来夸耀自己的 XXX 项第一，以及在哪些测试中获得了多高的评分。
但随着大量的模型们开始针对测试题库进行训练优化，这种评比早已不客观。不过，仍有不少模型沉浸在这种虚幻的排名中。
然而，只有通过实际对比，才能知道谁才是真正的强者。
对于生态来说，扣子模型广场提供了一种最低门槛、最低成本的模型 PK 方式，即使是小朋友也能参与投票，这一下子将整个模型生态的判断标准拉到了与大众标准相同的水平。
当开发者们为选择大模型而茫然时，大众的选择、普通人的感受可以成为大模型优劣的最佳标尺。
