百度交出一款“贪吃蛇”和一个文心一言“加强版”

  时间是残酷游戏,比如当惊艳的 Apple Vision Pro 终于出场,早已无人惦记遥远的诺基亚。

  但包括未来将要登陆 Apple Vision Pro 的游戏开发者 Ryan McLeod 在内,一切手机游戏都需要向诺基亚在 1997 年首次将《贪吃蛇》内置的决定致敬,这个动作真正打开了手机游戏的历史。

  《贪吃蛇》的游戏逻辑很简单,吃果子可以得分但身体会变长,控制方向不撞到边界或自己。时至今日诺基亚已经几乎离开大众视线,以《贪吃蛇》为根源的游戏仍然活跃,甚至“如何用最短的代码写出一个贪吃蛇游戏”至今仍然是开发者社区里有吸引力的话题。

  这个现在古典而充满美感的游戏也变成了大模型时代度量 AI 能力的尺子。百度智能云 AI 平台副总经理施恩在一个新的代码助手 Comate 帮助下,从画布开始搭建《贪吃蛇》,直到最终贪吃蛇扭动着出现,AI 完成了其中大半的代码工作。

  整个过程不到 5 分钟。

  开发者的 Comate

  大模型短暂而剧烈的竞争直到现在,黑箱的迷雾仍未散去,外界的注意力正在变化。各种宏大愿景开始冷静下来,转换成对更具体事物的关注。比如生成式 AI 在当下究竟可以为行业带来什么新的生产力。

  6 月 6 日,在成都举行的文心大模型技术交流会上,百度开放了代码助手 Comate 邀测。这是一个与 GitHub Copilot 等代码编写助手相似,但用了更多中文注释和开发文档作为训练数据炼成的智能开发工具。在编码过程中,Comate 可以根据开发者当前在编写的内容,推理出接下来可能的输入选择。

  文心大模型是宏大的,Comate 是具体的。

  对于《贪吃蛇》的游戏开发(网页版本)过程来说,开发者首先要在画布上画底,然后设定键盘的操作方式以及游戏结束条件的判断,除此之外,就是爬行速度等环境要素的控制。对于 Comate 来说,只需要输入“canvas”,以及“弹性布局,水平居中,垂直居中”的中文备注,就可以完成游戏画布代码的生成。然后输入“param color”、“left”、”food=”等颜色、方向、食物的简单词,Comate 会自动联系上下文理解指令,补全代码,并在多条推荐代码之间切换,选择合适代码后,直接生成了可运行的《贪吃蛇》游戏。

  据百度介绍,目前 Comate 能力已经率先集成在百度所有业务线中并实现了很好的使用效果:核心研发部门中 50% 的代码可通过 Comate 生成。从去年开始 Comate 已经在百度内部进行了大量测试。测试结果显示,在“Comate”辅助编写的代码中,近 50% 的建议代码被开发者采纳,目前在百度内部已经广泛应用到各类产品开发中。

  Comate 深度学习的对象除了百度内部的代码库也包括高质量 Github 代码库。现在这个代码助手可以实现代码自动生成、代码自动补全、代码智能搜索、高质量代码推荐、测试代码自动生成等多种智能功能。推理速度上单请求可实现 300ms 左右,这意味着开发者不需要停下来等待代码生成,Comate 完全可以匹配上开发者的编码速度。

  当前 Comate 代码助手支持主流开发语言/框架 30 余种,对于C/C++、Java、Python 等主流语言 Comate 专门做了数据优化,可达到更好的代码推荐效果。此外,Comate 还支持前后端、软硬件不同场景、以及程序员常用的多种 IDE。

  从这个角度来看,《贪吃蛇》是一次直观却并不充分的演示。施恩也表示,《贪吃蛇》的代码开发其实已经可以完全依靠大模型来不加干涉的自动生成。只不过有趣的是,Comate 从原本百度内部智能工作平台推出的一个“代码推荐工具”到现在的“代码生成助手”,本身也得益于大模型的能力加持。

百度智能云 AI 平台副总经理施恩图源:百度百度智能云 AI 平台副总经理施恩图源:百度

  Comate 的孵化开始于 2018 年左右,百度内部在寻找提升开发效能的办法时已经提到了代码生成。但技术不够成熟,所以先选择通过检索算法并做算法推荐的方式来提效。“那时候技术探索已经在尝试了。但在文心大模型出现之后,我们才把真正的代码生成在更广泛的场景应用起来”,百度智能云 AI 平台副总经理李景秋对品玩表示。

  Comate 从搜索逻辑过渡到生成逻辑,大模型的能力开始在开发环节呈现出生产力变革的姿态。而如果说 Comate 是文心大模型对开发者的一次回答,那“文心一言- Turbo”则是文心一言上线两个月后,百度给产业交出的一个新方案。藏于其后的,是文心千帆大模型平台在两个月后逐渐清晰的迭代路线。

  文心千帆的迭代方向:效果+效率

  百度将文心千帆定义为全球首个一站式的企业级大模型平台。具体来看,文心千帆不仅提供包括文心一言底层模型(Ernie bot)在内的大模型服务,还提供了各种 AI 开发工具链和整套开发环境。此外,大模型平台还支持各类第三方的开源和闭源的大模型。自 3 月 27 日首次启动内测开始,在文心千帆的支撑下,文心一言在两个月内完成了四次技术迭代。

  在 4 月 25 日的一场技术交流会上,百度集团副总裁侯震宇透露自内测以来,通过算法和模型的持续优化,文心一言推理效率提升 10 倍,推理成本降为原来十分之一。一个半月后,文心一言的高性能模式“文心一言- Turbo”作为文心千帆第一阶段迭代的结语成果出现。在一些高频、核心场景,在满足同样客户需求的情况下,推理服务的整体性能总共提升了 50 倍。

  多次迭代后,文心千帆的两个进化方向也已经显现出来:效果效率

  在效果上,除了推理性能的大幅提升外,“文心一言- Turbo”支持 SFT 训练,同时针对不同场景和效果提供多种训练方式,Bloom7B(70 亿参数)第三方大模型可支持 P-tuning、SFT、Lora 等不同训练方式。并且由于企业对于大模型再训练的需求以及私有化部署的考虑,文心千帆将开放插件协议,能够让第三方企业基于插件协议共享插件,通过插件的方式,把内部的数据完全接入,同时实现更好的大模型效果。

  除此之外,文心千帆将会提供一部分预制的 Prompt 模板,同时支持 Prompt 模板的增删改查以及支持参数插值的调用模板,支持通过服务接口形式调用 Prompt 模板,用于获得更好的推理效果。

  与效果并行的则是效率,或者也可以理解成性价比。

  “文心一言- Turbo”推理效率的 50 倍增长意味着大模型推理成本的大幅下降,这将是文心一言大模型内测仅一个月后,大模型推理成本降为原来1/10 之后的又一次提升。并且在数据标注方面,“文心一言- Turbo”未来能够批量生成标注数据并快速用于后续训练,相比于此前手动的数据标注形式将会大大降低数据标注成本。 

  在部署方式上,文心千帆也在逐步增加应对客户的灵活度。

  文心千帆对外提供“3+3”的交付方式。在公有云服务侧提供推理(直接调用大模型的推理能力)、微调(通过高质量精标业务数据,高效训练出特定行业的大模型)、托管(将模型发布在百度智能云,以实现更加稳定高效的运行)三种服务来降低企业部署大模型的门槛。

  而在颇受关注的私有化部署侧,文心千帆支持软件授权(提供在企业环境中运行的大模型服务)、软硬一体(提供整套大模型服务及对应的硬件基础设施)以及租赁服务(提供机器和平台的租赁满足客户低频需求)。其中最新加入的租赁服务意在满足预算有限,或对模型训练需求更低频的客户。

  文心千帆大模型平台在两个月内急速的迭代脚步,以及在效果和效率两端清晰的路线规划,并不只是算力的优势作用,背后体现出更多的是百度 AI 四层架构的整体优势。

李彦宏  图源:搜狐李彦宏  图源:搜狐

  李彦宏曾公开表示,百度是全球唯一在芯片、框架、模型和应用这四层进行全栈布局的人工智能公司。昆仑芯作为百度在底层芯片上的布局,已经有两代产品实现数万片的部署,第三代预计在明年年初量产;飞桨已经是国内综合市场份额第一的深度学习框架;文心大模型家族中除了文心一言,还有包括 NLP、CV、跨模态等通用大模型及 11 行业大模型,并与应用层的丰富积累互为羽翼卷起数据飞轮。这个完整布局也让当下文心千帆在面对 300 家生态伙伴以及 400 多个企业内部场景时有了灵活进化的前提条件。

  文心千一言每一次技术演进都是从芯片层到框架层、到模型层以及应用层多个团队的共同努力。“我们内部会拉一个工作群,这里有昆仑芯片的人,有飞桨框架团队的人,有大模型 NLP 算法策略的人,也有我们大模型平台工具链的人,还有终端应用智能客服的人。每个月会设定共同的目标,比如这个月性能必须提升到什么样的水平。”李景秋表示。

  也如百度集团副总裁侯震宇在 5 月初的一次闭门会上所说,“大模型时代下,企业的创新要脱颖而出,不但需要智能的算力、灵活的框架平台、丰富的大模型体系以及优质的应用方案,还需要这四者之间端到端的适配与优化,这是一个‘既要、又要、还要’的端到端创新工程。”

  而几乎所有人都能感觉到,百度在大模型这一仗上,开始显出后劲了。