骁龙咣咣咣三脚,再次改写格局

  鱼羊萧箫发自凹非寺

  量子位公众号 QbitAI

  盆友们,骁龙,已经不再是以前那个骁龙了。

  就在大家吃瓜安卓新旗舰芯片谁家首发之际,骁龙峰会的绝对主角,却只差没把“时代变了”写在脸上:

  先是第一天直接挤爆 AI 牙膏管,第二代骁龙 8 连 ISP、5G 调制解调器都武装上了神经网络。

  紧接着第二天,干脆从手机端进一步腾开手去,就差没告诉围观群众:XR也是我高通押注的下一代移动终端。

  这不,直接引爆了一波有关“2023 是 AR 眼镜元年”的讨论。

  从这种种迹象来看,骁龙,乃至背后的整个高通,步调更好,速度更快。

  这样的变化,意味着什么?又有哪些信息点值得科技发烧友和行业观察者们关注了解?

  其表其里,咱们一分为三,细细拆解来看。

  骁龙三变

  “一变”

  骁龙第一变,还是要从最引人瞩目的第二代骁龙8说起。

  围绕这颗安卓旗舰最强“心脏”,官方剑指何处已经完全明示:几乎是三句话不离AI

  换句话说,以往在幕后暗自发力的 AI,如今不仅走向台前,还成了全场毋庸置疑的第一主角

  先是在“基础设施”层面上,高通 AI 引擎的核心 Hexagon 处理器架构全新升级,打出一套 AI 加速组合拳:

  激活函数加速 + 分组卷积加速 + 张量加速器性能翻番。

  还引入了微切片推理,并为这一核心处理器配备了专门的供电系统。

  这使得第二代骁龙 8 相较于前代产品,在自然语言处理等场景下,AI 性能提升了4. 35 倍

  提升 AI 加速器的数量和性能之外,第二代骁龙 8 也率先支持了 INT4 AI 精度格式。

  这就带来了持续 AI 推理方面60%的能效提升:

  相比于浮点精度格式和 INT 8,以 INT 4 精度格式运行的 AI 模型,所需的计算资源更少。这为开发人员们在手机里部署更多量化模型提供了硬件基础。

  值得关注的是,在第二代骁龙 8 里,不仅是以上 AI“基础设施”全面升级,连ISP5G 调制解调器这样的模块,如今都跟 AI 更深度的绑定了。

  第二代骁龙 8 搭载的业界首个认知 ISP,这回跟 Hexagon 处理器来了个直接连通,通过在两者之间增加一个名为“Hexagon 直连”的物理连接,提供更加强大的影像 AI 处理能力。

  基于此,第二代骁龙 8 能通过实时语义分割,实现照片和视频的自动增强。摄像头捕捉到的人脸、头发、衣服、天空等种种画面细节,都能被针对性地优化处理。

  至于手机芯片中最“传统”的调制解调器部分,骁龙此番也强调了首个 5G AI 处理器的作用:通过分析信号完整性和信噪比,AI 能够改善无线带宽、延迟等性能指标。

  加之对 Transformer 等网络的支持,又将语音自定义唤醒词、快速多语种翻译等软件能力带到了手机芯片上,可以说,单从手机芯片的变化来看,骁龙这波操作,是把“无 AI 不芯片”的趋势再度推向了高潮。

  这股 AI 爆发之风,也并不仅限于手机芯片。

  “二变”

  这就要说到骁龙第二变:押注下一代移动终端。万物连接的移动设备种类,正在突破此前的局限。

  此番引发外界不少讨论的第一代骁龙 AR2 平台就是一个例证。

  第一代骁龙 AR2,是骁龙首个专门为头戴式 AR 设备打造的移动平台。

  目的很明确:成为新一代最强轻薄 AR 智能眼镜的“智能大脑”,开创真实世界与元宇宙相互融合的空间计算新体验。

  具体到功能特性上,一方面,是解决 AR 眼镜重量、时延等固有问题:

  采用分布式处理架构,实现更均匀的配重并降低左右眼镜腿宽度;动态将时延敏感型感知数据处理直接分配给眼镜终端,把更复杂的数据处理需求分流到手机、PC 或其他主机终端上。

  另一方面,依然是以人工智能为核心,提升 AR 眼镜所带来的实际产品体验:

  其 AR 处理器中,搭载了专门的视觉分析引擎,结合 ISP 和 Hexagon 处理器,能在图像识别、分类和手部跟踪等 AI 算法上实现 2. 5 倍加速。

  根据高通官方消息,目前,PICO、联想、小米、Nreal、OPPO 和 LG 等厂商,都是骁龙 AR 的合作对象。

  并且在 AR 的应用生态方面,高通也已有所布局:比如与《宝可梦 GO》的制作方 Niantic 携手,推出 AR 眼镜版的增强现实游戏。

  值得一提的是,这样设备边界上的突破,以 AR 为典型代表,却同样不止于 AR。

  从高通与微软的最新合作计划中亦可见一斑:基于骁龙平台,高通将高通 AI 引擎引入 Windows 11,以实现笔记本上语音、图像处理等功能的 AI 加速,同时促进智能手机和 PC 的融合。

  说了这么多,归结起来,第一变可以说是 AI 能力的加速爆发,第二变是突破边界的万物互联,在这两者的基础之上,骁龙,乃至背后高通布局重心之变,也就愈发明朗。

  “三变”

  即,骁龙第三变,就是连接到智能计算的改变,进一步说,也就是高通提及的“网联计算”。

  人们从前讨论移动设备,更多聚焦于手机,讨论的是信号是否更好了、网速是否更快了。

  但现在,在通信、连接的基础之上,人们关心的重点,已经变成了什么样的智能功能更好用,哪家对游戏等应用的智能加速效果更强劲。

  甚至在这样的讨论之中,手机已经不是唯一的主角,下一代计算平台的价值开始获得更多关注和认同。

  对于高通这样的厂商而言,这一方面可以归结为时代技术浪潮之所至,另一方面,也是其本身“春江水暖鸭先知”,早期技术厚积薄发的体现。

  量变到质变的奇点,厚积薄发的 AI 脉络

  事物的变化,往往由量变引发质变。

  高通之变并非在这次骁龙峰会上才有所体现,其 AI 革新脉络从更早时候便已有端倪可循。

  2007 年高通启动第一个脉冲神经网络相关的研究项目,依托于生物神经元设计,目的是让神经网络构造更高效节能,同时在架构上更适配硬件工作原理。

  针对脉冲神经网络等 AI 领域的研究,在 2013 年正式转变成更具体的成果。

  这一年,高通提出了 Zeroth 计算平台,希望能用 AI 处理图像、声音等信息,如开发语音识别功能等,如今来看相当于 NPU 以及其搭载的神经网络计算能力的平台。

  △2013 年搭载 Zeroth 的机器人训练,图源高通

  当年,高通这项名为神经形态芯片 (Neuromorphic Chips)的技术,被认为是颠覆性的突破,并于 2014 年被 MIT Technology Review 评选为全球十大突破技术之一。

  Zeroth 奠定了高通 AI 引擎(AI Engine)的基础。2015 年,骁龙 820 正式搭载第一代 AI 引擎,除了能用于人脸照片检测和手写识别以外,高通还展示了它能被应用于降低功耗、提升电池使用时长的能力。

  随着对 AI 研究进一步深入,高通钻研的方向不再局限于硬件计算本身,同样还放在了移动设备功能的丰富度,即算法和硬件的协调能力上,力图让更多已实现的 AI 算法落地到移动设备中去。

  从最初为各硬件引入 AI 技术加大研发力度,到如今 AI 引擎已经成为高通芯片的标志之一,究竟是什么引发了高通的质变?

  可以说,自身技术积淀场景需求爆发,成为了引发高通变化的两大关键节点。

  从技术维度来看,高通经历了由 AI 技术“引入者”到 AI 基础设施“提供者”的转变。

  一方面表现在对 AI 框架的支持度上,包括与谷歌、脸书 AI 合作,对 TensorFlow、Caffe2 等 AI 框架进行加速;以及与微软、亚马逊合作支持 ONNX 等 AI 模型格式等。

  另一方面,则体现在各种 AI 算法的研发和开源上,从这些年的顶会论文数量可见一斑。

  如果从 2011 年开始在计算机顶级学术会议上发表论文算起,现在其能够查阅到的已经有不下 130 篇 AI 研究发表在各种顶会上,今年一年就接近 30 篇:

  观察这些论文类型可以发现,其研究领域从机器学习基础的量子、几何和贝叶斯深度学习,到降低能耗的量化模型、提升信号强度的优化算法和 AI 编译器,再到应用范围更广的计算机视觉、联邦学习和强化学习等,开源的案例就有不少。

  这些研究放到 AI 基础设施的搭建上,又进一步被分为基础架构和应用设施等维度。

  基础架构上,提升硬件处理 AI 算法的数量和性能,让更多厂商开发的 AI 算法能被应用于更小的设备上,结合云端提供的算力,进一步让终端设备实现的功能范围最大化,这里又以软硬件配合方面的量化等算法应用更为广泛。

  应用设施上,即加强高通 AI 基建的模块化能力。除了侧重软硬件协同处理外,从今年发表的顶会论文情况来看,又有相当一部分集中在视频语义分割、3D 姿态估计等更通用的计算机视觉任务上。

  但无论是提升算法在硬件平台上的适配能力,还是提升算法本身的性能、包括数据压缩能力,本质上都与增强移动平台对 AI 的“掌控力”紧密相关。

  换而言之,高通实现了从各大模块支持 AI、到 AI 驱动各个模块的转变,让自身 AI 能力进一步具备了应用到更多设备上的通用性——

  从场景维度来看,高通所连接的也不再仅仅是手机,而早已扩大到 PC、智能汽车乃至 XR 等平台中。

  如这些年加大力度投入的智能汽车方向,与手机一样也同样是视频语义分割技术的应用领域之一。

  在智能驾驶上,高通此前就已经推出过开源的 InverseForm 框架,在复杂道路区分与检测上表现出更好的性能,无需担心汽车再开到绿化带、或是带阴影的人行道上。

  基于 AI 技术打造的骁龙座舱平台和骁龙智能驾驶平台(Snapdragon Ride),更是颇为“抢手”,一度成为车圈叫好叫座的宣传词之一。

  又如早在数年前就已有布局的 XR 方向,高通基于这一平台的高效低耗要求,于 2019 年推出了骁龙 XR2 平台,也是首款将 5G 和 AI 结合的 XR 芯片。

  相比手机,XR 设备带来的更好的虚拟与现实世界的交互性,又能给 AI 落地带来新的思路,例如平台上搭载的场景理解、3D 重建等技术,就是基于 XR 自身特性延展的。

  不久前推出的第一代骁龙 XR2+ 平台,则引入了全新图像处理管线,不仅支持并行感知技术,包括头部、手势和手柄追踪、低时延视频透视等能力,其 PC 级虚拟景观还能为虚拟人物赋予更逼真的面部表情。

  移动 PC 领域,高通也在尝试用 AI 来提升移动办公的生产效率。

  如召开远程会议时,设备可以准确感知到主体的面部,即便是在人口嘈杂的街边咖啡店也可以实现精准聚焦,周围的路人也就不会出现在会议上。

  如此说来,高通早已不只是手机芯片厂商,其所提供的技术早已经延伸到了智能汽车、PC、XR 等平台……一系列你能想到的 IoT 设备,都已经被连接到高通以芯片为基、以 AI 软件栈为脉络搭建的网络之中。

  作为一个专门给 AI 开发者打造的“工具箱”,高通 AI 软件栈进一步将汽车、手机、PC 和 XR 等设备之间开发的应用从软件端打通,从而将硬件终端的优势进一步扩大,实现一次开发、跨终端部署。

  随着 AI 开发部署的效率提升,作用的终端范围扩大,行业智能化速度也会迎来指数性增长。

  由上来看,在临近质变前夕,高通就已经在量变的路上走了很久。

  如今恰好赶上新一轮“万物互联”时代的智能爆发,高通以预见性的储备提前布局了新一轮技术浪潮,甚至还可能成为推动下一代计算终端变革的动力。

  与其以“急”字解释高通之变,不如说是时代技术洪流之所向。而高通也早早把握住了航向,在关键时机有了点燃技术新爆点的底气。

  质变如何复制?

  高通质变,只是整个行业巨变的一个缩影。

  从工农业、城市交通、医疗生活等各行各业,到智能汽车、IoT、XR 等细分领域,现今都在计算和连接方式变化的推动下产生新一轮技术更迭。

  在这背后,正是 AI 这一底层技术驱动,所引发的由点到线及面的幂集创新,其中高通又以芯片为基,将 AI 技术完整搭载成一套引擎、成为行业方方面面的驱动力。

  但如果换个角度来看,像高通这样的质变,是否还会在更多领域出现?又或者说,高通这样的质变是否还能“复制”?

  从芯片等方向选择角度来看或许难以复制,但核心思路却有几点可以借鉴。

  一方面是抓住最基础的技术进行研发,并拥有迅速落地、进而降本增效的能力,另一方面则是基于自身生态型的作用力,将技术影响扩大到千行百业中去,与更多厂商合作开发出更广阔的市场。

  以移动场景为例,如果过去以手机延展出的功能应用,只是数以百计的垂直软件生态;

  来到网联计算时代,以 AI 为核心、5G 为连接动力、芯片为计算基础的终端设备,将会再度带来数以百计的横向产业拓展,进而带来数以千万计的开发者生态与企业机遇。

  这或许也是高通并不局限于手机场景,而是选择提前布局下一代移动设备的原因。

  从此前发布的高通 AI 软件栈等“基础设施”,到高通在这次骁龙峰会上展示的各行各业合作案例,它们本质上都在体现高通的 AI 技术已经深入这些行业中,赋能产品、并给行业带来根本性的变革。

  参考链接:

  [1]https://www.technologyreview.com/technology/neuromorphic-chips/

  [2]https://www.scoop.it/topic/amazing-science/p/4023296590/2014/06/20/mit-ranking-of-10-new-breakthrough-technologies-in-2014

  [3]https://www.youtube.com/watch?v=8c1Noq2K96c