一家智能手机公司决定自主研发手机芯片,通常意味着它正在体验着强烈的不确定性和不安全感,并希望将其打破。昔日的苹果和三星如此,现在的 OPPO 亦如此。
这种强烈的不确定性与不安全感,有来自对行业通用技术的不满足,也来自对环境动荡和对于未来技术的洞察;但最根本的动因,是一家企业希望能冲破面前的困局,向前再进一步。
这也意味着:软件、硬件和性能的整体最优解无法通过第三方的提供的芯片满足,用户最在意的功能和体验在现有的解决方案中找不到提升的方式——这些芯片领域的“深水区”症候,加上硬件、软件与系统日益强烈的融合需求,推动了智能手机厂商的“技术自觉”。
芯片研发,是技术跟风还是技术自觉
在上周,在一年一度的“OPPO INNO DAY”上,OPPO 发布了一颗自主研发的芯片——马里亚纳 Y。
它不是一枚智能手机的中央处理器(CPU),而是一款蓝牙音频系统级芯片,也是一款 NPU(神经网络处理器)——也就是通常所说的人工智能芯片。可以这么说,MariSilicon Y 是人工智能(AI)被引入音频领域,进而创造下一代声音体验的开端。
图源:OPPO 芯片产品高级总监姜波发布马里亚纳 Y
迄今为止,消费电子设备的音频计算处理都是通过 DSP(数字信号处理器)完成的,无论是编码解码、播放、立体空间渲染,还是主动降噪,各个环节都是如此。OPPO 研发的这颗“马里亚纳 Y”用人工智能打破了 DSP 的局限——它的高性能 NPU 版算力达到 590 GOPS,在运行 AI 算法时更高效。更重要的是,作为音频专用的 NPU,能够专门处理音频相关算法,因此计算的精度、体验以及未来能够实现更多音频体验会更加丰富。而独立的 NPU 不依赖手机的算力,计算能够实时在音频设备内的完成,进而降低因数据在耳机与手机之间传输所造成的延迟。
因为算力强大,马里亚纳Y还可以实现音频端的声音分离技术,也就是无需考虑音源的格式,直接在耳机端侧将一段完整的音频数据中,识别和分离人声或其他特定乐器的声音。目前,马里亚纳Y最多可以分离生成四条独立的音轨——人声、鼓声、贝斯和其它。对于目前行业内空间音频内容的匮乏,用 AI 去生成音频空间感,这是一个充满想象力的场景。
强大算力与先进算法结合,意味着声音的质量和体验通过 MariSilicon Y 得到的提升,创造了新的计算价值,这是芯片设计能力延伸至新的应用场景的一次突破。
而在一年前,OPPO 发布了第一颗自研芯片“马里亚纳 X”——它是 OPPO 自主设计、自主研发的影像专用 NPU 芯片,以 OPPO 自研的神经 AI 计算单元为突破口,提供了同类智能手机当中最强大的 AI 实时计算能效;它集成的自研影像处理单元,也实现了 HDR 影像处理能力性能新的突破。
两款代号“马里亚纳”的 NPU 芯片,X与Y,分别瞄准影像计算与音频技术,初步构成了 OPPO 自研芯片的象限坐标,也能看出 AI 将会是 OPPO 自研芯片未来坚持的路线和差异化。两款自研芯片的发布,也是 OPPO 走向“技术自觉”的开端。
图源:(左为 OPPO 第一颗自研芯片马里亚纳 X,右为马里亚纳 Y)
并非所有人都对此感到兴奋。从 2019 年 12 月,OPPO 宣称要投入自研芯片开始,质疑的声音就从未断绝过。021 年 7 月有媒体爆出 OPPO 首个自研芯片并非 AP(主应用处理器),再到当年年底,OPPO 发布第一颗自研芯片“马里亚纳 X”,掌声与嘘声的喧哗并存。这次,OPPO 祭出“马里亚纳 Y”,历史性地将音频计算带进人工智能时代,质疑的声音少了些许,但很多人仍然不免存有一个心结:三年了,OPPO 一直也没有拿出一款属于自己的智能手机 CPU。
图源:OPPO 第二颗自研芯片——马里亚纳 Y
OPPO 为什么不自主研发一款 CPU?这是一个有点玄学的问题。
毫无疑问,比起用 AI 算法在软件系统层面上进行一些成像技术的优化,推出一款独立的影像级 NPU 和一款蓝牙音频系统级 NPU 是更彻底、更硬核的技术创新。然而,很多人仍然执着地相信:作为智能手机的“心脏”,CPU 的自主研发才是消费电子芯片研发桂冠上的明珠。
先不争论这个问题,我们看看 OPPO 自研的两款 NPU 芯片,其实是怎样的物种:
一年前发布的“马里亚纳 X”,是全球首款 6nm(纳米)自研的影像专用 NPU。这意味着 OPPO 用两年时间研发问世的首颗芯片,从一入场就选择了难度更高的 6nm 制程工艺,并且采用了 EUV 光刻技术,成本比 12nm 的同类芯片高出2-3 倍。众所周知,6nm 的制程工艺,正是区分一款芯片是“先进制程”还是“成熟制程”的分水岭,也是台积电和三星等芯片代工厂对所有芯片 Fabless 厂商的"摸底考题"。
刚刚发布的“马里亚纳 Y”,在 6nm 的基础上进一步拓展至全球最先进的 N6RF 射频芯片工艺。这是 OPPO 首次应用全球最先进的工艺制程设计研发推出的芯片。它将射频、计算和数模转换的部分放在一颗芯片上,不仅在每一个特性上都实现了行业突破的性能,整合起来也满足了在越来越复杂的移动设备上低功耗的严苛要求。
图源:N6RF 是目前射频芯片领域最为领先的制程工艺
两款芯片,X与Y,从一开始就采用并实现了先进制程的工艺设计,这是 OPPO 自研芯片的起点。
目前,根据行业猜测 OPPO 的全球芯片研发团队有超过 2000 名研发人员,从交付的成果来看,它与 OPPO 在芯片研发领域的投入是相得益彰的。
从这个意义上,首先推出的是一两款应用于具体场景的 NPU,还是一颗智能手机的“心脏”CPU,并不是衡量一家科技公司芯片投入的意志坚决与否,以及芯片研发能力的首要标准。要知道,苹果 2020 年自研的适配 iPhone 11 系列的“A13” CPU 才刚刚进入 5nm 制程。相较之下,OPPO 在 2021 年底就拿出了 6nm 制程的 NPU,可以算得一个非常前沿的举动,而在射频芯片领域,OPPO 的“马里亚纳 Y”无疑是在制程和工艺上最激进的。
尽管 OPPO 没有从自研 CPU 起步,可是你怎么能认为,OPPO 的这两款技术路径相当激进的 NPU,不是它芯片研发意志和研发能力的体现呢?
所谓的“技术自觉”,不是别的厂商推出了自研的 CPU,就一定也要自己研发一款 CPU,那其实是“技术跟风”。真正的“技术自觉”,是明确知道作为一家科技公司和技术驱动的公司,为了推出更符合用户体验预期的产品,需要突破哪些迫切的技术壁垒,以及通过哪种途径突破这一壁垒,进而把它变成一个长期的技术蓝图和技术战略愿景。同时要在每一款自研芯片上探索。
苹果绕开 ARM 和高通自研A系列 CPU,是因为它意识到只有自己的芯片才能提供一个密不透风的硬件、软件与系统的高度垂直整合的用户体验,而不是为了与谁掰手腕;华为在 2017 年发布麒麟处理器的时候,美国对它的一系列无理打压也尚未开始,对当时已经在筹划鸿蒙操作系统和跨设备体验的华为来说,一款能真的满足自己性能与体验需求的 CPU 芯片是必需的。
苹果和华为在自己搞定属于自己的底层关键技术上,是有着基于发展的“技术自觉”的。
同理,无论是曾经还是当下的 OPPO,它在芯片上的投入和创新,并不是被逼出来的。事实上,被逼出来的研发投入往往也并不意味着“技术自觉”,相反更多地是一种为了解决迫在眉睫的困难应运而生的“急就章”。我们不必完全惯用科技竞争的视角看待 OPPO 在芯片领域的投入,没有人逼着 OPPO 自研芯片,基于自身的发展需求,以及“长期主义”的危机意识,OPPO 用自研芯片突破一些对它自己而言至为关键的技术瓶颈,当前集中体现在影像和音频(连接)的方向。
图源:OPPO 研究院院长刘畅在 INNO DAY 2022 上谈及未来 OPPO 自研技术走向
历史上看,OPPO 推出过 MP3 和 MP4 产品,后来又在蓝光 DVD 市场大获成功,这令其在音频和影像领域有着独特的积累,且与苹果 iPhone 的脱胎于 iPod 但更依赖软件生态系统,以及华为的智能手机业务萌芽自全球电信运营商的合作网络有着明显的道路差异。
OPPO 芯片产品高级总监姜波在近期的媒体专访中,也印证了自研造芯的动机:“假如 OPPO 现在已经有一个芯片供应商了,方案和技术也能满足终端用户的需求,即便自己做芯片价格能再降低一半的成本,OPPO 也绝对不会做”。换言之,降低成本绝非 OPPO 自研芯片的初衷。
而在可以预见的未来,随着独立的影像和音频芯片单元带来的多款智能手机的产品提升,越来越多的模块和功能的需求无法从独立的第三方芯片供应商那里获得满足,而这些都是 OPPO 在芯片领域可能努力的方向。据行业分析,超过 2000 人的芯片研发团队,支持的细分部门和领域多达十几个,这这意味着 OPPO 对于自研芯片的规划是完整且有长远部署的。
图源:马里亚纳 Y
近期,OPPO CEO 陈明永一份流传出来的内部讲话披露了自研芯片的动机:“一是为用户提供更好的体验,二是要有自己的技术护城河。我们酝酿了很久,也深知这条路非常不易,可能真的要十年才能磨一剑。”
陈明永还用围棋术语“本手”形容 OPPO 研发芯片的路径和方法:“本手是应该怎么走就怎么走,每一步都是合理的,每一步都是当下最平常但最坚实的一步。”
OPPO 拒绝在芯片领域给市场和对手“毕其功于一役”的刺激,不搞弯道超车,没有一战而定。谁都清楚芯片研发是消费电子研发桂冠上的明珠,谁也都更清楚芯片研发是个“无底洞”,甚至是个坑,靠的是“笃定”而不是“赌性”。
此刻和未来,OPPO 在芯片领域进行的,是一个“版图拼接”的长期工程,这是 OPPO 基于自身的需求选择的属于自己的芯片研发道路。而有没有自己独立的技术路径和实现这一技术路径的方法,其实是一家公司有没有真正实现“技术自觉”的重要标志。
从这个意义上看,OPPO 造不造 CPU 这件事,似乎有了一个没有答案的答案。
重构芯片、云与系统关系的技术自觉
地球上没有比马里亚纳海沟更深的“坑”。
OPPO 的自研芯片“马里亚纳 Y”,一杆子直接进入音频芯片和音频计算的“深水区”。用人工智能神经网络处理器单元解决一个声音领域的细分需求和问题,看上去有点像不计成本的“高射炮打蚊子”,但这一杆子实则捅到了另一个世界:通过私有协议实现了端到端的智能化连接,令芯片、软件、云和系统的连接和互通互融,成为了可能。
云计算和云存储的实现,早就不算是什么高科技了。然而,跨终端和平台的数据流动与算力融合,本应该是更强大的云计算平台能够提供的体验提升,却一直没有更好的解决方案。其中的症结,就在于智能芯片能力与云计算能力的脱节。准确地说,是强大的算力芯片在端到端的智能连接,进而实现智能手机、电脑、平板设备与智能汽车等设备之间数据流动和同步的角色缺席。
OPPO 的“马里亚纳”芯片计划,给这种连接的可能性开了一个头,尽管仍有很长的路要走。它更重要的意义在于:这是信息技术产业对“芯云一体”的一次标志性探索,一次自主路径的“技术自觉”。
“芯云一体”的目的,是实现“多端融合”。所谓的“多端融合”,也就是化身为数据的万物之间的融合,即“万物互融”。
必须指出,“万物互融”是一向不擅长造词的 OPPO,自己创造的一个概念。看上去,它是对“万物互联”这一人类信息技术演进的未来的一次升级,甚至是一次反动。但细究其间的差别,还是能发现一些本质的东西。
“万物互联”是一种基本的连接能力,即智能手机、电脑、平板设备、智能汽车和各种智能家居产品之间通过蓝牙和 5G 通讯等方式,实现的简单的信号连接与对话。它的目的是让这些设备能够单向或彼此传输简单的指令,进行一些必要的协同。然而,海量的数据是很难在这些跨平台的终端上真正地实现自由的同步和流转的。
“万物互融” 则意味着“万物互联”的深度。信号的连接与互通已经不能满足所有的需求;相应地,数据的流转和同步,甚至算力在不同终端上的共享成了新的需求。没有芯片与云能力的深度融合,这一切是做不到的。
以芯片为基础,以多端为载体,以智能云为大脑,“芯—端—云”三位一体的协同发展,从而实现算力融合与数据流转,为用户提供多终端无缝连接、无感交互、服务随人的智慧生活体验——这是 OPPO 在今年提出“芯云一体,多端融合”战略时,对这一技术愿景的概括。
图源:OPPO 研究院院长刘畅在 INNO DAY 2022 提出"芯云一体,多端融合"战略
它意味着打破设备和系统之间的差异和限制,将不同设备真正连接起来,数据与服务随“人”流转,还能让设备像人一样拥有理解与分析能力,根据情景感知进行推理与决策,从而提供准确的服务。更能突破设备存储与算力的边界,为用户提供无限存储、虚实融合的全新体验。以前,人们走到哪儿,设备就带到哪儿。未来,人走到哪儿,数据和服务就随人到哪儿,用户可以在多个设备上随时同步、调取、使用属于自己的数据,实现生产力和数字消费能力的解放。 2022 年 12 月 14 日,随着“马里亚纳 Y” 芯片的发布,OPPO 的 CEO 陈明永宣布:“芯云一体,多端融合”的技术架构,在 OPPO 已经初步成型了。
毋庸讳言,自研芯片是这一技术架构的“牛鼻子”,但仅仅有芯片显然是不够的。
2022 年 8 月 30 日,OPPO 发布了面向未来的智慧跨端系统——潘塔纳尔。
如果说,“马里亚纳”代号象征着 OPPO 的自研芯片计划是一条深不可测、前无止境的“深海沟”,“潘塔纳尔”这个代号则意味着肥沃、温暖和湿润的应许之地。OPPO 研发的潘塔纳尔智慧跨端系统,试图成为一个面向“万物互融”,以人为中心的跨端系统,打破设备孤岛,以最大的开放性及友好性,构建一个开放的生态。
在南美洲与潘塔纳尔湿地依傍而存的,是绵延数千公里的、世界上最长的山脉——安第斯山脉。而“安第斯”则成了 OPPO“智能云”服务的代号。
图源:OPPO 数智工程事业部总裁刘海锋发布安第斯智能云
就像潘塔纳尔湿地与安第斯山脉是同一次火山地壳激烈运动的造物那样,OPPO 的智能云与智慧跨端系统,是一组共生的物种。
潘塔纳尔智慧跨端系统提供了多端融合的骨架,安第斯智能云给多端融合注入了“云化终端”的血肉。安第斯云是服务个人、家庭和开发者的“泛终端智能云”,旨在推动人类产生的一切影像、音频、娱乐、学习、工作、消费和生活数据“上云”,不仅仅是为了存储备份,也为了实现数字资产管理——让这些属于个人的数据资产,在人们需要的时候,流动和出现在它们该出现的那台设备——无论是电视、手机、电脑还是智能汽车的中控屏幕上。
实现这一切,需要的不仅仅是智能存储,也必须有更强大的智能计算依托。
智能存储实现的是按需拓展“端侧”的数据存储,即每个人、每个家庭都可以拥有属于自己的一朵云;而智能计算需要“云侧”更大规模算法模型加速 AI 进化、提供端云统一的机器学习能力,增强用户的 AI 体验;依托云侧算力优势,打破硬件性能、算力能耗与成本瓶颈,甚至加快实现数字人、虚拟现实和“元宇宙”等未来“虚实融合”场景的落地。
智能存储特别是智能计算,又不可回避地指向顶端的明珠——芯片的能力。
图源:OPPO
这也意味着,重构芯片、云和跨端系统的关系,是一项“系统工程”,也是一家长期从事消费电子业务、直接面向消费者提供服务的智能手机厂商在技术架构上的“顶层设计”。而归根结底,它体现了一种“技术自觉”。
一家有深度研发能力的科技公司,从事自研芯片的开发有很多的理由。一家通过终端设备承载着用户海量比特与字节数据的企业,建立强大的消费级云计算是切实的必需。一家提供智能手机、个人电脑、平板设备和各式智能终端的消费电子厂商,有着让用户在不同的终端设备上自如切换、使连接升级为融合的强烈需求。但是,把它们作为一个整体的战略,进而走自己的路,形成属于自己的技术架构,则不仅仅需要技术自信,更需要来自技术的自觉。
图源:OPPO
当一个传统认知中的消费电子品牌终于走到这一步,是一件值得恭喜的事。