新智元报道
编辑：编辑部 ZJs
硅谷投资人 Tom Davidson 的硬核长文预测，给出了惊人结论：全栈的 AI 大爆炸，或将率先发生在中国！而当芯片规模扩大 1 万倍时，AI 将逼近物理极限。
如果 AI 系统能自己设计出更强大的 AI，智能爆炸可能很快就要到来了！而人类，会被 AI 迅速甩在后面。
最近，硅谷投资人、EverFi CEO 兼创始人 Tom Davidson 等人发表了一篇长文硬核博客，详细讨论了智能爆炸（Intelligence explosion, IE）的类型以及对应的发生概率。
这篇博文里，有许多非常炸裂的设想，但仔细一想，仿佛离变成现实并不远了。
比如，AI 会改进算法和软件，提高 AI 芯片的质量，同时提高芯片的产量。
这些过程，会形成几种循环，周期分别是 3 个月、数月，以及数年。相对应的，就是软件大爆炸、AI 技术大爆炸，和全栈大爆炸！
当反馈循环首次启动，AI 进步就有有一个初始的加速。
然后，作者通过计算给出了惊人的结论：在到达 AI 到达物理极限之前，这些反馈循环最终将导致有效计算能力增加 13 到 33 个数量级！
最终，爆炸性的结论来了——
AI 在达到有效的物理极限之前，能进步到什么程度？
答案是，软件效率可能提升大概 13 个数量级，也就是1000 亿倍；芯片技术可能提升100 倍左右；芯片制造规模可能扩大1 万倍左右！
所以，哪个国家会率先实现全栈大爆炸？答案是——很大可能是中国。
AI 给自己设计软件，开启进化之路
今天看起来像科幻的课题，可能会在十年内成为现实。
如何理解即将到来的变化？
通向繁荣未来的有哪些路径？
Forethough 是研究型非营利组织，专注于如何应对过渡到拥有超智能 AI 系统的世界。
该组织认为 AI 系统很快可能比人类更具能力，迅速推动技术发展。
一旦 AI 系统能自己设计、打造出更强大的 AI 系统，AI 的发展速度就会加快，我们可能会见证一场智能爆炸（IE）。
AI 的能力会飞速提升，远超人类水平。
经典的智能爆炸，涉及一个反馈循环：AI 设计出更好的软件，这些软件助力打造出更强大的 AI，又能进一步改进软件，形成持续的良性循环。
3 种反馈，3 种智能爆炸
AI 开发过程中，有许多环节都能产生类似的正反馈，主要有以下三种：
-
软件反馈循环：AI 开发出更好的软件，包括训练算法、训练后的增强、利用运行时计算的方法（如 o3）、合成数据以及任何非计算改进。
-
芯片技术反馈循环：AI 设计更好的芯片，包括 NVIDIA、TSMC、ASML 等半导体公司进行的前沿研究和设计工作。
-
芯片生产反馈循环：AI 和机器人生产更多芯片。
三种反馈循环
这些循环能引出三种智能爆炸：
一种是仅由软件优化带来的软件智能爆炸；
一种是软件和芯片技术共同改进引发的AI 技术智能爆炸；
还有一种是软件、芯片技术与芯片生产带来的全栈智能爆炸。
三次智能爆炸
即使软件智能爆炸未能实现，或者很快陷入瓶颈，AI 技术和全栈智能爆炸仍然是可能的。
智能爆炸一开始可能较为平缓，但后续发展速度极有可能大幅加快。
研究显示，每个反馈循环都能推动 AI 的加速进步。
在达到物理极限之前，有效算力有望提升 20 到 30 个数量级，使 AI 能力实现质的飞跃。
一般来说，软件改进的时间延迟最短，接着是芯片技术改进，芯片制造的时间最长。
这些反馈循环可能推动三种不同类型的智能爆炸（IE）：
-
软件 IE：仅 AI 驱动的软件改进，就足以推动 AI 快速且持续加速发展。
-
AI 技术 IE：需要 AI 在软件和芯片技术两个方面同时改进，但无需在芯片生产环节进行优化。
-
全栈 IE：要求在软件、芯片技术和芯片生产三个方面均有所改进。
如果有效的物理极限还远，IE 的规模就会更大，速度也会更快。
预计在达到极限之前，软件反馈循环能将有效算力提高大约 13 个数量级（OOMs），芯片技术循环还能提高 6 个数量级，芯片生产反馈循环能再提高 5 个数量级。
若能把太空中太阳的能量都利用起来，还能再提高 9 个数量级。
如果近期有效算力增加与 AI 能力提升之间的关系继续成立，软件将实现 4 个「GPT 量级」的能力飞跃，即 4 个 GPT-3 到 GPT-4 的提升。
芯片技术方面可再实现约 2 个「GPT 量级」的提升，芯片生产大约有 2 到 5 个「GPT 量级」的提升。
这些智能爆炸，拥有不同的战略意义。
比如软件大爆炸，最有可能出现在美国，因为这些 AI 芯片和算法的所有者掌握着高度集中的权力。
AI 技术爆炸，最有可能出现在美国和半导体供应链中的其他国家和地区，比如台湾省、韩国、日本、荷兰，而权力会更广泛地分布在 AI 算法、AI 芯片和半导体供应链所有者之间。
而全栈爆炸，更有可能发生在中国和海湾国家等拥有强大工业基础的国家，这种爆炸也会将权力更广泛地分布在整个工业基础中。
三种反馈循环
1965 年，数学家I. J. Good 提出了智能爆炸的概念：
假设一台超智能机器被定义为能远远超越最聪明人类的机器。由于设计机器属于智力活动范畴，一台超智能机器可以设计出更先进的机器，那么无疑会发生一场「智能爆炸」，人类的智力将被远远抛在后面。因此，第一台超智能机器将是人类的最后一项发明。
一旦 AI 能自主设计和构建更强大的 AI 系统，就会形成反馈循环。
实际上，AI 开发中有许多环节可能产生正反馈循环，其中有三个对 IE 有推动作用的关键反馈循环：
软件反馈循环：AI 对自身算法、数据、训练后优化和其他软件技术进行改进。典型例子是完全自动化 AI 开发实验室的研究和工作。在这里，AI 系统改进算法，这些算法用于开发更好的 AI 系统，进一步改进算法。
芯片技术反馈循环：AI 改进 AI 芯片的质量。典型例子是 NVIDIA、TSMC、ASML 等半导体公司研发部门的自动化，能在不增加工厂的情况下，做出运算速度更快、性能更好的芯片。在这些芯片上训练或推理，AI 能力得到提升。
芯片生产反馈循环：AI 增加 AI 芯片的产量。典型例子是机器人完全自动化芯片工厂从建设到运营的全过程，包括开采原材料、运输、工厂建设和日常运转。机器人建造更多的工厂、生产更多芯片，用于训练更强的 AI 系统，然后设计更好的机器人去建更多的芯片工厂。
反馈循环需要多久
智能爆炸到底能多快发生呢？
智能爆炸不太可能一下子就发生，因为每个反馈循环都有时间延迟。
软件反馈循环的时间最短，芯片生产反馈循环的时间最长：
-
训练最先进的 AI 模型，大约需要 3 个月，这是软件反馈循环里主要的时间延迟，不过微调等优化耗时少得多。
-
对于芯片技术反馈循环，将新技术集成到工厂并生产出新芯片，通常需要数月。
-
建设新的芯片制造厂，往往需要数年，这是芯片生产反馈循环所需的。
三种反馈循环，时间延迟用橙色表示
因此，软件改进的时间最短，其次是芯片技术改进，芯片生产需要的时间最长。
进一步细分三个反馈循环，并将每个细分时间延迟的持续时间可视化
反馈循环的顺序
理论上，IE 可以由这三个反馈循环任意组合、按任意顺序出现。
但实际上，软件反馈循环很可能最先开始，然后是芯片技术，最后是芯片生产。
软件是虚拟的，因此可能最先被自动化：
-
AI 实验室可以自己生成自动化所需的所有数据。
-
AI 实验室直接管自己的工作流程，这就更容易把软件自动化。
-
和芯片技术、芯片生产反馈循环相比，软件最初的反馈循环时间更短。
从定义来看，芯片技术也是虚拟的，但可能在软件之后自动化：
-
芯片技术往往依赖研究人员的专业知识，且这些研究人员不在 AI 实验室工作，因此更难获取训练数据。
-
芯片技术涉及的任务比软件更多样，自动化所有任务需要更长时间。
-
硬件研发实验必须在现实世界中进行，很难自动判断任务完成得好不好。
芯片生产涉及半导体供应链的各个环节，涉及广泛的认知与物理任务，因此可能最后被自动化。
机器人技术一直是 AI 进步相对较慢的领域，而芯片生产需要先进的机器人技术。
首先，他们会优先考虑 AI 软件，当软件的潜力挖掘殆尽后，会将精力转向芯片设计（比英伟达的硬件设计，无需改装芯片工厂）。同时，还会想办法研发更快建造芯片工厂的新技术，减少时间滞后。
三种智能爆炸
要是这些反馈循环足够强，就会带来智能爆炸，让 AI 能力飞速提升！
有三种可能的类型：
-
软件 IE：只靠软件反馈循环就能引发，最有可能突然发生。
-
AI 技术 IE：软件和芯片技术反馈循环共同作用，因为 AI 在改进软件和芯片技术时，实现了认知工作自动化，但不需要物理自动化。和软件相比，这种 IE 没那么突然。
-
全栈 IE：三个反馈循环一起发力，这种情况最不可能突然发生。
三种智能爆炸类型可能依次出现，也可能仅出现其中一种或两种，甚至一种都不出现。
三个反馈循环与三次智能爆炸的关联
智能爆炸呈现这种顺序，很大程度上是由于相关反馈循环实现自动化的顺序。
即使软件和芯片技术反馈同时自动化，因为软件循环的时间延迟更短，软件 IE 仍会先于 AI 技术 IE。
软件智能大爆发
目前，AI 技术 IE 和全栈 IE 尚未得到充分深入的研究分析。
三种反馈循环的分析
AI 的发展，会随着时间推移加速吗？
除了时间延迟，还有个因素得考虑，就是这些反馈循环可能不够强，反馈太弱不足以让 AI 发展加速。
反馈循环刚自动启动时，AI 发展会提速。但如果循环不够强，之后发展速度可能又会降下来。
一开始，是人类推动 AI 发展（上图绿色部分）。
接着，改进 AI 的工作慢慢实现自动化（上图橙色部分）。
最后，基本都是 AI 系统自我改进（上图蓝色部分）。
从实际经验来看，在最后阶段，AI 发展开始会加速，直到最后趋于平缓。
反馈循环能不能让发展加速，就看输入翻倍的时候，输出能增加多少：
要是输出增加不止一倍，那发展就会加速，因为下一次输入翻倍，能利用的输出比上一次多，所以速度会更快。
研究改进 AI 软件和硬件要付出的努力，的确能找到一些实际证据。
分析发现，要是没有监管这类人为限制，软件智能爆炸概率大约 50%，AI 技术智能爆炸大概 65%，全栈智能爆炸可能性大概 80%。
1. 软件智能爆炸：很可能会加速，因为软件反馈循环本身，就可能维持加速发展，可能性大概 50%。
在各个 AI 领域，效率提升很明显，研究投入翻倍，计算效率提升不止一倍（Epoch 估计在多个领域，投入翻倍，输出能增加 0.8 到 3.5 倍）。
考虑了效率之外的其他发展因素，再做些调整，加速发展好像挺合理。
而 Davidson 预计，每增加 1 倍的认知投入，输出能增加 1.2 倍，范围在 0.4 到 3.6 倍之间）
2. AI 技术智能爆炸：加速的可能性也很大。只要芯片技术反馈循环，就足以维持加速发展，可能性大概 65%。
如此看来，软件和芯片技术反馈循环加起来，很可能推动加速发展，可能性大概 75%。
从历史数据看，硬件研发投入翻倍，每美元能换来的 FLOP 大概提升 5 倍。
要是只算认知投入，这个数字会降低，要是接近物理极限，也会降低，但投入翻倍，输出增加一倍以上还是有可能的。
3. 全栈智能爆炸：极有可能加速。
芯片制造反馈循环本身，很可能维持加速发展，可能性大概 80%。
和其他反馈循环一起，全栈智能爆炸加速的可能性大概 90%。
要是能造出建造物理资本用的机器人和基础设施，投入翻倍，产出基本也能翻倍。
因为不考虑资源限制，机器人多一倍，造出来的东西也能多一倍。
要是机器人还能自我改进，那投入翻倍，产出增加肯定不止一倍。
当然，要是稀缺自然资源开采越来越难，投入翻倍，产出增加可能不到一倍。
但从历史经验看，原材料稀缺的时候，创新一般能弥补这个问题。
不过要注意，把监管等人为限制考虑进去，总体加速发展的可能性会降低。
达到物理极限之前，AI 能发展到何种程度？
除了发展速度会不会加快，还要考虑每个反馈循环在接近物理极限前，AI 能有多大发展。
要是物理上限很高，那 AI 总体发展空间就大，而且有更多时间加速，发展的最快速度也就能更快。
现在，有效训练计算大概每 3 个月翻倍一次。
而理论上，发展最快速度能达到近期速度的 100 倍，差不多是「有效训练算力」每天翻倍。
但实际上，可能因为技术限制或者人为因素，到不了这么快，也可能还没加速到速度上限，就达到物理极限了。
总的来说，很难准确估计最快速度，但至少看起来会非常快。
如果这些极限更高，那么不仅可以实现更多的总进展，且进展的最大速度（包括加速度）将更快
可以从有效计算的角度，来衡量离物理极限有多远。
在达到物理极限前，估计软件效率可能提升大概 13 个数量级，也就是 10000 亿倍；芯片技术可能提升 100 倍左右；芯片制造规模可能扩大 1 万倍左右。
1. 软件：效率可能提升大概 13 个数量级，但不确定性很大。
要是一开始用 1e29 FLOP 训练顶级 AI，比人类学习（大概 1e24 FLOP）效率低 5 个数量级左右。
和人脑相比，软件估计还有大概 8 个数量级的提升空间，不确定性特别大（这里只算训练效率，没算软件其他方面的发展）。
2. 芯片技术：在现在的技术模式下，可能提升 2 个数量级左右。
要是技术接近兰道尔极限（不可逆计算在能量效率上的物理限制），总共可能提升 6 个数量级左右。
要是用可逆计算，可能提升空间更大。
3. 芯片制造：利用地球上的能量，规模可能扩大 5 个数量级左右。
要是用太空太阳能，把太阳发出的能量都收集起来，还能再扩大 9 个数量级左右。
每个反馈循环在达到物理限制之前，总共有多少改进空间的估计。
把这三个反馈循环的极限加起来，就能知道三种智能爆炸在达到物理极限前能发展到啥程度：
1. 软件智能爆炸：有效算力可能提升 13 个数量级左右，甚至更多。
2. AI技术智能爆炸：有效算力可能提升 19 个数量级以上。
3. 全栈智能爆炸：利用地球上的能量，有效算力可能提升 24 个数量级左右；要是利用所有太阳能，可能提升 33 个数量级左右。
对每次智能爆炸在达到物理极限之前，总共有多少改进空间的估计。
智能爆炸的速度
下面是三种比较可能出现的情况：
1. 渐进情况：全栈智能爆炸慢慢发生。
光软件和芯片技术反馈循环，推动 AI 加速发展。
因为时间延迟，全栈智能爆炸刚开始发展慢，和 2020-2024 年的速度差不多。
但随着时间推移，它会加速，最后变得特别快，翻倍时间可能就几个月，甚至更短，因为有效物理极限很高。
2. 波动情况：先是软件智能爆炸，但提升 3 个数量级左右就慢下来了。之后，AI 技术和（或）全栈智能爆炸开始，一开始速度比较慢，最后变得特别快。
3. 快速情况：软件智能爆炸规模很大，能提升 6 个数量级以上，而且几个月内就发生，而且物理极限还很高。
这让技术有很大改进，大大缩短了芯片技术和芯片制造反馈循环的时间延迟。
所以，后面的 AI 技术和（或）全栈智能爆炸一开始就很快。
而且在软件智能爆炸趋于平稳之前，不会明显减速。
对于前两种情况，也就是超级 AI 要过很久、等产业扩张后才出现的情况，现在还没多少人从战略角度好好思考过。
参考资料：
https://www.forethought.org/research/three-types-of-intelligence-explosion
