新智元报道
编辑：Aeneas
在哈佛学习 AI 的大四本科生参加了多场兵棋推演后，给出结论：AGI 将在三年后实现。并且在 26 年，大部分人类的工作都会被 AI 接管。而 AGI 的诞生，将打破各国的军事力量平衡，让某个国家获得压倒性的战略优势。而人类尤其要小心，大量 AI 智能体会背着人类密谋一些不良行为。
最近，哈佛的一名 AI 专业大四学生给出了自己的预测：AGI 将在三年后实现。
而在 2026 年，AI 就已经会接管大部分人类的工作。
做出这样的预测，他有充分的理由。
在这期间，他曾主持了多个缩短 AGI 时间表的小型研讨会，汇集了大约 50 名参与者的想法。
同时，他还参与和领导了多场短期的 AGI 兵棋推演。
最后，他写出这样一篇博文。
文章内容包括——
-
3 年 AGI 时间表的故事，包括各种变量和重要的参与者
-
目前尚未满足的人类生存先决条件
-
稳妥的优先行动
文中假设，AGI 出现时间点的中位数为 2027 年。作者并没有花太多篇幅论证这一观点，而是更关注 3 年时间表的影响。
在这里，AGI 被定义为能够完成 2022 年 95% 远程劳动力工作的 AI 系统。
但如何定义并不那么重要，因为一旦我们实现了 AI 研发的自动化，几乎所有对 AGI 的定义都会很快被满足（除非出现协调放缓或灾难性事件）。
- 3 年 AGI 时间表
到 2025 年 6 月底，SWE-bench 大约达到 85%，在限定人力预算的情况下，RE-bench 约为 1.1，超过了 8 小时人类得分的 70 个百分位。
到 2025 年底，AI 助手能够胜任大多数需要 2 小时完成的真实世界软件工程任务。
当 AGI 公司的员工需要完成一些小型的公关任务或编写小型数据分析管道时，他们会优先寻求 AI 助手的帮助。
后者A能编写或修改多个交互文件，大多数情况下不会出现错误。
3 年时间表下的基准预测。OSWorld 和 CyBench 排名不高的很大一部分原因，是作者不确定人们是否会报告这些基准测试的结果。鉴于基准结果与现实世界影响之间存在巨大脱节，暂时认为这种实际情况并不能成为 3 年时间表的有力证据
到 2026 年底，AI 智能体将能胜任多天的编码任务。
AGI 公司的员工们都吓坏了，他们会预计，能在 95% 的虚拟工作中击败人类的 AI 两年内就能创造出来，并且超级智能也会很快出现。
政府会意识到，AI 将对国家实力产生决定性的影响，并且会在 2026 年锁定 AGI 公司。
也就是说，到时候 AGI 公司会被采取近乎国有化的极端政府管理形式。
就像核武器战争一样，各国都会处在高速竞争的状态。
从 2027 年开始，这个公司的大部分高质量劳动力，都会是 AI 智能体。
而领导层的主要决策，就集中在如何将数百万 AI 智能体分配到不同的研究领域，比如 AI 研发、安全、商业应用、军事应用、网络安全、运营、通信、政策工作，以及公司中几乎所有以计算机为基础的工作。
此时，人类员工的作用已经不太重要，他们的主要任务是为陷入困境的 AI 智能体团队提供帮助，回答它们在工作中遇到的问题，充当第二意见的角色。
- 基于年份的变量
请注意，故事到了中段，开始发生了重大的动态变化，这也意味着战略格局的显著转变。
前自动化时代（2025-2026 年）
在 2025 年和 2026 年，大多数工作仍由人类完成。
最重要的问题集中在如何分配人力，以及 AI 实验室和供应链其他环节所面临的商业和监管压力上。
在前自动化时代，人类的首要任务是迅速找到安全的方法，将研究工作委托给 AI 智能体。
任何以安全为导向的研究，主要就是为了控制这些早期智能体，因为它们之后会自主进行研究。
这个时代的另一件必做的事，就是找到方法来判断当前的安全干预够不够，是否足以防止大量 AI 智能体背着人类密谋一些不良行为。
这时，我们需要建一个中止系统，而且在无法证明安全性的时候，也能说服他人暂停。
然而随着 AI「核战争」加剧，这一点将会变得愈加困难。
后自动化时代（2027 年以后）
2026 年之后，大部分工作由 AI 完成。这时，研究工作基本已经脱离了人类的掌控，但人类员工仍然会参与高层决策，并与 AGI 公司以外的人类进行对接。
到 2028 年底，人类已无法在技术研究方面做出贡献。
这一时期的主要问题，集中在 AI 智能体的分配，及其被赋予的优先事项。
关于这一阶段的重要问题包括——
AI 智能体所追求的总体研究计划有多好？
例如，如果最初负责规划研究方向的人类对 AI 安全问题本质上存在误解，即使 AI 智能体最初是善意的，模型对齐的希望也可能因此破灭。
公司在安全导向研究上投入了多少资源？
比如，是投入 0.1% 还是 25% 的算力用于安全研究，可能会对安全工作的成败产生巨大影响。
- 重要玩家
AGI 公司领导者
他们引导着 AGI 公司的大方向。
安全研究人员
内部人类 AI 安全研究员 —— 他们负责制定前自动化和后自动化时期的研究计划，并完成大部分将在前自动化实施的安全研究。他们还监督自动化的安全研究员的工作。
内部自动化 AI 安全研究员 —— 他们完成了自动化时代大部分已实施的安全研究。
外部人类 AI 安全研究员 —— 他们进行前自动化的研究，其中只有一小部分会被内部采纳实施。他们还从外部对前自动化和后自动化研究计划的公开部分进行批评和审查。
然而，由于国家安全原因，公共知识与私有知识之间的差距将在自动化后扩大，他们可能在这一阶段变得无关紧要。
美国政府
其他国家政府、美国人工智能安全机构（AISI）或其他政府机构、智库、高地位科学家以及公众，对 AGI 公司施加压力和影响。
在 AGI 阶段（很可能在超级智能之前），这些公司可能就会国有化或者监管。
落后的 AGI 公司
它们会被施加竞争压力，并设定安全先例。
最终，它们可能会与主要 AGI 项目合作或被收购。
如果不合作或未被主要 AGI 项目收购，则很可能在超级智能出现之前，它们的大部分算力会被征用。
不良行为者
这些人会试图窃取、滥用 AI 技术。
注意：「人工智能安全社区」并不在此列表中。
在作者看来，没有太多资本（金融、社会、知识或其他资本）的外部人士，并没有那么大的影响力。
- 目前尚未满足的人类生存先决条件
一个合理的启动计划
目前，AGI 公司缺乏明确的愿景，无法安全地将研究工作交给 AI 智能体。
对齐方法 —— 各公司尚未公开制定默认计划，明确应将哪些研究领域分配给 AI 智能体群体。
算力承诺 —— 即使有合理的对齐方法，缺乏明确的算力分配承诺，也可能导致分配给对齐工作的 AI 智能体和算力比例不足。
前沿安全框架 —— 关于 SL-4 和 SL-5 的要求和承诺目前非常不清晰，在启动阶段存在大量偷工减料的可能性。
控制 —— 安全地将工作交给 AI 智能体（或判断其是否安全）的科学方法，仍然很不成熟。
国家级网络安全保障
如果不良行为者能够窃取先进 AI 系统的参数权重，他们的滥用行为可能就会导致局势变得极其不可预测，同时也可能使更不谨慎的实体得以创造出先进的 AI 系统。
应对全球紧张局势的方法
AGI 的诞生，将扰乱各国之间的军事力量平衡，可能使某个实体获得决定性的战略优势。
作者认为，未来 10 年内爆发核战争的概率约为 15%，这主要归因于默认情况下启动阶段所引发的极端紧张局势。因此，找到避免核战争的方法至关重要。
在冷战期间，曾多次发生将人类推向毁灭边缘的核危机，其中一些是战略平衡变化的后果（如古巴导弹危机）。
美国曾因柏林封锁，而威胁苏联发动核战争。超级智能的诞生将使这些危机相形见绌，问题是相关官员是否能认识到这一点。
正确实施国有化
把握时机 —— 如果国有化发生得太晚（例如在 AGI 之后），项目中可能会因随之而来的混乱和快速变化而产生糟糕的决策。
制定默认计划 —— 2025 年或 2026 年可能会出现锁定实验室的重大政治意愿。如果届时还没有合理的默认计划或路线图，那么这个计划可能在许多方面都不是最佳的，而且制定的人缺乏相关的专业知识。
积累政治资本 —— 如果具备相关专业知识的人没有被重要决策者所熟知，那么缺乏相关专业能力的人，可能就会被任命为项目领导人。
在国有化过程中保留安全专家 —— 如果国有化的推进驱逐了所有 AI 安全专家，项目可能会因缺乏技术专长而无法使其模型足够安全。
至于哪些人会被保留，很大程度上取决于领导层和以能力为导向的员工是否重视安全问题，而这又很大程度取决于是否建立了对安全问题的共同认知。
- 稳妥的优先行动
所以，我们应该提前采取哪些行动？
加入那些对未来发展有重要影响的机构
想想你希望被谁雇佣，以及你还差多少能力、条件才够格。
如果你正在外部从事研究，记得将研究方向的重要性乘以研究成果在内部实际实施的概率。一个简单的判断标准是，研究是否有可能被分享到内部的 Slack 上。
在严格的政府监督下，内部研究可能需要某种形式的安全许可。因此，避免吸毒、避免负债、远离可疑人士，减少不必要的对外接触。
帮助为重要角色提供信息
许多关键角色，都希望从对 AGI 和 AGI 安全有深入思考的人那里获得建议。当他们有问题时，他们是否会首先想到联系你？
制定实际计划
逐年制定计划是一个不错的方法——例如，计划在 2025 年底、2026 年底、2027 年底之前完成什么。
记住关键时限
只有在 AGI 出现之前必须完成的事情才是最重要的，因为 AGI 可以完成其他事情。
作者承认，现在对较长时间线的预测有一些赌注的成分，但他认为，跟 20 年 AGI 时间线下的潜力相比，这些事情的优先级应该被适当降低。
另外，在 AGI 出现后，可能会有约一年的「人机共存」时期。但作者认为这不是一个重要的因素，因为目前还不清楚它会带来什么独特的影响。
让一切加速
如果你的计划是「我将做X，以便以后做Y」，那不如现在就开始做Y。
如果你的计划是「我将为一家不相干的 ML 公司工作一年，以获得进入 AGI 公司的资历」，可以考虑直接申请 AGI 公司，或者采取其他措施，加速这一行动。
进行相应的投资
如果 AGI 在三年内到来，这对你该如何构建投资组合可能会产生重大影响，因为某些投资与这一预测的相关性远高于其他投资。
资金可能在启动阶段被用于快速涌现的机会，以引导事态发展，但如果人类在 ASI 之后幸存下来，目前尚不清楚资金还能有何用途（从先验来看，财产权可能会在一定程度上受到尊重）。
培养适应力和韧性
随着时间的推移，世界会变得越来越快。此时，保持冷静和理智将对做出明智决策至关重要，而这种能力也会变得日益稀缺和宝贵。
-花时间思考未来，以及你在其中的位置
如果事实跟你预测的方向有出入，与其感叹「天啊，这个世界太混乱了！」，不如换一个更有用的视角：「虽然我在细节上可能错了，但这与我预测的某些可能分支大致吻合，我已经思考过如何在这些情况下行事。」
通过这种方式，你的一部分初步思考可以由现在的自己完成，减轻未来的自己的负担。
这不仅在智力上有助于分担负担，更重要的是，它能在情感层面减少可能的惊讶或恐慌——已知的未知远比未知的未知让人压力小得多。
-不要忽视健康
虽然你可能会觉得，现在适合多奋斗，比以前多工作几个小时，但如果想在启动阶段明智地应对局势，我们的身体需要保持良好的状态。
可持续性很重要，无论是 3 年还是 10 年的时间跨度，都需要养成类似的健康习惯。
最后的思考
最后作者表示，虽然思考 AGI 的短期时间线可能会让人倍感压力，但这不应被视为时间线很长的证据。
如果你是基于 10 年或 20 年的时间线制定了当前计划，现在很可能需要在许多方面调整、加速。
以短时间线为基础进行规划的一个优势是，大部分关键因素目前已经基本到位，因此比起规划 10 年后的未来要容易得多。
我们需要对如何让 AGI 顺利发展有较清晰的认识。让我们行动起来，实现这一目标。
参考资料：
https://www.lesswrong.com/posts/jb4bBdeEEeypNkqzj/orienting-to-3-year-agi-timelines
