新智元报道
编辑：KingHZ
随着 AGI/ASI 的不断逼近，比人类更智能的系统即将登场，彻底颠覆人类社会的面貌。Hinton 等专家纷纷预测，一旦 AGI 能够取代人类劳动力，人类将「富者越富，穷者越穷」，社会结构将发生翻天覆地的变化。
在《经济蓝图》中，OpenAI 描绘了 AI 带给人类的未来：不久的将来，普通人的生活将比现在最「壕」的富豪，生活得更好。
但真的如此吗？
这样看来，以后 CS 毕业生就业更难，他们的生活会比现在更好吗？
关于通用人工智能（AGI）、超级智能(ASI)的预测铺天盖地。
对其他专业，这些到底意味着什么？
这一话题虽然并不新鲜，但也不简单。
围绕 AI 的讨论以及对生活的影响，可以分为三部分：
-
是否会产生超级智能或通用人工智能（AGI）——一种超越人类智慧的实体，
-
它是如何改善/摧毁我们的生活，
-
以及我们现在可以做些什么来控制结果。
AGI/ASI 逼近
虽然只是一种可能的预测，但 Newman 对 AGI 的解释，代表了大多数领域专家对下一代 AI 的看法。
与 AGI 类似，但超级智能（ASI）更加关注 AI 对科学发现的促进作用。
AGI 距离实现仅剩数年时间，许多专家或 AI 巨头的 CEO 还给出了更加具体的时间节点。
加拿大英属哥伦比亚大学计算机科学教授，Jeff Clune 也认同 Hinton 的观点。
他表示：「我认为超级智能完全有机会，而且这个机会并不渺茫，今年就可能出现。我们已经进入了逐月接近超级智能的时代。而且每过去一个月，这种可能性还会增长。」
然而，专家们警告不要低估 AI 的力量，无论它带来的后果是好是坏。
超级智能的风险
如果失去对 AI 的控制，那么人类的未来或许不会太光明。
AI 扩大贫富差距
在最近的一次公开讨论中，Geoffrey Hinton 预测，AI 会加剧贫富差距，使社会变得「越来越糟」。
在历史长河中，技术进步导致的「下岗」，并不是什么新鲜事。
随着全球的工业化和现代化，一些传统职业在消失，部分行业甚至被彻底摧毁。
但 AI 越来越强，越来越多的工作面临被淘汰的风险。
在最近的圆桌讨论中，Hinton 预测随着 AI 发展，财富差距将迅速扩大：
我们谈论的是生产力的巨大提升。所以每个人都应该能获得更多的商品和服务，每个人应该都变得更好，但实际上情况可能并非如此。
如果处理不当，他表示接下来发生的将是：
生产力的巨大提升将为大公司和富人赚取更多的钱，从而加大富人和失业者之间的差距。
这主要是因为失业的人将失去收入，而那些掌控 AI 的人——即生产商品和服务的人——将在没有劳动成本的情况下，享受金融特权。
而且许多富豪和大公司正在将精力集中在 AI 上。
很难让人相信，他们不是为了将来的利润，而是为了全体人类的美好未来，在免费「打工」。
毕竟，就连 OpenAI 都快变成「CloseAI」了：。
网友也猜测财富从大众中流失，将如何导致社会不平衡。
普通人变得无足轻重
去年 12 月 28 日，L Rudolf L 发布了《Capital, AGI, and human ambition》，强调了 AI 对社会价值观念的冲击。
他的核心观点如下：
能替代劳动力的 AI，将迅速改变人类与非人类生产要素的相对重要性，这会减少社会关心人的动机，同时使现有的权力更加巩固。
现在如果想用钱实现自己的抱负，面临的最深层问题可能是招聘不到合适的人才，因为招聘人才面临几个问题：
-
判断人的才能往往很难，除非自己有相当的天赋。否则，通常会错过真正的人才。
-
人才稀缺（脱颖而出、头角峥嵘的人才更是如此）。
-
即使你能找到顶尖人才，顶尖人才通常不如其他人容易被金钱收买。
而可替代劳动力的 AI，完全没有这些问题。
首先，虽然 AI 的「才能」也难以估计，但 AI 可以被复制。
每个人——至少要有足够的钱烧在 GPU 上——都能得带来突破性的 AI。
而人类与此截然不同，人的才能不仅难以确认，而且也难以复制。
而且，因为 AI 的成本将低于同等的人类劳动力，人才的成本将大幅下降。
并且由于 AI 的能力可以复制，竞争将更加激烈。
而资金转化为人才的最大瓶颈，在于许多顶尖人才拥有复杂的人类偏好，他们比 AI 更难被钱收买。
顶尖的天才往往对学科或事业，有着高度的献身精神和使命感，视「金钱为粪土」。
相比之下，AI 的存在就是为了卖出去（至少在安全范围内）。
显然，AI 并没有「人性」，无论执行什么类型的任务，都「无怨无悔」，远超人类。
在劳动力被 AI 取代后的世界将：
-
金钱将比以往在现实世界中买到更好的结果。
-
人们的劳动比以往任何时候都缺乏影响力。
-
劳动致富变得几乎不可能。
-
在各国内部或之间，无法实现资本的根本性平衡。
这意味着，在能替换劳动力的 AI 出现时， 拥有大量资本的人将拥有永久性的优势。
他们将拥有比如今的富人更多的权力：只要自由体制（liberal institutions）依旧强大，他们不一定凌驾在人民之上，但至少是在物质和精神上将更有权势。
而且没有新兴势力可以击败他们，因为现在资本可以轻易地转化为任何领域的「超人」劳动力。
此外，世界上掌握权力的机构，将不再有动力去关心人们，以维持或增长它们的权力，因为所有真正的权力都将来自 AI。
然而，政治机构可能会牢牢捍卫自由人文主义价值观。
如果每个人都拥有有意义的无条件基本收入（或类似措施），并且经济保留以人为本的部分，也可能维持人们的购买力。
往坏处想，AI 亿万富翁拥有近乎无限且不受约束的权力，并且是永久的贵族阶层。
阶级之间的权力差异可能会让现代人感到颤抖，就像现代人无法认同封建等级制度一样。
因为这就是权力和金钱激励指向的方向。
智能诅咒
在 L Rudolf L 的理论基础上，AI 治理专家 Luke Drago 进一步解释了 AI 的隐患，他称之为：「智能诅咒」，即因为 AGI，当权者失去投资人民的激励。
他认为 AGI 更像是煤炭或石油等资源，而不是犁、蒸汽机或计算机等工具。
就像煤炭、石油等自然资源一样：
-
要发现和利用 AGI，需要非常多的资金。
-
少数玩家将控制 AGI，主要是开发 AI 的实验室以及它们所在的国家。
-
从 AGI 获得大部分或全部收入的国家和公司，不再依赖人获取收入。
-
AGI 将取代文明的上一代资源。对于煤炭来说，是木材。对于 AGI 来说，就是人力资源。
一些国家虽然自然资源丰富，拥有天然的收入来源，但经济发展模式单一，普通公民的生活却没有得到改善。
这被称为「资源诅咒」。
导致资源诅咒的因素有很多，但核心因素之一是：创造了不关心人民经济福祉的激励。
用 AI 替代劳动力的当权者，将面临类似的处境，但其后果更加严重。
因为他们的收入将来自「人·工智能」，而非人类。
因此，他们只要继续向 AI 投资，就可能获得更多的收入。
最终，他们将不再需要向人提供工资或福利，不再提供教育、医疗等社会保障。
最后结果就是，普通人无法维持生计。人类没有用武之地，因此也不会获得报酬。
这就是智能诅咒——一旦当权者创造并实现了通用智能，他们将失去投资人民的激励。
一旦出现比人更好、更便宜、更快、更可靠的 AI 系统，智能诅咒就开始生效。之后的 1 到 5 年内，恶果就会显现。
而且人类再也无法摆脱这种「诅咒」，而「资源诅咒」却有望解决。
因为考虑到石油的气候影响以及可再生能源的崛起，现在任何国家都能生产能源。产油国被迫寻求新的收入来源，在这个过程中放权给人民，从而摆脱了「资源诅咒」。
而 AGI 不会有这种效果——后续的模型都会比上一代更强大，少数人会一直处于垄断地位。
AGI 也不会像石油那样被「耗尽」。计算能力或现有能源可能被耗尽，但随着时间的推移，计算能力变得更加便宜，能源也变得越来越绿色。
如何控制 AI
尽管关于这项技术的范围和时间框架的预测可能各不相同，但研究人员普遍认为超级智能是不可避免的。
仍然悬而未决的问题是人类是否能够保持住对 AI 的控制。
对 Hinton 来说，答案在于选举那些高度重视监管 AI 的政治家：「我们应该做的是鼓励政府迫使大公司进行更多的研究，研究如何在开发这些技术时保持它们的安全性。」
然而，Google DeepMind 的高级研究顾问 Clune 表示，许多领先的 AI 公司秉持正确的价值观，并且「正在努力做得对。」
「比起正在开发领先 AI 模型的公司，我更担心的是那些其他试图迎头赶上的国家和组织，它们的顾忌远没有头部的 AI 实验室那么多」。
Clune 提出的实际解决方案，类似于核时代的做法，那就是邀请所有主要的 AI 参与者定期进行对话。
他认为，AI 从业人员应该合作，确保它能够安全地发展。
Clune 说道「这是人类历史上最大的一次赌注，甚至比核武器的还要大」，并建议全球的研究人员相互了解彼此的进展，在需要时放慢研发进度。
「赌注极其高。如果我们做对了，收益也非常大。如果我们做错了，我们可能在讨论人类文明的终结。」
参考资料：
https://lukedrago.substack.com/p/the-intelligence-curse
https://www.cbc.ca/news/science/artificial-intelligence-predictions-1.7427024
https://nosetgauge.substack.com/p/capital-agi-and-human-ambition
https://x.com/jeffclune/status/1878869359080165473
https://x.com/tsarnick/status/1869488149967392973
