Pine 萧箫金磊发自凹非寺
量子位公众号 QbitAI
“AI 确实可能杀死人类。”
这话并非危言耸听，而是 OpenAI CEO 奥特曼的最新观点。
而这番观点，是奥特曼在与 MIT 研究科学家 Lex Fridman 长达 2 小时的对话中透露。
不仅如此，奥特曼谈及了近期围绕 ChatGPT 产生的诸多问题，坦承就连 OpenAI 团队，也根本没搞懂它是如何“进化”的：
从 ChatGPT 开始，AI 出现了推理能力。但没人能解读这种能力出现的原因。
唯一的途径是向 ChatGPT 提问，从它的回答中摸索它的思路。
针对马斯克在推特上的“危险论”，他直言：
马斯克在我心中是英雄，我支持也理解他的担忧。
虽然他在推特上挺混蛋的，但希望马斯克能看到我们在解决 AGI 安全问题上付出了多大的努力。
除此之外，在这场对话过程中，奥特曼还提到了不少刁钻的话题，例如：
-
ChatGPT、GPT-4 开发的内幕
-
GPT-4 是人类迄今所实现的最复杂的软件
-
如何看待大家拿 ChatGPT 越狱
-
……
在看过这场对话之后，网友直呼：两位 AI 大佬用大家都能理解的方式聊 AI，多来点这样的访谈。
那么接下来，我们就来一同看下他们这场深度对话。
GPT-4 内幕大曝光
GPT-4 是这场对话中最受关注的部分。
它是如何训练的？如何在训练模型时避免浪费算力？如何解决 AI 回答不同价值观的人的问题？
首先是训练过程，依旧是预训练 +RLHF，不过透露了一点具体细节。
GPT-4 早在去年夏天就已经训练完成，后面一直在进行对齐工作，让它表现得更符合人类需求。
相比预训练数据集，RLHF 所用的数据非常少，但效果是决定性的。
对此，奥特曼透露了一点数据来源，包含一些开源数据集、以及合作商提供的部分数据集。
当然，数据集中也有一点 Reddit 论坛上出现的迷因梗（meme），但不是很多。对此奥特曼遗憾表示：如果再多点，它的回答可能会更有趣。
即便如此，团队甚至奥特曼自己依旧不能完全解读 GPT-4。
目前对它的解读方式，依旧是通过不断问它问题，通过它的回答来判断它的“思路”。
而就在不断测试中，OpenAI 发现从 ChatGPT 开始，GPT 系列出现了推理能力。
虽然 ChatGPT 绝大部分时候都被当做数据库使用，但它确实也出现了一定的推理能力，至于这种能力具体如何出现的，目前却无人能回答。
但大模型的训练往往意味着大量算力需求。对此奥特曼再次提到了 OpenAI 独特的训练预测方法：即便模型很大，团队目前也有办法只通过部分训练，预测整个模型的性能，就像是预测一名 1 岁的婴儿能否通过 SAT 考试一样。
关于这一点，在 GPT-4 论文和官方博客中也有更详细介绍。
最后奥特曼承认，GPT-4 确实存在应对不同价值观的人的问题。
临时解决办法就是把更改系统消息（system message）的权限开放给用户，也就是 ChatGPT 中经常见到的那段“我只是一个语言模型……”。
通过改变系统消息，GPT-4 会更容易扮演其中规定的角色，比在对话中提出要求的重视程度更高，如规定 GPT-4 像苏格拉底一样说话，或者只用 JSON 格式回答问题。
所以，对于 GPT 系列来说，谁最可能载入人工智能史册？奥特曼倒不认为是 GPT-4：从可用性和 RLHF 来看，ChatGPT 无疑是最具里程碑的那一个，背后的模型没有产品的实用性重要。
最会打太极的 CEO
GPT-4 论文中没有透露参数规模、训练数据集大小等更多细节，还被外界吐槽越来越不 Open 了。
在这次访谈中，面对主持人步步追问，奥特曼依旧守口如瓶。
GPT-4 预训练数据集有多大？奥特曼只是很笼统的介绍了有公开数据集、有来自合作伙伴的内容（如 GitHub 提供的代码）还有来自网络的内容。
活像 ChatGPT 也能写出来的那种赛博八股文，只有在谈到 Reddit 的时候透露了网络梗图在训练数据中占比不大，“不然 ChatGPT 可能更有趣一些”。
GPT-4 模型参数量有多大？奥特曼只是说之前疯传的 100 万亿参数是谣言，然后又糊弄过去了。
我认为人们被参数竞赛所吸引，就像过去被 CPU 的主频竞赛所吸引一样。现在人们不再关心手机处理器有多少赫兹了，关心的是这东西能为你做什么。
不过奥特曼对于一种说法是持有肯定态度——“GPT-4 是人类迄今所实现的最复杂的软件”。
但在主持人 Lex 突然抛出一些时下针对 GPT-4 的尖锐观点时，奥特曼的应对也堪称“AI 般淡定”（狗头）。
例如，关于前段时间闹得沸沸扬扬的 GPT-4 越狱问题。
一名斯坦福教授仅仅用 30 分钟，就诱导 GPT-4 制定出了越狱计划，并全部展示了出来。
对此奥特曼表示，就如同当年 iPhone 也面临被“黑”或者说越狱的问题（如当年免费的越狱版 App Store）一样，这并非不能解决的事情。
奥特曼甚至坦承，他当年就把自己的第一台苹果手机越狱了——甚至当时觉得这是个很酷的事情。
但现在已经没有多少人去干苹果越狱的事情了，因为不越狱也足够好用了。
奥特曼表示，OpenAI 的应对思路同样如此，即把功能做的足够强，他甚至表示，愿意在这方面给用户开更多权限，以便了解他们到底想要什么。
除此之外，Lex 还提到了马斯克对于奥特曼的批评。
奥特曼虽然是当年被马斯克一手提拔的人才，但如今马斯克不仅退出了他们联手创办的 OpenAI，还对 OpenAI 现状十分不满，经常在推特上阴阳怪气这家公司。
我捐 1 亿美金成立的非营利组织怎么就变成一个 300 亿市值的营利性公司了呢？如果这是合法的，为什么其他人不这样做？
作为 OpenAI 现任 CEO，奥特曼并未直接回应此事，而是调侃了一下马斯克在航天领域也经常被“老前辈”们批评的事情。
这一系列采访问答，不禁让人想到在 ChatGPT 发布后，奥特曼对于记者“将 ChatGPT 整合进微软必应和 Office”问题的回应方式：
你知道我不能对此发表评论。我知道你知道我不能对此发表评论。你知道我知道你知道我不能对此发表评论。
既然如此，为什么你还要问它呢？
GPT 的“偏见”不会消失
GPT 在迭代过程中“偏见”必然存在，它不可能保持完全中立。
在主持人提到关于 ChatGPT 以及 GPT-4 种存在的偏见问题时，奥特曼这样回应道。
ChatGPT 在推出之初，就不是一个成熟的产品，它需要不断迭代，而在迭代的过程中，仅仅依靠内部的力量是无法完成的。
“提前”推出 ChatGPT 技术，是要借助外部世界的集体智慧和能力，同时也能让全世界参与进“塑造 AI”的过程中。
而不同人对于问题的看法也各不相同，所以在这个过程中，“偏见”问题就不可避免。
甚至奥特曼在话里话外也透露着：在 GPT 中，“偏见”永远不会消失。
他将外部参与建设 GPT 比作“公开领域建设的权衡”。
GPT 生成答案是个性化控制的结果，迭代的过程则是更精准地控制“个性化”的过程。
有趣的是，期间奥特曼还暗戳戳“背刺”起了马斯克的推特：
推特摧毁掉的多元性，我们正在将其找回来。
（嗯，奥特曼是懂一些话术的）
当然，谈到 ChatGPT，总绕不开其背后的公司 OpenAI，在成立之初，它就立下了两个 Flag：
-
1、非营利性
-
2、通用人工智能（AGI）
如今，已经过去八年之久，这两个 Flag 也是发生了巨大的变化：AGI 的大旗还在高举，而非营利性这面旗则已经摇摇欲坠。
对此，奥特曼也是分别作出了回应。
对于 OpenAI“非营利性质”的逐渐削弱，奥特曼直言：很久之前，就已经意识到非营利性不是长久之计。
仅仅依靠非营利筹集到的资金对 OpenAI 的研究来说远远不够，商业化是必然选择。
但在之后奥特曼也试图“找补”回一些，称目前的商业化的程度仅止于满足投资者与员工的固定回报，剩余资金还是会流向非营利性组织。
提到 AGI，一开始在 OpenAI 声称要做通用人工智能时，还有一堆人在嘲讽，如今做出 GPT-4 这样的产品，回过头来再看，嘲讽的声音已经越来越少了。
而面对外界询问“GPT-4 是 AGI 吗”这样的问题时，奥特曼则是直接给出了自己理解中的 AGI：
AGI 所掌握的知识应该是要超过人类科学知识总和的，并且具有创造性，能够推动基础科学的发展；
而目前所有 GPT 并不能做到这些，想要达到 AGI 还需要在目前 GPT 的范式上进行拓展，至于如何拓展，正是目前所缺乏的。
值得一提的是，谈到 AGI 时，是奥特曼在访谈中鲜有的“两眼放光”的时刻。
他抛出了一句极具“科研分子理想情怀”的金句：
也许 AGI 是永远抵达不了的乌托邦，但这个过程会让人类越来越强大。
但奥特曼并不否认过分强大的 AGI“可能杀死人类”这一观点：
我必须承认，（AI 杀死人类）有一定可能性。
很多关于 AI 安全和挑战的预测被证明是错误的，我们必须正视这一点，并尽早尝试找到解决问题的方法。
One More Thing
在谈话最后，Lex Fridman 还试图让奥特曼讲一些给年轻人们的建议，奥特曼直接来了个“反鸡汤文学”：
网络上的“成功学”帖子太诱人，建议不要听太多建议。
我就是无视建议做到现在这样的。
