白小交发自凹非寺
量子位公众号 QbitAI
奥特曼称他是爱因斯坦级别的天才；OpenAI 总裁更是直言：只要他想要的，我们都给。
Alec Radford 大神离职 OpenAI，现在牵出更多细节：
改变世界的 GPT，竟然是在 Jupyter notebook 上诞生的。
而他只负责提供背后的灵感，剩下的由工程师来解决。
（网友：那在 Excel 也可以做到这一点）
奥特曼高度评价：没有他应有的知名度。
他在 Jupyter notebooks 上发明了 GPT
在奥特曼帖子下面，更多细节轶事被扒了出来。
比如事实是，他差点就放弃了将语言作为通往 AGI 的道路。
据这位 OpenAI 员工描述，在 Alec 在职最后一天他们有机会第一次谋面，他向 Alec 询问了坚持语言模型背后的原因。
大概在 2017 年，Alec 花了几年时间来研究 RNN，但是进展不大。
于是 Alec 就感觉很沮丧，就想着要不要退出 OpenAI。最终他决定休息一个月来调整，重新思考自己的方案。
回来后不久，Ilya 就跟他推荐了谷歌前同事的新论文，也就是那篇著名的Attention is all you Need。
于是乎，他就开始了新的架构尝试，并将其与无监督预训练相结合。
结果效果非常好，GPT 时代就此开始。
同样还有 CLIP，他曾为此闭关一年来解决计算机视觉问题，最终才得以推出。CLIP 也成为后续解决 2D 计算机视觉问题的基础。
不过能造就 GPT、CLIP，也是少不了 OpenAI 诸位同事对他的全力支持——
当时他在 Jupyter notebooks 上编写代码，然后就让研究工程师在那里翻译。好奇心胜过一切。
OpenAI 总裁 Greg Brockman 曾提到过这位天才：只要他想要的，我们都给。
当时是在 2023 年 SXSW 大会上，Greg Brockman 表示，Alec Radford 对语言非常感兴趣，一直在研究如何构建小型聊天机器人。
- 我们非常喜欢他，所以我们非常支持他做任何他想做的事情。与此同时，我们也在投资一些严肃的项目，我们就想，你知道，无论亚历克需要什么，我们都会确保他得到。
- 也正因如此，2017 诞生了第一个有趣的结果——一个根据亚马逊评论训练出来的模型，它可以预测下一个角色、下一个角色、下一个字母是什么。实际上，它学会了最先进的情感分析分类器。你可以给它一个句子，它会说这是正面的还是负面的。这听起来并不令人印象深刻，但就是在这一刻，我们知道它一定能成功。”
还有同行们表示，他的一些想法是整个 AI 领域研究者们重要灵感来源。并且他从来也不吝惜地去分享他的时间和想法。
据这位朋友分享，当时他在学习 ML，在 MNIST 训练一个普通的 MLP，结果遇到了一个愚蠢的小问题。
然后 Alec 没有敷衍，又或者是帮忙修复这个小问题，而是立即开始教关于 CNN 方面的知识。
奥特曼：爱因斯坦级别的天才
他毕业于富兰克林·欧林工程学院（Franklin W. Olin College of Engineering）。
据网友透露，这是个规模很小、以项目为导向的工程学院。其声誉与 Rose-Hulman 理工学院和 Harvey Mudd College 等学校类似。
他们的学生在项目方向上往往有很大的个人自由度，并能直接接触到大量的教师和研究工作，这与其他院校的研究生经历不相上下。
随后就加入 OpenAI，一干就是八年。
截至今日，他的论文被引数已超过 19 万。被引量排名前三的论文，分别与 GPT-3、CLIP 和 GPT-2 相关。
这三篇论文都为今天的 ChatGPT 打下了重要基础，实际上，Alec 几乎参与了 OpenAI 所有的重大突破。
除了被引量最高的这三篇，从第一代 GPT 到 GPT-4o 的作者名单中，Alec 的名字都赫然在列，并且前两代中都是第一作者。
Alec 同样作为一作的 CLIP，则是 OpenAI 在多模态路线上的重要成果，甚至在整个行业都极具影响力；同时，Alec 也是 OpenAI 初代绘图模型 DALL·E的参与者。
其他模态方面，OpenAI 开源的语音识别系统 Whisper，一作仍然是他。不过，最新的 o1 模型贡献者列表中已经没有了 Alec 的名字。
接下来，奥特曼表示，期待他以独立开发者的身份与 OpenAI 合作。
网友：不用博士学位也能干大事？
Alec Radford 的经历，牵出来更多研究层面上的讨论。是不是不用博士学位也能干大事了？
Stability AI 创始人回忆，他们自己的博士占比也不高，大概 80 个研究者/工程师中只有 16 个博士。
这样看，博士学位是不是就不是招聘中的必选项了。
但也有持反对意见，这样以偏概全未免有点夸张和过于简单化了。博士学位不仅仅是一个证书，更是一个教会你如何批判性思考和系统地解决复杂问题的旅程。
而围绕这些细节，另一个讨论的主角是 Jupyter notebook，网友们直呼：是个诞生天才想法的地方。
所以新的一年，从开始学习如何使用 notebook 开始吧。
[1]https://x.com/sama/status/1872666383210971560
[2]https://x.com/Yuchenj_UW/status/1874171107705811285
[3]https://x.com/ahatamiz1/status/1874228975175950487?s=46&t=R82LqSqpRZuVhcZxqH_Vlw
[4]https://x.com/priceindex/status/1873134352395051093?s=46&t=R82LqSqpRZuVhcZxqH_Vlw
