OpenAI再招华人研究员!高中入围“少年诺贝尔奖”,还在哈佛教书

  就在刚刚,哈佛华人研究员 Jeffrey Wang 正式官宣加入 OpenAI——将作为基础团队研究员,负责模型预训练和推理。

  消息公布后,OpenAI 联创&总裁 Greg Brockman 也在第一时间带队欢迎。

  在这之前,Jeffrey Wang 在哈佛一边教课一边研究机器学习。

  从哈佛加入 OpenAI,高中入围美国“少年诺贝尔奖”

  在从加利福尼亚一所高中毕业后,Jeffrey Wang 于 2021 年本科入学哈佛,专业为数学和计算机科学,同时辅修了英语。

  从今年 9 月开始,他就已经在为 OpenAI 工作,也许是这几个月的经历,让他最终决定现在加入 OpenAI。

  实际上,在哈佛期间,还是学生的 Jeffrey Wang 已经开始一边教课一边研究机器学习了。

  从去年 1 月开始,他为计算机科学和统计学系的 61 名学生讲课。

  而且同一时间,还兼顾着工程与应用科学学院研究员一职,主要方向为机器学习模型的鲁棒性和隐私性。

  期间担任共同一作的两篇论文还分别亮相了 NeurIPS SoLar(2023)和 ICML(2024)研讨会。

  第一篇《MoPe : Model Perturbation-based Privacy Attacks on Language Models》

  MoPe:基于模型扰动的语言模型隐私攻击

  简单理解,这篇论文提出了 MoPe(Model Perturbations)这种新检测工具,它能帮助人们判断某个特定的文本是否被用来训练过大语言模型。

  这个工具通过在模型参数中加入一些扰动(噪声),然后观察这种扰动对模型预测的影响来工作。研究发现,MoPe 比之前的方法更有效(从 70M 到 12B 参数范围内),可以更准确地模拟出模型参数变化对预测的影响。

  另外研究还发现,仅仅看一个训练点的损失值是不够的,因为有些损失值普通的点也能被 MoPe 成功恢复,这挑战了之前一些依赖损失值来判断信息是否被模型记住的研究。

  第二篇《Bias Begets Bias: the Impact of Biased Embeddings on Diffusion Models》

  偏见滋生偏见:偏见嵌入对扩散模型的影响

  这篇论文研究了嵌入空间中的偏见如何影响扩散模型的公平性。

  作者们提出,无偏见的文本嵌入对于生成平衡的图像分布是必要的,并且发现偏见的多模态嵌入(如 CLIP)会导致评估图像与文本提示对齐度时的得分降低,从而无意中奖励了不公平的行为。

  当然,论文还提出了一个理论框架来研究评估中的偏见,并提出了减轻偏见的方法。

  除此之外,高中阶段的 Jeffrey Wang 就因“开发统计方法来探测 3D 基因组结构变化”而获得国家级奖项。

  2021 年,他决赛入围了(前 40 名)再生元科学天才奖(Regeneron Science Talent Search, STS),这是美国历史最悠久、最负盛名的高中生研究竞赛,有美国“少年诺贝尔奖”之称。

  而且进入前 40 的选手每人将获得 25000 美元(最低)奖金。

  这项研究是他和 Abhijit Chakraborty 博士合作两年的成果,前者在周末和休息时间跑到对方实验室实习观摩。

  他们研究了染色体中 DNA 的结构。由于许多发育和疾病过程,包括癌症,都是由 DNA 三维排列的变化引起的,因此 Jeffrey 创建了一个计算机应用程序,用于识别和排列不同细胞系基因组中这种排列的显著差异。

该程序仅基于 DNA 的三维形状,就能方便地定位重要的基因和路径。

  后来,他还将这一模型公开了(现已被 50 多个实验室使用),以便更多人用于发现新的路径、调节机制和癌症靶点。

  还是个 writer

  BTW,除了显而易见地热爱开发,Jeffrey Wang 还是个小有成就的作家。

  早在 2019 年,他就签约了《The Adroit Journal》,这家位于纽约成立于 2010 年的杂志社,主要展示全球新兴作家的诗歌、散文和艺术,其作品收录率低于1%。

  接受了文学艺术熏陶后,他又马不停蹄地签约了 PBH Network长篇历史作家,其多个联合作品的点击量超过 25 万次。

  一直到现在,他还在美国知名在线问答平台Quora分享历史、科学和统计方面的故事,其作品总计超过 600 万次浏览。

  好嘛,能文能武又开始具象化了(doge)。

  不过也有网友借机调侃,“退学”加入 OpenAI 群体 +1。

  要知道类似消息在 OpenAI 也不算少见,前一阵还招了一个高中就辍学的瑞典小哥,入职 Sora 团队专攻 AGI。

  甚至 OpenAI CEO 奥特曼,也是 19 岁从斯坦福大学计算机专业退学,创立了自己的第一家公司。

  都快成一种企业文化了。