微软论文曝光 GPT 机密内容

  近日,微软发布的一篇医学相关的论文中,曝光了 OpenAI 旗下模型的参数。

  根据论文披露,OpenAI 的 o1-preview 模型约有 300B 参数,GPT-4o 约 200B,而 GPT-4o-mini 仅有 8B 参数。有消息指出,英伟达此前公布的 GPT-4 采用 1.8T MoE 架构,而此次微软公布的为 1.76T。同时,论文还透露了 Claude3.5Sonnet 的参数规模约为 175B。

  据了解,这并非微软第一次「泄露」模型参数信息。此前微软曾在一篇论文中披露 GPT-3.5-Turbo 的 20B 参数信息,但随后又在更新版本中删除了这一信息。

  此外,此篇论文的主要目的是介绍一个名为 MEDEC 的医疗领域基准测试。研究团队分析了来自三家美国医院的 488 份临床笔记,评估了各大模型在识别和纠正医疗文档错误方面的能力。