阿里云发布开源模型Qwen2,称性能超越文心4.0等多个闭源模型

  6 月 7 日,阿里云更新技术博客:发布开源模型 Qwen2-72B,阿里云称性能超过美国开源模型 Llama3-70B,也超过文心 4.0、豆包 pro、混元 pro 等众多中国闭源大模型。所有人均可在魔搭社区和 Hugging Face 免费下载通义千问最新开源模型。

  阿里云援引模型测评榜单 OpenCompass,称此前开源的 Qwen1.5-110B 已领先于文心 4.0 等一众中国闭源模型。刚刚开源的 Qwen2-72B,整体性能相比 Qwen1.5-110B 又取得了大幅提升。

  (图说:在上海人工智能实验室推出的 OpenCompass 大模型测评榜单上,此前开源的 Qwen1.5-110B 已领先于文心 4.0 等一众中国闭源模型)

  通义千问 Qwen2 系列模型大幅提升了代码、数学、推理、指令遵循、多语言理解等能力。在 MMLU、GPQA、HumanEval、GSM8K、BBH、MT-Bench、Arena Hard、LiveCodeBench 等国际权威测评中,超过美国的 Llama3。

  通义千问团队在技术博客中披露,Qwen2 系列包含 5 个尺寸的预训练和指令微调模型,Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B 和 Qwen2-72B,其中 Qwen2-57B-A14B 为混合专家模型(MoE)。Qwen2 所有尺寸模型都使用了 GQA(分组查询注意力)机制,以便让用户体验到 GQA 带来的推理加速和显存占用降低的优势。

  (本文来自第一财经)