360联合北大震撼发布！5%参数量逼近Deepseek-R1满血性能

　　新智元报道

　　编辑：编辑部 HYZ

　　推理黑马出世，仅以5% 参数量撼动 AI 圈。360、北大团队研发的中等量级推理模型 Tiny-R1-32B-Preview 正式亮相，32B 参数，能够匹敌 DeepSeek-R1-671B 巨兽。

　　2025 年 2 月 24 日，由 360 与北京大学联合研发的中等量级推理模型 Tiny-R1-32B-Preview 正式亮相，仅以5% 参数，逼近 DeepSeek-R1-671B 的性能。

　　核心突破：小模型，大能量

• 数学领域：以 78.1 分（AIME 2024 评测）逼近原版 R1 模型（79.8 分），远超 DeepSeek-R1-Distill-Llama-70B（70.0 分）；

• 综合性能：在编程（LiveCodeBench 61.6 分）、科学（GPQA-Diamond 65.0 分）领域全面领先最佳开源 70B 模型 DeepSeek-R1-Distill-Llama-70B；

• 效率跃迁：仅需5% 参数量，性能达原版 R1 的 95% 以上，推理成本大幅降低。

　　技术革新：领域专精+模型融合

　　研究团队使用「分治-融合」策略：

• 基于 DeepSeek-R1 生成海量领域数据，分别训练数学、编程、科学三大垂直模型；

• 通过 Arcee 团队 Mergekit 工具智能融合，突破单一模型性能上限，实现多任务均衡优化。

　　开源承诺：推动技术普惠

• 模型仓库：https://huggingface.co/qihoo360/TinyR1-32B-Preview

• 即将公开完整技术报告、训练代码及部分数据集；

• 践行开源精神，助力 AI 社区共筑高效推理新生态。

　　研发团队表示：「Tiny-R1-32B-Preview 的成功是站在了巨人的肩膀上，受益于开源社区精神，结合 DeepSeek-R1 蒸馏、DeepSeek-R1-Distill-32B 增量训练、模型融合等技术，使用 360-LLaMA-Factory 训练而来，未来我们也将持续探索更轻量、更强大的模型，推动 AI 技术普惠化进程，并回馈开源社区。」

　　360 团队: Lin Sun, Guangxiang Zhao, Xiaoqi Jian, Weihong Lin, Yongfu Zhu, Change Jia, Linglin Zhang, Jinzhu Wu, Sai-er Hu, Xiangzheng Zhang

　　北大团队: Yuhan Wu, Zihan Jiang, Wenrui Liu, Junting Zhou, Bin Cui, Tong Yang

　　参考资料：

　　https://huggingface.co/qihoo360/TinyR1-32B-Preview