2 月 25 日消息，第四范式推出大模型推理端侧解决方案 ModelHub AIoT，据悉，用户在端侧可轻松部署如 DeepSeek R1、Qwen 2.5、Llama 2/3 系列等小尺寸蒸馏模型，离线运行，并可灵活在多个模型之间切换，兼顾了模型压缩、推理性能，解决了部署与优化的复杂性。据介绍，该方案不仅能够满足用户对隐私和实时性的需求，还极大降低了 AI 大模型推理成本。（定西）
第四范式发布ModelHub AIoT解决方案：端侧部署DeepSeek变轻松了
2 月 25 日消息，第四范式推出大模型推理端侧解决方案 ModelHub AIoT，据悉，用户在端侧可轻松部署如 DeepSeek R1、Qwen 2.5、Llama 2/3 系列等小尺寸蒸馏模型，离线运行，并可灵活在多个模型之间切换，兼顾了模型压缩、推理性能，解决了部署与优化的复杂性。据介绍，该方案不仅能够满足用户对隐私和实时性的需求，还极大降低了 AI 大模型推理成本。（定西）
