科技博主阑夕:大模型不光卷价格,还要卷并发

  豆包通用模型 lite-4k/32k,千 tokens 推理输入售价 0.3 厘;通义千问 qwen-long,千 tokens 推理输入售价 0.5 厘;百度文心 ERNIE Speed、ERNIE Lite,宣布免费。

  针对近期的大模型降价狂潮,科技博主阑夕发文称:行业里说千 Tokens 价格,光低价还不够,吞吐量太小的话,再便宜也用不了多少。如果只是把价格降下去,吞吐还是小水管,那真是降了个寂寞。

  以下是阑夕微博主要观点:

  豆包大模型打响价格战已经过了一个星期,山雨欲来的效果还是挺明显的,同行要么跟着一起降价,要么开始写小作文阴阳,特别热闹。

  有比较急的,拿以前云雀模型的限流指标和模型单元价格来算,暗戳戳说豆包实际使用价格要高。等火山引擎官网把不同版本、不同规格的销售方案全部亮了出来,不管是预付费还是后付费都确实是击穿地板的底价标准,瞬间打脸回去。

  豆包模型定价,最值得关注的是把 TPM(每分钟 token 数)提到 80 万,比同行(一般是 10 万到 30 万 tokens)高几倍。如果对话文本小,RPM(每分钟请求数)上限 1 万,能支持的并发量是同行(一般是 60 到 120,轻量版是 300 到 500)的几十倍。其他大模型要不要跟?

科技博主阑夕:大模型不光卷价格,还要卷并发

  行业里说千 Tokens 价格,光低价还不够,吞吐量太小的话,再便宜也用不了多少。如果只是把价格降下去,吞吐还是小水管,那真是降了个寂寞。

  (关于免费)大模型的算力烧钱主要在训练端,推理端的成本其实是每年都有几十倍优化空间的。但再怎么优化,也不可能优化到0。

  足够便宜,但依然能赚钱,由此促成应用/商用市场的规模增长,包括 OpenAI 在内的主流大模型开发商,都是这么一个思路,可以不讲武德,但是商业规律还是得敬畏的。

  不管怎么说,大模型 toB 还在做大蛋糕的阶段,有更多公司一起解决企业入局的成本门槛,也都算是共赢吧。