过去2年国内炒AI基本都是映射。但显然“豆包”这次完全是A股独立行情,虽然恰逢美股炒软件应用,但两者背后逻辑完全不同。尤其是上周美股软件高位调整下跌的情况下,A股应用依然在涨。当然大多没办法深究基本面,但底层逻辑有些微妙的变化。
博通的600-900亿、Ilya的“预训练放缓”,都指向了一点:明年AI的重点就是推理。对于国内来说,训练阶段不仅被技术封锁,还容易被海外开源降维打击,导致只看国内本身,从商业上没有形成良性生态,最终可参与的AI投资机会自然寥寥,真能算账的也就少数NV链上游。但推理和应用生态,理论上可以建立完善体系。
首先算力本身,如果说训练还有技术封锁,推理是很难封锁的。按照老黄的理论,训练用最新卡,推理用“N-1”代足够,参考NV这迭代速度,N-1代大概率结局就是过剩,过剩的产品会追着卖给你。何况现在有一个关键问题待解答,如果scaling的重心变了,o1主张的test-time compute、强化学习post-train,还需要GPU“一年一迭代”这么快吗?如果说之前预训练Scaling law范式下,巨大的MoE参数、巨大的模型并行通信开销,都在呼唤Blackwell、Rubin等等更快出现。推理需求为主的市场,需要如此紧绷的迭代吗?显然o1在B卡还没部署的情况下,依靠H卡集群依然在每天快速进步。另一方面,一年一迭代也在推动FLops成本指数降低,这点无疑依然有巨大价值。但相比训练的价值逻辑变了(没你不行 vs 有你更好没你也行)。对于中国的推理需求来说,就是“有你更好,没你也行”。
其次,训练阶段能不能成,标准很单一。应用生态能否跑通,取决于每个国家的成本结构、商业模式、经济模型、产品供给能力,大家各有不同,是个复杂的商业问题。比如中国互联网的产品能力冠绝全球,从创意到执行到运营,但凡卷到海外去都是横扫。中国的商业生态又很极端,付费意识的整体薄弱让saas软件寸草不生,但充满智慧的互联网人又可以找到“free to play” “皮肤抽卡” “小R大R”、“to C再to B”等等商业模式创新,最终这些巨头一样赚得盆满钵满。因此AI应用推理这件事,到了中国互联网公司手里,能给你玩出花来...
之前一直有个困惑,就是由于我们买不到最新卡,单位Flops的推理成本永远比海外贵一点,同时我们的人力成本低从过去的优势变成了劣势(AI替换门槛高),很多场景ROI打正是不是会比北美难一点?结果最近刚刚得知,某些国内模型厂的to B业务已经盈利,在API价格战打骨折的行情下盈利!这背后的推理优化,隐含了大量“中国式”创新,之前文章我们说过,GPU采购受限的情况下,算力简直“八国联军”,倒逼中国infra出现了各种“工程式创新”,比如kimi的pre-fill、decode存算分离,deepseek幻方的分布式架构减少通信开销。虽然略显无奈,但国内推理优化进展比大家想象要快。
因此推理比拼的不仅仅是技术,还有商业上能否建立良性内循环,这点从豆包、字节体系、其他国内巨头上都看到了希望。的确模型训练的结果可能决定了推理和应用的能力天花板,国内何时能追上o1和o2都是个未知数。但正如微软CEO Satya一直唠叨的,模型在“通用商品化”,开源模型的进步也很快(这点对我们很关键)。
一旦上述成立,很多投资机会自然打开,不需要完全照搬映射美股。比如美股的saas和软件在讲agent,我们回头先看看自己的软件和saas生态在哪里?
算力不再仅限于NV链,推理infra打开了很多机会。一方面北美链还在,而中国自己的CSP capex链条也可以挖(而且总盘子也不小)。其次ASIC链条机会核心在于,将NV内化的那部分价值,释放给行业上下游。比如networking(光/铜/交换机)、封装、甚至流片。为什么周五博通能带着台积电大涨?GPU过去让台积电赚不到5%的辛苦钱,ASIC薄利多销的特点,实质上提升了台积电在整个CSP资本支出中的蛋糕分配比例。铜缆和AEC这些就不说了,光模块是不是也有逻辑改善?按照博通说的几家CSP都是百万卡、且都是singe fabric,更不用提Ciena这种DCI直接受益的。以及训练完全集中于数据中心,而推理一定会在端侧泛化,新旧终端的机会可能才刚刚开始。
文章来源:信息平权,原文标题:《AI范式转变,国内机会会更多》