当开源追上了闭源

信息平权
分析认为,用更少的卡训练出效果差不多的模型,可能不仅仅是节约成本这么简单,更是一种improvement of scaling law,意味着这种方法往上堆更多的卡,有可能把模型能力再往上提升一个数量级,AGI反而更加看到了希望。DeepSeek这次是把整个开源AI生态往前推动了一大步,这是对全行业的加速。

转述下Hao哥:“问了下OpenAI的人,让他们恐惧的不是DeepSeek,而是开源的发展速度。

这可能才是我们应该讨论的重点:第一次开源追上了闭源,对AI意味着什么?

我们去年5月份就写过DeepSeek(不要低估这次的国产模型),自那之后其创新从未停止过,from我们的嘉宾知涌2024:

  1. DeepSeek V2:没人敢动的 Attention,DeepSeek 创新性地提出了 MLA,还训练成功了

  2. DeepSeek V3:几乎无损的 FP8 训练(全球首个)、超稀疏的 MoE 架构(相比于 Llama3 用稠密模型的保守)、超大EP并行

  3. DeepSeek R1:抛弃 PRM/ORM/MCTS,做完全无监督的RL,免除大量标注过程数据。让模型自己探索,就能实现自发的长序列 CoT,和自我的反思(Aha Moment,某种RL能力的涌现)。在此之前,业内所有人(包括deepmind)都认为需要过程reward或标注才能做到这点。这次真的算是刷新行业的认知。

  4. 有如此多创新,竟然直接全部开源,在OpenAI明确禁止用户蒸馏模型的时候,DS直接鼓励业界拿 R1 的结果做蒸馏,这特么才是真OpenAI(Y博:居然有一天中国人教美国人什么叫OPEN...就离谱)

  5. Perplexity CEO:历史告诉我们,一旦开源追上甚至超越闭源软件,所有开发者都会转向开源

看完以上,你就明白某CloseAI可能真的会焦虑。与此同时,绝大多数全球AI从业者的反应是:兴奋。从全球AI发展角度看,没有多少人像我们投资人一样如此关心NVDA股价或者算力消减与否。从业者的视角看到的都是:激动。因为DeepSeek将最领先闭源推理模型的价格打到了不到1/10,人人唾手可得。推特上除了一片欢呼,还有大量AI开发者已经开始使用r1蒸馏小模型,从而以几乎免费的价格获得与o1一样强大的推理模型。

此外,推上某位researcher的观点与昨天我们文章相同:用更少的卡训练出效果差不多的模型,可能不仅仅是节约成本这么简单,更是一种improvement of scaling law,意味着这种方法往上堆更多的卡,有可能把模型能力再往上提升一个数量级AGI反而更加看到了希望。

因此,先不要担心NVDA了,关键问题不在这儿。关键问题在于:DeepSeek这次是把整个开源AI生态往前推动了一大步,这是对全行业的加速。

曾经定义智能机0到1的是iOS,但让手机行业真正繁荣普惠深入世界各个角落的是安卓。现在回头去看安卓的诞生和繁荣,是对智能机行业的价值毁灭吗?

1. 中国AI追的如此之快,之前普遍低估的国内AI资产,值得一次重估吗?

2. 美国芯片制裁某种程度上产生了反噬的效果,看到DS他们会继续收紧吗?

3. 看来看去,推理和应用是最确定的

文章来源:信息平权,原文标题:《当开源追上了闭源》

风险提示及免责条款
市场有风险,投资需谨慎。本文不构成个人投资建议,也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。
相关文章