转述下Hao哥:“问了下OpenAI的人,让他们恐惧的不是DeepSeek,而是开源的发展速度。”
这可能才是我们应该讨论的重点:第一次开源追上了闭源,对AI意味着什么?
我们去年5月份就写过DeepSeek(不要低估这次的国产模型),自那之后其创新从未停止过,from我们的嘉宾知涌2024:
-
DeepSeek V2:没人敢动的 Attention,DeepSeek 创新性地提出了 MLA,还训练成功了
-
DeepSeek V3:几乎无损的 FP8 训练(全球首个)、超稀疏的 MoE 架构(相比于 Llama3 用稠密模型的保守)、超大EP并行
-
DeepSeek R1:抛弃 PRM/ORM/MCTS,做完全无监督的RL,免除大量标注过程数据。让模型自己探索,就能实现自发的长序列 CoT,和自我的反思(Aha Moment,某种RL能力的涌现)。在此之前,业内所有人(包括deepmind)都认为需要过程reward或标注才能做到这点。这次真的算是刷新行业的认知。
-
有如此多创新,竟然直接全部开源,在OpenAI明确禁止用户蒸馏模型的时候,DS直接鼓励业界拿 R1 的结果做蒸馏,这特么才是真OpenAI(Y博:居然有一天中国人教美国人什么叫OPEN...就离谱)
-
Perplexity CEO:历史告诉我们,一旦开源追上甚至超越闭源软件,所有开发者都会转向开源
看完以上,你就明白某CloseAI可能真的会焦虑。与此同时,绝大多数全球AI从业者的反应是:兴奋。从全球AI发展角度看,没有多少人像我们投资人一样如此关心NVDA股价或者算力消减与否。从业者的视角看到的都是:激动。因为DeepSeek将最领先闭源推理模型的价格打到了不到1/10,人人唾手可得。推特上除了一片欢呼,还有大量AI开发者已经开始使用r1蒸馏小模型,从而以几乎免费的价格获得与o1一样强大的推理模型。
此外,推上某位researcher的观点与昨天我们文章相同:用更少的卡训练出效果差不多的模型,可能不仅仅是节约成本这么简单,更是一种improvement of scaling law,意味着这种方法往上堆更多的卡,有可能把模型能力再往上提升一个数量级,AGI反而更加看到了希望。
因此,先不要担心NVDA了,关键问题不在这儿。关键问题在于:DeepSeek这次是把整个开源AI生态往前推动了一大步,这是对全行业的加速。
曾经定义智能机0到1的是iOS,但让手机行业真正繁荣普惠深入世界各个角落的是安卓。现在回头去看安卓的诞生和繁荣,是对智能机行业的价值毁灭吗?
1. 中国AI追的如此之快,之前普遍低估的国内AI资产,值得一次重估吗?
2. 美国芯片制裁某种程度上产生了反噬的效果,看到DS他们会继续收紧吗?
3. 看来看去,推理和应用是最确定的
文章来源:信息平权,原文标题:《当开源追上了闭源》