OpenAI没有护城河:当我们能把世界塞进一块显卡里

星空财研
只需要一张显卡的运算能力,国产语言大模型ChatGLM就可以回答几乎所有领域的问题。来自全球各地的无数开源爱好者正迅速改造大模型,用极低的成本就能实现巨头们斥资千万美金实现的效果。

外媒SemiAnalysis公布了一篇文章,叫《我们没有护城河,OpenAI也没有》

据悉,这份文件是一名匿名人士在Discord服务器上分享出来的,文章来自谷歌内部的一名研究员,真实性已被确认。

SemiAnalysis特别强调,这份文件仅代表谷歌员工的意见,不代表谷歌。

这篇文章的内容大致意思是,双方最大的竞争对手是:开源。

今年三月份的时候,Meta泄露了其基础语言大模型LLaMA,这个大模型可能不及谷歌和OpenAI,但是有了这个模型,开源社区一日千里。

来自全球各地的无数开源爱好者通过低成本的训练,能迅速的改造大模型,并通过微调模型(lora),耗费极低(100美元左右)就能实现巨头们斥资千万美金成本实现的效果。

据斯坦福的论文称,他们共花费了几百美元,让用户的微调指令可以与原始代码分开,从而使其独立于Meta的许可证。

这样一来,任何人都可以分享和应用不断微调后的模型。

看起来是Meta的模型泄露了,但是反过来讲,开源爱好者们做出的所有努力都是基于LLaMa的,Meta想用的话可以直接拿来主义,反而受益了。谷歌和OpenAI的大模型是闭源的,自然无法直接用。

开源的威力有多大?

比如清华版的ChatGLM把6B版开源,短短一个月下载量超百万。申请合作的企业包括微软、谷歌等巨头,甚至极短的时间内已经有了商业化落地的案例(哈勃)。

我有一块3060的显卡,12G显存。虽然很多网友说30系列默认矿卡,我按全新价格买的不算便宜,但炼丹一个多月后,这块显卡还是很超值的。

ChatGLM-6B需要13G显存,但量化版可以8G显存跑起来。

我部署完毕后,问了ChatGLM几个问题。

这几个问题没有什么关联性,跳跃性很大。

需要指出的是,太阳系最高的山在火星。木星作为一个气态行星,表面是没有固体的“山”的概念。

无论任何领域,除了个别一本正经的瞎编外,ChatGLM基本都能对答如流。

冷知识:ChatGLM-6B是离线模式。

这意味着,它掌握的所有知识,都被存在这块显卡里。

这个大模型,几乎塞进了全世界有史以来的全部文本知识。

尽管谷歌和OpenAI还在闭门造车,也许有一天它们也会拿出开源版本,这些整合了全人类全部知识的大模型,很可能一块(或者几块)消费级显卡(当然有点高消费)就可以装下。

24G显存的消费级顶级显卡4090才1万块,高级的80G显存的算力卡A100才10万块。

掌握全人类的全部知识,比上MBA都便宜。

本文作者:天渊三,来源:星空财研,原文标题:《OpenAI没有护城河:当我们能把世界塞进一块显卡里》

风险提示及免责条款
市场有风险,投资需谨慎。本文不构成个人投资建议,也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。