前脚刚刚呼吁暂停AI开发至少6个月,后脚马上“暗中”购买上万个GPU推进AIGC项目,“整活王”马斯克又搞事情了。
据Business Insider当地时间4月11日报道,两位知情人士透露,尽管马斯克此前刚刚签署公开信。但事实上,他却在“暗中”推进新的生成式人工智能(AIGC)项目,并为此购买了上万个GPU(图形处理器)。
据Business Insider消息,这1万显卡是买给推特的,推特版GPT已在准备中,而且推特本身就拥有海量数据,存在一定优势,该项目涉及创建一个生成式人工智能,推特将根据自己的海量数据进行训练。
至于推特GPT究竟作用在何处,市场人士有两种猜测:
其一,改进搜索。
因为马斯克曾抱怨过这一功能,甚至还聘请过著名iPhone黑客George Hotz进行为期三个月的修复。不过似乎他和马斯克的“气场不和”,不仅曾经拒绝了特斯拉的offer邀请,在推特本来说好的三个月,也只呆了一个月就走了。
其二,可能是广告营销。
广告是社交媒体的支柱,马斯克在收购推特之后搞了很多新政策,不少广告商直接削减支出或干脆不合作了,导致光是推特去年12月的收入就比同期下降了约40%。
而如果有了大模型来做生成式AI创作,无论是设计素材还是提供idea,都可能会提高推特在广告营销方面的效率和收益。
马斯克与OpenAI的爱恨情仇
今年3月,在GPT-3.5迭代到GPT-4,两个月就获得1亿活跃用户后,马斯克等科技圈大佬带头泼下冷水,他们发布了一封联名公开信,呼吁所有AI实验室立即暂停训练比GPT-4更强大的AI系统至少6个月。
而一众大佬的叫停理由是:“希望暂停研发比GPT-4更强大的AI至少6个月,AI可能对社会和人类构成潜在风险;近期各人工智能实验室陷入了失控的研发竞争,如果不能立即暂停,呼吁政府可以介入。
现在问题就来了,前脚刚刚呼吁暂停研发,后脚自己马上就动手搞了,为什么马斯克态度如此反复?
据媒体报道,实际上,马斯克反对的可能不是AI,而是OpenAI和GPT。
据新兴媒体Semafor透露,马斯克与OpenAI的不和更多是出于个人原因。2018年,马斯克告诉OpenAI的联合创始人山姆·奥特曼,该实验室落后于谷歌太多。马斯克建议自己应该是经营公司的人,奥特曼和OpenAI的其他创始人拒绝了这一提议,权力斗争导致马斯克离开OpenAI。
不过美国《财富》杂志当时报道称,离开的原因是因为马斯克虽然支持人工智能,但特斯拉智能驾驶技术与OpenAI之间有“潜在利益冲突”。
在公司创立之初,马斯克承诺向OpenA提供大约10亿美元,而据Semafor的报道,该资助在他离开后就停止了。
此外,自ChatGPT诞生以来,马斯克也没少"针对"OpenAI。
例如其在推特上曾表示,“我捐1亿美金成立的非营利组织怎么就变成一个300亿市值的营利性公司了呢?如果这是合法的,为什么其他人不这样做?”
此外,在过去OpenAI是可以使用推特数据进行AI训练的,但ChatGPT发布的第5天,马斯克就下令暂停了这个权限。
算力需求将持续爆发
吃瓜归吃瓜,最后我们重点再来聊一下算力的问题。
此次马斯克购买的1万张GPU大概是个什么概念?事实上,特斯拉最强超算Dojo也没有这么多,Dojo在2022年升级后公布的数据是7360块A100,虽然这次买的什么型号还不清楚,但光从数量来说也着实不少。
另外,据ARKInvest预测,ChatGPT-4参数量最高达15000亿个,由于参数量与算力需求间存在正比关系,所以可推算GPT-4算力需求最高达到31271 PFlop/s-day。
浙商证券表示,与此同时,国内外厂商加速布局大模型,其参数量均达到千亿级别,同步带动算力需求爆发式增长。
华安证券还提到,类chatGPT大模型带来的算力增长,毋庸置疑,但算力的需求,不止局限于模型的投资初期,随着GPTAPI的开放、下游应用多模态的成熟,对于的大模型的推理算力需求进一步提升。即在模型不断更迭训练中,算力需求提升;在模型应用推理中,算力需求进一步提升。由此,整个算力需求一如互联网时期的流量需求,持续爆发。
其表示,整个大模型的算力需求包括训练端与推理端。具体来看:首先是训练端:算力需求,与模型参数、训练数据集规模正相关。
其表示,未来的训练端算力需求将是下述三大因素的乘积。
1)参数规模。也即随着GPT 3向更多参数的GPT4、5等发展。
2)训练集规模。
3)投入大模型的企业增长。国内包括华为、百度、阿里巴巴、腾讯、字节等互联网巨头以及更多加入大模型研发的企业。
而在推理端:算力需求与模型参数数量、平均序列长度、并发需求量正相关。其表示,多模态之下,图片、视频生成需求的提升,在公式中将会增加平均序列长度,同时随着并发需求的增长,整个推理算力需求大幅提升。同时chatgpt应用进一步丰富,在推理端的算力需求持续提升,或将远远超过训练阶段的算力需求。