买更多H100卡,基于自有基础设施,Meta将于明年初训练新模型

新模型对标GPT-4,为缩短性能差距,Meta正在加速AI开发。

为缩小与谷歌、微软、OpenAI等竞争对手的差距,Meta将于明年开始训练新模型,可能开源。

根据微软知情人士透露,这个正在开发的新人工智能模型对标OpenAI推出的GPT-4,能够帮助公司构建可生成复杂文本、分析和其他输出的服务。

为建设该项目工作所需的数据中心,Meta正在购入更多的H100。根据知情人士透露,尽管Meta与微软合作,在微软的云计算平台Azure上提供Llama 2,但它计划在自己的基础设施上训练新模型。

为应对AI算力需求的急剧增长,今年5月,Meta在官网宣布,正在专为AI建设下一代基础设施,包括首款用于运行AI模型的定制芯片、一个全新的AI优化数据中心设计、首款视频转码ASIC,以及集成16000块GPU、用于加速AI训练的AI超级计算机RSC等。

在自有基础设施上进行AI模型训练,能够支持从上到下控制堆栈,因此可以根据自己的特定需求对其进行定制,提升AI工具的专业化、定制化程度,提高产品和设计的支持效率。

Meta计划于明年年初开始训练这款人工智能模型,目标是比两个月前发布的Llama 2模型强大数倍。今年7月,为打破OpenAI在大语言模型(LLM)市场的主导地位,Meta发布了Llama 2模型。但在关于Llama 2的论文中,Meta自己指出,Llama 2与GPT-4和谷歌的PaLM-2等闭源模型之间仍存在巨大的性能差距。

Meta的Llama 2模型的最强大版本已经接受了700亿个参数的训练,参数是用于测量尺寸的人工智能系统中的变量的术语。OpenAI尚未透露GPT-4的大小,但估计大约是该大小的20倍,参数为1.5万亿个。一些人工智能专家表示,可能还有其他方法可以实现GPT-4的功能,而不必达到这种规模。

据悉,目前Meta CEO Mark Zuckerberg(马克·扎克伯格)正在努力推动让这款模型开源,这能降低该模型所需成本,提高其普适性。

但Meta追求的这种开源模式也有潜在问题,一些法律专家表示,模型开源会提高使用受版权保护信息的风险、致使生成或传播虚假信息等不良行为等。

联邦贸易委员会前顾问、现任联邦贸易委员会顾问Sarah West(萨拉·韦斯特 )也对此表示担忧:

“你无法轻易预测系统会做什么或它的漏洞——一些开源人工智能系统提供的只是有限程度的透明度、可重用性和可扩展性。”

风险提示及免责条款
市场有风险,投资需谨慎。本文不构成个人投资建议,也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。