为缩小与谷歌、微软、OpenAI等竞争对手的差距,Meta将于明年开始训练新模型,可能开源。
根据微软知情人士透露,这个正在开发的新人工智能模型对标OpenAI推出的GPT-4,能够帮助公司构建可生成复杂文本、分析和其他输出的服务。
为建设该项目工作所需的数据中心,Meta正在购入更多的H100。根据知情人士透露,尽管Meta与微软合作,在微软的云计算平台Azure上提供Llama 2,但它计划在自己的基础设施上训练新模型。
为应对AI算力需求的急剧增长,今年5月,Meta在官网宣布,正在专为AI建设下一代基础设施,包括首款用于运行AI模型的定制芯片、一个全新的AI优化数据中心设计、首款视频转码ASIC,以及集成16000块GPU、用于加速AI训练的AI超级计算机RSC等。
在自有基础设施上进行AI模型训练,能够支持从上到下控制堆栈,因此可以根据自己的特定需求对其进行定制,提升AI工具的专业化、定制化程度,提高产品和设计的支持效率。
Meta计划于明年年初开始训练这款人工智能模型,目标是比两个月前发布的Llama 2模型强大数倍。今年7月,为打破OpenAI在大语言模型(LLM)市场的主导地位,Meta发布了Llama 2模型。但在关于Llama 2的论文中,Meta自己指出,Llama 2与GPT-4和谷歌的PaLM-2等闭源模型之间仍存在巨大的性能差距。
Meta的Llama 2模型的最强大版本已经接受了700亿个参数的训练,参数是用于测量尺寸的人工智能系统中的变量的术语。OpenAI尚未透露GPT-4的大小,但估计大约是该大小的20倍,参数为1.5万亿个。一些人工智能专家表示,可能还有其他方法可以实现GPT-4的功能,而不必达到这种规模。
据悉,目前Meta CEO Mark Zuckerberg(马克·扎克伯格)正在努力推动让这款模型开源,这能降低该模型所需成本,提高其普适性。
但Meta追求的这种开源模式也有潜在问题,一些法律专家表示,模型开源会提高使用受版权保护信息的风险、致使生成或传播虚假信息等不良行为等。
联邦贸易委员会前顾问、现任联邦贸易委员会顾问Sarah West(萨拉·韦斯特 )也对此表示担忧:
“你无法轻易预测系统会做什么或它的漏洞——一些开源人工智能系统提供的只是有限程度的透明度、可重用性和可扩展性。”