最强开源大模型！Llama 3下周“小试牛刀”？

当地时间周一，科技媒体The Information援引一位Meta员工消息报道称，该公司计划在下周推出两个小型的Llama 3大语言模型（LLM），作为夏季推出正式版Llama 3的先行版本。

这两个小模型的发布，预计将为Llama 3的正式亮相进行铺垫。Meta在去年7月份发布了Llama 2，此后，包括谷歌、马斯克旗下的xAI与Mistral等在内的数家公司发布了开源的大语言模型，竞争十分激烈。

Llama 3直接对标OpenAI的GPT-4，后者已经成为一个强大的多模态模型，不仅能够处理更长的文本，还支持图像输入。

报道称，正式版Llama 3也将支持多模态处理，即同时理解和生成文本及图片；而先行推出的两个小版本则不具备这一能力。

一般而言，较小的模型成本更低，运行更快，尤其在运行大型模型成本高昂的当下，其价值尤为凸显。小型模型还便于开发者在移动设备上开发人工智能软件。

Meta此前已推出三个版本的Llama 2，其中最大的一个拥有700亿个参数，另外两个版本分别拥有130亿和70亿个参数。

据硬AI此前文章，Llama 3的最大版本可能会拥有超过1400亿个参数。

Meta还将在Llama 3中改进Llama 2在响应争议性话题时过于保守的问题，研究人员计划放松大模型在这一方面的限制，以便它更多地与用户互动，提供背景信息，而不仅仅是拒绝回答。