OpenAI CEO Altman:大语言模型不是“越大越好”

Altman认为,未来模型参数应该向更小的方向发展,或者以多个小模型协作的方式工作。

毫无疑问,ChatGPT依赖的是迄今为止最复杂的大语言模型(LLM),但在OpenAI掌门人看来,LLM并非越大越好。

当地时间4月13日,OpenAI联合创始人兼首席执行官Sam Altman在麻省理工学院的“想象力在行动”活动上接受了媒体的采访。

他认为我们正为了大小而逐渐接近LLM的极限。Altman说:

我认为,我们已经走到了这个时代的尽头,我们将以其他方式把这些巨型模型做得更好。

Altman认为,大小并非衡量一个模型质量的正确方式,他还把LLM与芯片的发展速度进行了比较。

我认为人们过于关注参数数量,也许参数数量肯定会增加。但是,这让我想起了上世纪90年代和2000年代的千兆赫芯片竞赛,当时每家公司都追求大参数。

正如他指出的那样,如今有些手机上运行着功能更强大的芯片,但用户大多数时候并不知道它们的速度有多快,只知道它们能很好地完成工作。

Altman认为,未来模型参数应该向更小的方向发展,或者以多个小模型协作的方式工作。

我认为,重要的是,我们将重点放在迅速提高(模型)能力上。

如果可以的话,参数数量应该随着时间的推移而减少,或者我们应该让多个模型一起工作,每个模型都更小,我们就会这样做。

我们希望向世界提供的是最强大、最实用、最安全的模型。当然,我们并不是要忽略参数数量。

Altman还说:

我们已经为此努力了很长时间,但我们的信心正逐渐增强,相信它真的会奏效。

我们建立这家公司已经七年了。这些事情需要很长、很长的时间。总的来说,我想说的是为什么别人没有成功的时候它却成功了: 这只是因为我们已经在研究每一个细节很长一段时间了。而大多数人不愿意这么做。

风险提示及免责条款
市场有风险,投资需谨慎。本文不构成个人投资建议,也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。