毫无疑问,ChatGPT依赖的是迄今为止最复杂的大语言模型(LLM),但在OpenAI掌门人看来,LLM并非越大越好。
当地时间4月13日,OpenAI联合创始人兼首席执行官Sam Altman在麻省理工学院的“想象力在行动”活动上接受了媒体的采访。
他认为我们正为了大小而逐渐接近LLM的极限。Altman说:
我认为,我们已经走到了这个时代的尽头,我们将以其他方式把这些巨型模型做得更好。
Altman认为,大小并非衡量一个模型质量的正确方式,他还把LLM与芯片的发展速度进行了比较。
我认为人们过于关注参数数量,也许参数数量肯定会增加。但是,这让我想起了上世纪90年代和2000年代的千兆赫芯片竞赛,当时每家公司都追求大参数。
正如他指出的那样,如今有些手机上运行着功能更强大的芯片,但用户大多数时候并不知道它们的速度有多快,只知道它们能很好地完成工作。
Altman认为,未来模型参数应该向更小的方向发展,或者以多个小模型协作的方式工作。
我认为,重要的是,我们将重点放在迅速提高(模型)能力上。
如果可以的话,参数数量应该随着时间的推移而减少,或者我们应该让多个模型一起工作,每个模型都更小,我们就会这样做。
我们希望向世界提供的是最强大、最实用、最安全的模型。当然,我们并不是要忽略参数数量。
Altman还说:
我们已经为此努力了很长时间,但我们的信心正逐渐增强,相信它真的会奏效。
我们建立这家公司已经七年了。这些事情需要很长、很长的时间。总的来说,我想说的是为什么别人没有成功的时候它却成功了: 这只是因为我们已经在研究每一个细节很长一段时间了。而大多数人不愿意这么做。
风险提示及免责条款
市场有风险,投资需谨慎。本文不构成个人投资建议,也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。