7月9日,红杉资本与微软CTO Kevin Scott开展了一场以AI为题的对谈。
访谈中,Kevin Scott提及了“Scaling law”,他认为这一定律仍适用于当前的业态——在扩大规模的同时,边际效益并没有递减。
大模型的Scaling law最早由OpenAI在2020年的一篇论文中提出,其内涵是,大模型的最终性能主要与计算量、模型参数量和训练数据量三者的大小相关,而与模型的具体结构(层数/深度/宽度)基本无关。
Kevin Scott指出,持续的扩张能够让模型更便宜、更强大,“让更复杂的事情变得可能”,这在一代又一代模型更迭中“不断上演”。