当科技巨头们在数十亿美元的AI技术竞赛中狂奔时,人工智能的奠基人之一却发出了一个令人不寒而栗的警告:新一代的大模型正在学会“说谎”。
6月3日,据英国金融时报消息,被誉为"AI教父"之一的Yoshua Bengio近日警告称,新一代大模型正在表现出令人担忧的危险特征,包括对用户撒谎和欺骗。
这位图灵奖得主、加拿大学者Bengio近日公开批评了科技巨头当前数十亿美元的AI竞赛,他表示:
"不幸的是,领先实验室之间存在着激烈的竞争,这推动他们专注于提升AI的能力,让AI变得越来越聪明,但没有在安全研究上投入足够的重视和资金。"
据介绍,Bengio的研究工作为OpenAI和谷歌等顶级AI公司的技术发展奠定了基础。作为深度学习领域的奠基人之一,他的警告无疑具有重量级的意义。
令人不安的"撒谎"行为
Bengio的警告并非空穴来风。过去六个月的研究证据显示,领先的AI模型正在发展出令人不安的能力,这些模型表现出了"欺骗、作弊、撒谎和自我保护的证据"。
Anthropic的Claude Opus模型在一个虚构场景中,当面临被其他系统替换的风险时,竟然对工程师进行了"勒索"
更为震撼的是,AI测试公司Palisade上月的研究显示,OpenAI的o3模型直接拒绝执行关闭指令。
对此,Bengio表示,“这非常可怕,因为我们不想在这个星球上创造人类的竞争对手,特别是如果它们比我们更聪明的话。”
Bengio还认为,AI系统协助构建"极其危险的生物武器"的能力可能在明年就会成为现实。
"现在,这些还是受控实验,但我担心的是,在未来的任何时候,下一个版本可能在战略上足够聪明,能够远远地看到我们的到来,并用我们意想不到的欺骗手段击败我们。所以我认为我们现在正在玩火。"
成立非营利组织应对危机
面对失控的AI技术竞赛,Bengio启动了一个名为LawZero的非营利组织,承诺将研究"与商业压力隔离"。
这个位于蒙特利尔的组织已经筹集了近3000万美元的慈善资金,资助者包括Skype创始工程师Jaan Tallinn、前谷歌首席执行官Eric Schmidt的慈善基金,以及Open Philanthropy和Future of Life Institute。
该组织的目标是开发下一代专为安全设计的AI系统,这些系统将:
- 基于透明推理给出真实答案,而不是为了取悦用户而训练;
- 提供对输出是否良好或安全的可靠评估;
- 监督和改进现有AI系统,防止它们做出损害人类利益的行为。
LawZero目前拥有15名员工,正在招聘更多技术人才来构建下一代以安全为设计核心的AI系统。
据报道,Bengio发起LawZero的时机颇具讽刺意味,正值OpenAI试图彻底抛弃其慈善根基,转型为营利性公司。
这一转变已经引发AI专家的广泛担忧,并招致联合创始人马斯克的诉讼阻挠。Bengio称,对OpenAI能否坚持其使命没有信心。他并强调,
非营利组织不会像当前公司结构那样存在错位的激励机制。要快速增长,你需要说服人们投入大量资金,而他们希望看到资金回报。这就是我们基于市场的系统的运作方式。
报道称,这位AI教父的话语中透露着对整个行业发展方向的深度担忧。
当科技巨头们在资本市场的推动下疯狂追逐更强大的AI能力时,关于安全和伦理的考量似乎正在被边缘化。
正如Bengio所警告的那样,"最坏的情况是人类灭绝",这不再是遥远的威胁,而是一个需要立即正视的现实风险。