AI还不完美!“公测”一周,微软的新Bing也犯了不少错误

专家认为,基于大型语言模型的人工智能工具存在简单编造信息的一种倾向。而微软方面也承认,预计系统在测试期间还可能会继续犯错。

公测才一周,微软的新一代搜索引擎New Bing就错误频出。

美东时间2月8日,在谷歌发布会上,谷歌的人工智能聊天机器人 Bard 出师不利,在该产品的第一个演示视频中犯了一个“事实性错误”,导致谷歌股价当日盘中大跌8%。而与之暗中展开较量的微软 New Bing,在最初的48小时内,尽管有超过100万人注册试用,却也没有承载住人们的期待。

几天前,在微软副总裁 Yusuf Mehdi 对 Bing 的展示中,它本需要对服装公司 Gap 2022年第三季度财报进行要点整理,却给出了一些错误的数据,甚至自己编造了一些数据。具体来看:

Bing 给出的 Gap 调整后的运营毛利率为5.9%;而在实际财报中,Gap 的运营毛利率为4.6%,调整后则是3.9%。

(Gap 2022年第三季度财报)

Bing 给出的 Gap:

  • 调整后摊薄每股收益为0.42美元,但实际财报里的数据应是0.71美元
  • 现金和现金等价物为14亿美元,但实际财报里的数据应是6.79亿美元;
  • 调整后摊薄每股收益为0.42美元,但实际财报里的数据应是0.71美元;
  • 库存为19亿美元,但实际财报里的数据应是30.4亿美元。

(Gap 2022年第三季度财报)

Gap 在去年8月就下调了全年业绩预期,并在对四季度的展望中表示,四季度销售净增长率“可能呈个位数下降”,但 Bing 给出的全年的销售指引为“预计销售净增长率为低两位数”。

Bing 甚至还编造了一些财务数据,给出了 Gap 的“营业毛利率为7%,摊薄每股收益为1.6美元到1.75美元之间”,但 Gap 三季度财报中并没有出现这些数据。

对于 Lululemon 的财报分析,Bing 也犯了大量的类似错误。Bing 给出的 Lululemon:

  • 毛利率为58.7%,实际上应为55.9%;

  • 营业毛利率为20.6%,实际上应为19.0%;

  • 摊薄每股收益为1.65美元,实际上应为2.00美元。

(Lululemon 2022年第三季度财报)

独立搜索研究员 Dmitri Brereton 通过对比谷歌的 Bard 和 Bing,发现了这些错误。他在社交平台上写道:

在演示过程中,Bing的一些答案完全错误。但没有人注意到。

相反,所有人都迫不及待地跳上这趟“炒作”的列车。

Brereton 指出,除了财务数据错误之外,Bing 为在墨西哥城旅行的游客们也提供了一些存在问题的行程建议。Bing 推荐的5家酒吧,缺乏充足清晰的用户评论;此外,Bing 给出的酒吧营业时间和地址都存在错误,用户按照 Bing 提示的时间前往,可能会错过营业时间。

专家对此表示,这可能是它的一种“幻觉”(hallucination),基于大型语言模型的人工智能工具存在简单编造信息的一种倾向。

而微软方面表示,他们知道这些错误,预计 Bing 也会犯错。微软发言人周二在接受媒体采访时表示:

我们注意到了这份报告,并分析了调查结果,正努力改善用户体验。

我们意识到仍有工作要做,预计系统在测试期间还可能会继续犯错,正因如此,反馈才至关重要,这可以帮助我们学习和改进模型。

风险提示及免责条款
市场有风险,投资需谨慎。本文不构成个人投资建议,也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。