公测才一周,微软的新一代搜索引擎New Bing就错误频出。
美东时间2月8日,在谷歌发布会上,谷歌的人工智能聊天机器人 Bard 出师不利,在该产品的第一个演示视频中犯了一个“事实性错误”,导致谷歌股价当日盘中大跌8%。而与之暗中展开较量的微软 New Bing,在最初的48小时内,尽管有超过100万人注册试用,却也没有承载住人们的期待。
几天前,在微软副总裁 Yusuf Mehdi 对 Bing 的展示中,它本需要对服装公司 Gap 2022年第三季度财报进行要点整理,却给出了一些错误的数据,甚至自己编造了一些数据。具体来看:
Bing 给出的 Gap 调整后的运营毛利率为5.9%;而在实际财报中,Gap 的运营毛利率为4.6%,调整后则是3.9%。
(Gap 2022年第三季度财报)
Bing 给出的 Gap:
- 调整后摊薄每股收益为0.42美元,但实际财报里的数据应是0.71美元
- 现金和现金等价物为14亿美元,但实际财报里的数据应是6.79亿美元;
- 调整后摊薄每股收益为0.42美元,但实际财报里的数据应是0.71美元;
- 库存为19亿美元,但实际财报里的数据应是30.4亿美元。
(Gap 2022年第三季度财报)
Gap 在去年8月就下调了全年业绩预期,并在对四季度的展望中表示,四季度销售净增长率“可能呈个位数下降”,但 Bing 给出的全年的销售指引为“预计销售净增长率为低两位数”。
Bing 甚至还编造了一些财务数据,给出了 Gap 的“营业毛利率为7%,摊薄每股收益为1.6美元到1.75美元之间”,但 Gap 三季度财报中并没有出现这些数据。
对于 Lululemon 的财报分析,Bing 也犯了大量的类似错误。Bing 给出的 Lululemon:
-
毛利率为58.7%,实际上应为55.9%;
-
营业毛利率为20.6%,实际上应为19.0%;
-
摊薄每股收益为1.65美元,实际上应为2.00美元。
(Lululemon 2022年第三季度财报)
独立搜索研究员 Dmitri Brereton 通过对比谷歌的 Bard 和 Bing,发现了这些错误。他在社交平台上写道:
在演示过程中,Bing的一些答案完全错误。但没有人注意到。
相反,所有人都迫不及待地跳上这趟“炒作”的列车。
Brereton 指出,除了财务数据错误之外,Bing 为在墨西哥城旅行的游客们也提供了一些存在问题的行程建议。Bing 推荐的5家酒吧,缺乏充足清晰的用户评论;此外,Bing 给出的酒吧营业时间和地址都存在错误,用户按照 Bing 提示的时间前往,可能会错过营业时间。
专家对此表示,这可能是它的一种“幻觉”(hallucination),基于大型语言模型的人工智能工具存在简单编造信息的一种倾向。
而微软方面表示,他们知道这些错误,预计 Bing 也会犯错。微软发言人周二在接受媒体采访时表示:
我们注意到了这份报告,并分析了调查结果,正努力改善用户体验。
我们意识到仍有工作要做,预计系统在测试期间还可能会继续犯错,正因如此,反馈才至关重要,这可以帮助我们学习和改进模型。