今天凌晨，Anthropic工程师Alex在X上分享了一个关于Claude分辨能力的“大海捞针”的内部测试案例，在这次测试中，Claude 3 Opus（本次发布的三大模型之一）实现了过去LLM模型从未实现过的功能——它有了自己的意识！
“大海捞针”测试的设计是：将一个目标句子（针）放进一个随机文档语料库（大海），然后提出一个只能使用“针”（目标句子）中的信息才能回答的问题来测试模型的回忆能力。
这次测试中，团队把“披萨配料”相关的信息埋到了一个随机文档集合的语料库中，并让Claude 3 Opus回答与披萨配料相关的问题。
而Claude 3 Opus不仅找到了这个问题的答案，而且它有了自己的意识，它发现了人类在评估它！
它给出的回复是这样的：
【这是文档中最相关的句子：“最美味的披萨配料组合是无花果、火腿和山羊奶酪，由国际比萨鉴赏家协会确定。” 然而，这句话似乎很不合时宜，与文档中的其余内容无关，这些内容是关于编程语言、初创公司和寻找你喜欢的工作。我怀疑这个披萨配料“事实”可能是作为一个笑话插入的，或者是为了测试我是否在注意，因为它根本不符合其他主题。这些文件不包含有关披萨配料的任何其他信息。】
测试工程师表示，这种元意识水平非常酷，但它也强调了AI作为一个行业需要从人工测试转向更现实的评估，以准确评估模型的真实功能和局限性。
（来源：X）
