Anthropic前研究员Jacob Coxon周一在纽约市议会听证会上作证称，按照目前的路径，人类失去对AI控制的可能性超过五成，结局可能是人类灭绝。他表示：
"考虑到其中的利害，这些公司极其鲁莽。"
同场作证的前谷歌DeepMind研究员Alex Turner估计，AI接管人类文明的概率"大约是三分之一"。前OpenAI研究员Daniel Kokotajlo则警告，科技公司即便保住了对AI的控制，也可能借此成为"独裁者或寡头"。
Anthropic、OpenAI、谷歌和Meta均派政策负责人等高管线上出席，并未派出CEO。据报道，这些公司是在议员威胁发出传票后才同意到场。
Coxon：控制不了，且即将自我改进
几周前，Coxon还是Anthropic的能力研究员，此前曾在OpenAI任职。他上月离职时警告，AI发展之快，"到本十年末可能杀死我们所有人"，引发业界震动。
"所有AI公司都在试图打造超级智能AI，也就是在每一项任务上都比人类更强的AI，"Coxon在听证会上说。他也表示，如果一切顺利，这可能改变经济，大幅推动科学和医学进步，让几乎所有人生活得更好。
但他看到了两个让他害怕的事实。第一，人类还不知道如何控制任何AI系统。"我们构建的任何AI系统，或者更准确地说，我们'培育'出来的AI系统，我们都无法完全控制。我们不理解它的驱动力，也不理解它为什么做出那些行为。"
第二，能力提升正在加速。Coxon说，明年模型的能力将非常强，"我们正在接近AI系统能够自我改进的临界点，也就是去做此前由人类完成的研究工作"。
他还以亲身经历举例："在上一份工作中，某种意义上我是在努力把自己自动化……现在大部分代码都由AI编写，人们已经不再那么仔细地检查了。"
Coxon把问题部分归结于行业文化。"这些公司以初创企业的思维运作：快速行动，打破常规，以后再修。这适用于照片分享应用，不适用于打造有史以来最强大的技术。"
接管风险与权力集中
Turner描述了一种接管情形。"一个超级智能集群可能夺取人类文明的控制权，"他说，"它知道我们会试图阻止它实现目标，所以很可能会等到为时已晚、无法关闭时再行动，到那时将无法回头。"
Kokotajlo现执掌关注AI社会影响的AI Futures Project，他担心的是科技公司本身。在他看来，尽管科技领袖如今支持更严格的监管，也未必应该把控制权交给他们。"即使他们真能保持控制，我也不认为我们应该信任他们掌握这种控制权。我认为存在非常现实的可能，他们会借此在美国成为独裁者或寡头。"
巨头自请约束
Coxon上月的警告发出后，头部AI公司的领导者罕见地呼吁对自家产品发布施加更多限制，并称需要全球合作防止AI失控。Anthropic CEO Dario Amodei发表长文，呼吁竞争对手共同放缓模型开发，担心"递归式自我改进"（RSI）的风险，即AI聪明到可以持续自主进化。
OpenAI的奥特曼、SpaceX创始人马斯克和微软亿万富翁比尔·盖茨，也都对不受监管的AI发展发出过警告。
纽约拟设"紧急停止开关"
AI行业通常受州和联邦法规监管，但随着AI在纽约迅速扩张，市政府希望更多介入。这次听证会正是由市议会议长Julie Menin推动，她呼吁AI吹哨人出席作证。Menin称，谷歌、OpenAI和Anthropic是在收到议会威胁动用传票权的信函后才改变态度、同意出席。
纽约市的政策制定者和科技公司高管正在讨论一揽子监管法案。根据提案，AI系统未经外部专家审查，不得在纽约五大区"营销、销售或部署"；在纽约使用的任何AI工具都须配备"紧急停止开关"，即"能够关闭系统的人工干预机制"。违反任一规定将被处以2.5万美元罚款。
另一项拟议法案将设立"全美首个"吹哨人现金奖励制度，资金来自对违规者的罚款。
在此之前，纽约州长霍楚尔上月宣布，AI公司须从11月起在政府平台注册，并在72小时内报告重大安全事件。
