AnthropicPBC已提交IPO申请,并警告其技术带有生存性风险。在招股书中,该公司风险因素章节篇幅超90页,其中就包括公司在AI安全与商业目标之间寻求平衡所面临的风险。
提示了多种“对人类的风险”,包括人工智能(AI)模型可能试图“抗拒关机”以及“隐瞒或操纵信息”;公司正寻求借助公开市场的融资能力扩大资本来源。Anthropic强调,其人工智能系统可能“以非预期、不对齐或自主的方式运行”;如果缺乏充分的安全防范和监督,可能“对人类构成灾难性或生存性风险”。
文件显示,如果无法管控和AI安全相关的各类风险,公司的“品牌、业务、财务状况以及经营业绩都可能遭受不利影响。” Anthropic称,公司会经常性作出主观判断,决定模型达到何种安全标准才可以对外发布。但同时它也坦言,无法保证自身设置的安全防护措施足够有效,也无法保证公司能够准确识别哪些模型能力应当加以限制。 招股文件写道:“这类判断至关重要。随着AI系统能力持续增强,一旦模型出现目标偏离或者被滥用,其潜在危害程度也会同步上升。众多相关方,包括研究人员与政策制定者都提出担忧:如果不能以负责任的方式研发、部署,足够先进的AI系统可能会给社会带来灾难性乃至生存级风险。” Anthropic表示:“我们这套以安全为核心的方案,一部分目的就是缓释这类风险。但我们无法保证相关举措一定奏效,也无法保证整个AI行业都会采用同类安全防护机制。”