由微软支持的OpenAI和Alphabet旗下的谷歌等知名科技公司与机构，正在越来越多地将人力、资金和算力等资源用于解决“人工智能价值对齐”（AI alignment）这一核心问题。
最新消息显示，由非营利性人工智能研究组织EleutherAI孵化出的美国新兴初创公司Synth Labs，已从微软旗下风投基金M12和谷歌前CEO施密特（Eric Schmidt）的深度科技风投基金First Spark Ventures处成功筹集了种子轮融资，将用于帮助一系列公司确保其AI系统按照人类的意图来运作。
据Synth Labs的官网介绍，该机构正在开展透明、可审计的人工智能对齐前沿研究，将与顶尖研究学校和全球独立研究者社区合作，力求建立一个完全可审核且强大的AGI（通用人工智能）对齐平台，实现预训练、规模化、自动化数据集的管理和增强，并侧重于开源模型。
其官网称，当前的“对齐”方法不够有效，对AI模型的评估更差，这导致AI软件的运行效果往往不尽如人意。人类意图中的丰富偏好被统一的模型瓦解，基于人类原始数据的模型培训无法拓展，但这些模型理应拥有自动适应和拓展的能力。
据腾讯研究院等多方资料介绍，人工智能对齐，也可称为人工智能价值对齐，指的是引导AI系统的行为，使其符合设计者的利益和预期目标，特别是要确保AI追求与人类价值观相匹配的目标，确保AI以对人类和社会有益的方式行事，不对人类的价值和权利造成干扰与伤害。
随着人工智能技术的快速发展和应用普及，AI的多任务学习能力和泛化能力越来越强，也令人工智能对齐成为AI控制与AI安全的重要议题，以期防范可能带来的风险与挑战。
曾有研究者认为，必须在超级人工智能诞生前解决对齐问题，因为一个设计不够完善的超级人工智能可能会从理性上迅速掌握可控制权，并拒绝创造者对其进行任何修改。
而如果AI与人类的价值观不能对齐，可能会出现以下风险：AI的行为不符合人类意图的目标；在多种设定目标冲突时做出错误取舍；伤害人类的利益；以及脱离控制等。
目前，OpenAI成立了对齐团队并提出InstructGPT模型，其竞争对手、由谷歌支持的Anthropic也将“AI对齐”作为Claude模型的开发重点，致力于打造“更安全的AI聊天机器人”。
Synth Labs联合创始人、也是领先的人工智能研究组织CarperAI创始人Louis Castricato对媒体称，过去几个月，Synth Labs已经构建了可在多个复杂主题上轻松评估大语言模型表现的工具，目标是普及易于使用的工具，后者可以自动评估和对齐人工智能模型。
Synth Labs近期撰写的研究论文称，他们在OpenAI的GPT-4以及Stability AI的Stable Beluga 2人工智能模型生成对提示语的回答基础上创建了一个数据集，随后将其用于一个自动化流程，以指导AI聊天机器人避免谈论某个话题，并开启谈论另一个话题。
而孵化了Synth Labs的EleutherAI则称，希望通过独立研究更好地了解人工智能如何运作和演进，确保AI继续为人类的最大利益服务，为此他们将在透明和协作的基础上，对市面上现有的人工智能模型进行研究、训练并公开发布一系列大语言模型。该组织还倾向于开源人工智能：
“关于人工智能的未来和部署的决策，不应完全由那些寻求利用人工智能盈利的科技公司做出。”