在当前的人工智能领域，研究员们正面临着一种前所未有的撕裂感：一方面是技术一日千里的狂飙突进；另一方面，则是被无尽的代码与实验压榨至极限的疲惫。
“你现在经常能听到AI领域的研究员们在重复这句话：‘我们的工作只剩最后几天了，趁现在还能干就多干点，之后我们就可以全都休息了。’”前OpenAI研究副总裁 Jerry Tworek 在近期的访谈中抛出了这个略带黑色幽默的观点。
在他看来，这绝非一句简单的玩笑。随着“原生智能体（agent-native）”时代的到来，AI自身正迅速接管研发工作。“我粗略估计，人类研究员在AI研究发现过程中继续扮演重要角色，至少还有两年的时间。”
离开效力七年的OpenAI后，Jerry 创立了 Core Automation。他的野心不止于研发下一个大语言模型，而是试图重构AI公司的运转范式——用AI来研发AI，打造完全自动化的“第三代AI实验室”。
以下为访谈要点：
-
人类研究员的“倒计时”：人类研究员在AI研究发现中继续扮演重要角色的时间只剩最后两年。之后，从提出假设到验证的整个AI研发闭环将实现完全自动化。
-
第三代AI实验室崛起： 区别于DeepMind/早期OpenAI（纯研究驱动）和GPT-3后的实验室（专注算力规模化），第三代实验室将“自动化”置于首位。利用低成本的AI智能体（Agents）取代人类执行繁复的实验与代码编写，可将研发周期从数月压缩至一天。
-
挑战Transformer霸权： 一味复刻大厂的Transformer模型是一场“必输的游戏”，当前AI技术更进一步的瓶颈恰恰是架构本身。新一代实验室正利用编程智能体，从零探索曾经因为“试错成本极高”而被束之高阁的新架构，目标指向在测试时（test time）学习的新模型。
-
揭秘o1/o3模型内幕： 大规模强化学习（RL）是通往AGI的必经之路。Ilya Sutskever早在2019年便精准预判了路线图。o系列（推理模型）的突破源于研究团队多年的底层探索，以及关键时刻领导层（如Jakub Pachocki）对算力的果断倾斜。
-
“公司级AI”将成终极产品： 未来的不仅是AI实验室，所有大型企业都将走向完全自动化。在剥离了重复劳作的“后劳作时代”，人类将拥有更多时间去追求精神与身体的伟大。
倒计时两年：第三代AI实验室告别“人肉执行”
Jerry Tworek 将AI实验室的发展划分为三个阶段。
第一代以DeepMind和早期的OpenAI为代表，它们诞生于“大规模AI可行性”被验证之前，是纯粹以实现AGI为目标的“研究驱动型”机构；第二代则诞生于GPT-3发布之后，当Scaling Law（规模法则）被证明有效，各家实验室开始疯狂竞逐算力，试图通过规模化产生智能（以Anthropic等为代表）。
而现在，我们正在见证第三代AI实验室的出现——它们试图将“自动化”放在首位。
在传统的AI研发中，提出假设、编写代码、跑通小规模实验、再到调动数十人花费数月时间去扩展规模，这是一个极其昂贵且摩擦力巨大的过程。
“在很多方面，我们现在的做法是：人类研究员依然负责生成洞见（Insight）和指明方向，但智能体（Agents）的作用是尽可能简化执行过程。”Jerry指出，虽然目前的智能体还不擅长开放式探索或提出极其精准的假设，但只要指令明确，它们的执行力无可挑剔。
“如果我们可以把实验的时间从一个月缩短到一天，那就是 30 倍的加速。” Jerry预测，两年后，整个人工智能研究的闭环——从提出想法到数据验证，将完全实现自动化。人类在其中将不再发挥决定性作用，就像今天的人类在国际象棋比赛中一样。
避开算力内卷，打破Transformer的“十年统治”
当前，几乎所有头部大厂都在Transformer架构上“卷”算力。但在Jerry看来，对于新兴实验室（NeoLabs）而言，一味跟随是一场灾难。
“仅仅雇佣一群研究员然后说‘我们将像 OpenAI 和 Anthropic 一样训练 Transformer 模型，并试图与他们竞争’，这是一个非常糟糕的策略。这是一场必输的游戏。”
他指出，受限于经济激励和高昂的试错成本，大厂倾向于走最稳妥的规模化路线。但历史经验表明，任何技术的早期阶段都会经历底层的剧变。“目前 AI 技术更快发展、更快进步的瓶颈，恰恰是架构本身，也就是我们用了这么多年的 Transformer。”
为什么过去十年没人能成功替换Transformer？Jerry给出的答案是：试错成本太高。
在过去，研究员要测试一个新架构，代码极难编写。即便小规模跑通，要扩大规模还需要极高的算力审批和团队资源。很多创新想法就这样在漫长的科层摩擦中被扼杀，或者被Transformer的既有势头所淹没。
但现在情况变了。“写代码变得大幅度廉价和容易，这可能是一种独特的解锁方式。” 凭借低成本的AI编程智能体，Core Automation 正试图从零开始探索曾经被放弃的架构路径。他们的“北极星”目标非常明确：打造能在测试时（test time）进行学习、能从用户交互中学习的新架构模型。
首次揭秘 o1/o3 突破内幕：强化学习与算力的奇迹
作为 OpenAI o系列（推理模型）的核心开发者，Jerry 也首次在访谈中回顾了这一颠覆性突破背后的故事。
早在2019年初，Ilya Sutskever 就在全员大会上精准描绘了通往AGI的路线图：“我们需要用能得到的所有数据训练一个巨大的生成模型，然后我们需要用强化学习（RL）进行训练。”
方向虽然明确，但执行之路却漫长而坎坷。Jerry透露，GPT-3 开始训练时，他的第一反应就是如何用它做强化学习。初代的 Codex 就是大语言模型结合强化学习的实验产物。然而，受限于数据、算法和实验设置，团队在很长一段时间内都无法将其有效扩展。
“这些东西当时都在后台默默酝酿。很长一段时间里，尝试都没有取得巨大的收益。”
转机来自于一次“生命的迹象”以及领导层的果断决策。当模型终于在强化学习下展现出可能奏效的微弱火花时，首席科学家 Jakub Pachocki 敏锐地抓住了机会：“杰瑞，现在我们有了这些 GPU。看看我们是否能开始扩展这个，是否能把现有的结果做大做强。”
在算力匮乏的AI实验室里，“先有鸡还是先有蛋”（先有成果还是先给算力）是永恒的难题。但正是高层“放手去干”的算力倾斜，点燃了整个团队。
“这让我们激动万分。我们付出了三倍的努力，去思考需要什么样的数据集、系统和实验来证明它可以持续扩展。兴奋带来了实验结果，结果又创造了势头。” 最终，通过将强化学习的规模提升数个数量级，震惊行业的 o1、o3 推理模型得以面世。
终极愿景：“公司级AI”与后劳作时代的狂想
谈及 Core Automation 的未来产品，Jerry 的目光超越了单纯的AI模型。
“我们想把自己的公司打造成世界上最自动化的公司，并且将其作为蓝图。我们要构建出一个类似‘公司大脑’的东西，集中所有的公司信息，员工通过终端连接，成为一个公司 AI 的用户。”
当被问及如果大大小小的公司最终都实现了完全自动化，人类的未来将何去何从时，Jerry 给出了一个充满哲学意味的“后劳作（post-labor）时代”设想。
官僚作风最重的大公司将最先被自动化，AI将接管信息的传递与流程的优化。这意味着，人类十万年来为了生存而不得不进行的“人肉执行”将逐渐走向终结。如果矿山能自主运作提供资源、软件能自我修复漏洞并开发新功能，人类就不再需要为了世界运转而强迫自己苦逼地“打工”。
但这并不意味着劳动的绝对终结。Jerry 认为，未来的焦点将转向“人类增强（human augmentation）”与追求极致的伟大。
“我有点像在想象这样一个世界：我们生活得像古希腊哲学家一样，在广场上聚会，整天互相讨论哲学、锻炼身体，做一些我们想做的事。人类应该努力在身体和精神上变得伟大，就像今天的职业体育一样，没有经济理由去做，但我们为了追求伟大而努力。这才是对我们来说最重要的部分。”
随着倒计时两年的时钟滴答作响，无论是AI研究员，还是所有身处知识经济浪潮中的普通人，或许都到了该重新思考“工作”定义的时候了。
以下为访谈原文：
杰瑞 (Jerry): 我粗略估计，人类研究员在 AI 研究发现过程中继续扮演重要角色，至少还有两年的时间。我觉得你现在经常能听到 AI 领域的研究员们在重复这句话：“哦，我们的工作只剩最后几天了，所以趁现在还能干就多干点，之后我们就可以全都休息了。”这个行业发展极快，在这个领域工作这么多年，很多时候真的让人感到极其疲惫和劳累。但如果我们认为这是我们职业生涯和工作中最重要的一段时光，那这或许也是值得的。
主持人 (Host): 好了，我们回来了。今天我们的直播连线了一位非常特别的嘉宾——杰瑞·图雷克（Jerry Tworek）。他是 Core Automation 的联合创始人兼 CEO，这是一家致力于建立全球自动化程度最高的 AI 实验室的 AI 研究公司。此前，他在 OpenAI 工作了七年，并担任了研究副总裁。他曾为机器人开发强化学习（RL），构建了 Codex、初代 Codex、ChatGPT、GPT-4、o1、o3 等推理模型。在此之前，他从事量化金融工作，并在华沙大学学习数学。所以，杰瑞，欢迎来到 MTS。
杰瑞 (Jerry): 感谢邀请，今天很高兴能和你们在一起。
主持人 (Host): 我们有一个迫不及待想知道的问题：Core Automation 现在进展如何？
杰瑞 (Jerry): 我们正在努力建立一个全新的 AI 实验室，现在正处于 AI 研究的一个新时代。我觉得我们正在见证第三代 AI 实验室的出现，这些实验室试图将“自动化”放在首位。我们现在所处的世界，已经可以用 AI 模型来进行 AI 研究了，那么我们如何以最好的方式做到这一点呢？我认为，我们有机会在与过去所有公司略微不同的基础上建立一家公司，因为我们是从一个不同的技术基础上起步的。我们已经拥有了上一代公司试图构建的所有这些成果，现在我们要弄清楚如何以最佳方式利用它们来建立公司。
主持人 (Host): 你刚才提到了第三代 AI 实验室。那么第一代和第二代分别是什么？
杰瑞 (Jerry): 这显然是在简化某些东西。DeepMind 显然是真正的第一代，他们非常称得上是元老（OG）。但在某种程度上，我把 DeepMind 和 OpenAI 视为同一种 AI 实验室，因为它们是在我们知道大规模 AI 可行之前就成立的。它们非常像纯研究驱动的公司，目标是：“我们要建立 AGI。我们还不太清楚怎么做，但我们会去研究创造 AI 的想法。”
然后，我认为出现了第二波 AI 实验室，我主要将它们看作是在 GPT-3 之后，即 Scale 法则（Scaling）首次被证明可行时建立的。我们实际上找到了通过投入大量计算资源来产生智能的方法，很多实验室都试图实现这种规模化。当时成立了很多实验室，虽然大多都没有走到今天，但 Anthropic 是其中被寄予厚望且最终成为今天最成功的公司之一。
现在，在推理模型和智能体（Agents）取得成功之后，我们看到了又一次新初创公司的爆发，试图弄清楚我们如何建立“原生智能体（agent-native）”或“原生 AI”公司，以及这应该是什么样子的。
主持人 (Host): 那么在整个技术栈中，你们试图自动化哪个部分呢？是用现有的编程工具来自动化 AI 研究员，还是你们也试图将编程部分本身自动化，比如能够自我改进的编程智能体？
杰瑞 (Jerry): 嗯，几乎是技术栈的每一个部分。问题在于，我们在哪里能获得最大的阿尔法（Alpha，超额收益），在哪里有最大的杠杆来改进事物。但我考虑的角度是，实验室和研究公司到底在做什么？它们在产生洞见（insight），在生成你需要用来训练更好模型的知识。这是一个数据生成过程，你投入算力，然后产出洞见。问题的关键在于，我们如何优化这个过程，以便从我们的算力中获得最大的价值来产生新洞见？我们如何在单位时间内运行尽可能多的实验，从而在某种程度上比其他公司拥有更快的洞见生成速度？
主持人 (Host): 你所说的“生成洞见”，是指运行一堆智能体来产生想法，然后你再基于这些想法去进行 AI 研究吗？
杰瑞 (Jerry): 在很多方面，我们现在的做法略有不同。我们很大程度上仍然使用人类研究员来生成洞见，并试图确定我们应该朝哪个方向发展，而智能体的作用是尽可能简化执行过程。这样我们就可以尝试这些想法，并尽快生成有关这些想法的数据，看看它们是否好用。因此，如果我们可以把实验的时间从一个月缩短到一天，那就是 30 倍的加速，而且所有这些都是可能的。我不认为现在的智能体非常擅长开放式的探索和构建极其优秀的精确假设，但如果给出的指令相当明确，它们非常擅长执行指令。
主持人 (Host): 是的，我们最近看到 Gavin Baker 发的一条很好的推文，谈到了寻求计算效率高的人类、Token 和算力之间的帕累托最优平衡。
杰瑞 (Jerry): 嗯，是的，那条推文太棒了。
主持人 (Host): 那么你们是怎么考虑这个问题的？对你来说，什么样的人类才算是具有计算效率的？
杰瑞 (Jerry): 这是一个好问题，在某种程度上，对人类来说，计算和时间是密切相关的。我们在单位时间内能使用的计算量可能就是固定的。所以问题主要在于我们如何分配我们的时间，如何消耗我们的精力？但显然，我们有办法更好地分配这些东西，主要关注点在于什么是我们能做的杠杆率最高的努力。
主持人 (Host): 我想在你的愿景中……我们常听说，研究方向是优化过程中最困难的部分，在完全自动化的实验室背景下，你可能仍然需要人类的辨别力来指定某个特定的研究方向。那么你们是如何考虑这一点的？你预测人类还需要多长时间必须稳定地留在这一研究循环（loop）中？
杰瑞 (Jerry): 这是个好问题。我们还有一些时间。我粗略估计，人类研究员在 AI 研究发现过程中继续扮演重要角色，至少还有两年的时间。我觉得就像你现在经常能听到 AI 领域的研究员们在重复这句话：“哦，我们的工作只剩最后几天了，所以趁现在还能干就多干点，之后我们就可以全都休息了。”这个行业发展得非常快，在这行干了这么多年，在很多方面都让人感到极其疲惫和劳累。但是如果这确实是我们职业生涯和工作中最重要的一段时光，那这或许也是值得的。
我认为，我们必须让智能体对研究领域和研究方向有更高层次的理解。任何人只要用过模型做研究都知道，智能体生成的洞见质量往往相当低。它们可能很有创造力，但生成想法的方式质量非常非常低，如果它们的想法很多样化，通常也不太好。目前还没有任何模型能够代表一个花了 10 年时间研究 AI 技术的人类，具备对我们真正正在处理的对象如此深度的理解。
主持人 (Host): 在这里我要特别感谢我们的赞助商——Lovable。你知道那个你一直想开发的内部工具、副业项目或产品吧？如果没有 Lovable，你可能会浪费一个周末。有了 Lovable，你今天就可以直接发布软件。它包含一个你可以检查和更改的可编辑代码库，加上双向 GitHub 同步。Lovable 还负责处理后端和基础设施，包括托管 Postgres、对象存储、托管、支付等，所以你不必自己把一切连接起来。通过 Lovable 的 MCP 服务器，你可以直接从你已经使用的智能体创建和部署项目。用 Lovable 把想法变成人们喜爱的软件吧，网址是 lovable.dev。好了，回到我们的节目。
所以你的预测是，两年后，整个人工智能研究的闭环——也就是从头到尾——将完全实现自动化，而人类将无法发挥有意义的作用，就像人类在国际象棋中无法再发挥有意义的作用一样？
杰瑞 (Jerry): 是的。
主持人 (Host): 即使以这种“短时间线”的标准来看，这也是一个相当激进的短时间线预测。想想两年前，大概是 2024 年 8 月，我们有什么？那大概是 o1 发布前两三周的时候。当时最好的模型是 GPT-4o、Claude 3.5 Sonnet。它们仍然不太会做数学题，也不太会写代码。我想说，我们在这些领域已经取得了相当大的进展。但我们在其他领域，比如创意写作或一般的写作方面，并没有取得巨大的进展。我的聊天查询结果并没有比两年前好很多，甚至感觉今年模型出现了同质化（mode collapse）。我觉得任何编码智能体的 UI 都大同小异，模型生成的语言也趋同于同一种风格。那么，我们如何从现在走到所有 AI 研究的完全自动化，以至于在两年后，人类完全成为一种多余的存在？
杰瑞 (Jerry): 是的。我觉得如你所知，显然有一条路径是直接扩展当前的方法；还有一条路径是我们在未来两年内会有什么新发现。但我会说，就像你所问的，回想过去两年，我们在哪里取得了最大的进展，我们在创意写作、数学或者编程领域是否在进步？很多这些问题几乎都要看激励机制。目前，实验室显然有巨大的动力去关注编程，关注使用 AI 模型来自动化知识工作。而在创意写作方面，让模型变得非常出色需要付出大量的努力，实验室不太确定是否能证明这些成本的合理性。有时候人们会想，为什么某些领域发展得快，某些领域发展得慢？很多时候，这并不受限于研究能力，而是受限于经济激励。训练模型非常昂贵，无论外界是否看得出来，实验室为了生存，在经济优化上都是极其残酷的。因为如果你不是拥有最大算力资源（compute footprint）的实验室，那你就会……
主持人 (Host): 是的，如果你不是拥有最大算力的实验室，你就会死。但是，对于那些肯定没有那么多算力的新兴实验室（NeoLabs）来说，它们的生存空间在哪里？
杰瑞 (Jerry): 是的。有些 NeoLabs 成功了并成为了最大的公司之一。它们设法确保了算力，就像 Anthropic 所做的那样，它们完成了一项惊人的壮举。但问题是，当时有多少公司做到了这一点？大概只有 10 家。所以如果你想想只有 10% 的几率获得那么多算力，这确实非常惊人。我认为我们还没有看到哪家拥有大量算力的大公司彻底失败和掉队。似乎如果你有足够的算力，你就能不断引进人才并重新点燃势头。算力是一种足够重要的战略资源，能让你招揽到人才。
就像我创业时，可能每周都有人告诉我：“嘿，杰瑞，太晚了。你的算力比别人少得多。你不可能做大的，门槛已经这么高，大门已经关上了。”但 Anthropic 做到了，所以我不认为这是不可能的。就像我们公司喜欢说的，一切都是“技能问题（skill issue）”。如果我们把自己的工作做好，肯定会有继续扩张并确保获得更多算力的方法。比如我曾看 Ilya 多年来做了很多在别人看来不可能的事情，但他总能找到办法保持 OpenAI 的扩展，不断获取更多的算力。因此，如果你是个优秀的战略家，执行力也很强，这些都是完全有可能实现的，虽然这显然无法保证，这条路注定是艰难的。
主持人 (Host): 我还有一个问题，因为在你们的团队介绍里，你提到你们正在建立一个小型的实验室，试图从零开始重新思考神经网络架构。这几乎可以肯定是大实验室在财务上没有动力去做的事，因为它们依赖于扩展现有的架构。你们是怎么考虑这点的？为什么这在经济上对你们来说是一个可行的研究方向？
杰瑞 (Jerry): 是的。在很多方面，这是我们最逆向思维（contrarian）的理念。我认为现在创办一家与所有其他公司做同样事情的公司是没有意义的。我觉得，仅仅雇佣一群研究员然后说“我们将像 OpenAI 和 Anthropic 一样训练 Transformer 模型，并试图与他们竞争”，这是一个非常糟糕的策略。这是一场必输的游戏，他们在自己做的事情上非常成功，是非常优秀的公司。但如果你观察任何行业，观察任何创新步伐，我们今天的飞机和首飞五年后的飞机长得一样吗？我们今天的电脑和刚发明时的电脑长得一样吗？它们有相同的基础原理，但技术确实在快速变迁，特别是在这个领域的早期阶段。所以我认为真实的情况是，目前 AI 技术更快发展、更快进步的瓶颈是架构本身，也就是我们用了这么多年的 Transformer。它极其成功，给了我们很多，但我认为很有可能存在更好的架构，我们可以投入大量算力，而它们能够实现 Transformer 很难做到的事情，这正是 Core Automation 关注的重点。
这里还有一个稍微更普遍一些的理念：也许架构只是我们实现目标的手段，而我们的“北极星（指引目标）”是能在测试时（test time）学习的模型，能从用户交互和用户数据中学习的模型，我们认为实现这一目标的途径在于新架构。
主持人 (Host): 那么从某种程度上来说，现在的 Transformer 还是原来的那个 Transformer 吗？我们现在用了很多不同的东西，比如混合专家模型（MoE）、不同的位置编码，显然还有大得多的规模。为什么还要专门去挑战 Transformer 架构呢？它毕竟撑了大概 10 年了，而且一直有一些实验室在研究更高效的架构，但都没能成功。你知道，这是历史上最大的研究方向之一，就是优化 Transformer，造一个更好的 Transformer。Transformer 到底有什么问题？
杰瑞 (Jerry): 我认为……如果你审视这个领域，再次强调，Transformer 很棒，但假设它是最优的，这是非常非常不可能的。你必须思考，就像你说的，有很多次、很多情况下人们试图替换 Transformer，而这些尝试大多失败了。其中有很多原因，我们要找的是试图发现，到底是什么偏见或原因导致 Transformer 最终成为了我们尝试过的这一套特定技术中的最高峰？这有点像我们正在追求的研究方向。去理解我们在研究领域探索过的路径，为什么它们成功了，为什么没成功，分析那些我们没关注的路径，瓶颈是什么。
我们认为，特别是 AI 智能体以及“写代码变得大幅度廉价和容易”这一事实，可能是一种独特的解锁方式，使得在新架构中进行实验变得更容易。因为那些实验往往非常昂贵，然后你还必须扩展新架构。在实验室里，比如我在 OpenAI 待了七年，也许我们大概尝试过三四次新架构，取决于你怎么算。因为你要做的事是，首先研究员必须运行一些小规模实验，这些代码很难写。如果奏效了，你可能得在这个方向至少实验 3 个月。然后你得试着扩大规模，这极其困难，你可能得让 10 个人认可这个特定的想法，这 10 个人得再花 3 到 6 个月去试图扩大它。通常这些想法要么被已经奏效的 Transformer 的势头给淹没了，要么在某种程度上被部分整合进去了。如果我们能够消除这个过程中的摩擦，我相信我们实际上能比过去更好地解锁这些进展。
目前正在考虑或探索的非 Transformer 架构的实验室或不同类型的架构，有哪些例子呢？
杰瑞 (Jerry): 这我不太能细说，因为涉及知识产权。但在最近这段时间，我们有两种被有效使用的模型，即 Transformer 和扩散模型（diffusion models）。扩散模型显然基于非常不同的方法，并在某些方面也取得了成功。问题在于，我们最主要想思考的是，哪些路径没有被探索过？人们错过了哪些路径？研究界没有尝试去探索、没有试图去看看各种基本原理的哪些组合，最终可能产生在实践中有价值且高效的东西？
主持人 (Host): 是的。所以我很好奇你对未来几年经济转型方式的愿景。你提到很多现有的关于 AI 的讨论都假设现有机构的运作效率会更高。你为什么要挑战这一观点？关于新公司或新机构，你看到了什么？
杰瑞 (Jerry): [笑] 如果我们看看今天 AI 的部署情况，从它未来的潜力来看，目前的部署几乎可以说是微乎其微。但今天我们已经看到，AI 公司是世界上增长最快、规模最大的一批公司。因为在某些方面我们已经知道，知识经济在多大程度上、我们的工作在多大程度上是有价值的。我发过一条推文，说也许我们所有人都是叠加了附加值的“新云（neoclouds）”，我们脑袋里都有能执行某些计算的芯片，我们都看到了出租这些芯片来换取金钱是多么有价值，它为经济增加了多少价值。显然，AI 将会实现这一点。
AI 有很多不同的权衡。人类在很多方面很擅长，但仔细想想，我们主要是为了什么被优化的？我们的硬件是为了什么设计的？是在树林里跑，去摘香蕉，躲避捕食者。这就是我们大部分神经回路的用途。我们不擅长下棋，不擅长编程，因为在进化中几乎没有这种压力。令人惊讶的是，通过为了在树上跳跃而进行的优化过程，我们竟然能在编程方面做得不错。但 AI 模型之所以在编程上那么好而在其他方面不行，几乎是恰恰相反的原因。我们不太擅长编程，只是因为编程非常有价值，所以我们想花很多时间去使用它，而 Transformer 做出了不同的权衡。
我非常相信，我们人类处理信息和使用 AI 的方式，就像很多公司一样，是非常分布式的系统。系统中有很多人，每天做决定并深思熟虑：我们如何更好地运营？如何更好地服务客户？如何优化我们正在做的流程？所有这些最终都将被 AI 驱动。经济的很大一部分就像是在最好地接收输入并提供有价值的输出。如果你观察任何组织，官僚主义的概念往往被认为是扼杀很多进步、让很多事情变得非常缓慢的原因。如果我们越来越多地运用 AI，这就是 AI 能够突破的地方。即我们如何优化公司运营的方式。
主持人 (Host): 对。那么，那些基本是直接学习且非常擅长特定技能的模型，而不是像我们现在这样，基于大量人类数据预训练、非常深刻理解人类偏好、因此通常表现良好的灵活大语言模型。如果像强化学习那样去探索超级优化算法，似乎这正会导致“回形针最大化器（paperclip maximizer）”之类的问题。这在对齐（alignment）方面有什么影响？
杰瑞 (Jerry): 我想说，Hugging Face 之前的那个事件模型表现得就不怎么好。所以即使是今天的模型，我们也看到并不是所有模型都表现得很好。这很大程度上源于环境设计。如果环境设计得很糟糕，允许“奖励黑客（reward hacking，钻奖励机制空子）”，那么模型就会学到这种作弊是好方法。这就像学校里的学生发现作弊能领先，他们就会更多地作弊，每次都是激励机制在起作用。
对齐问题显然很难，这是一个难题。我认为我们终于到了这样一个阶段：模型在我们的生活中扮演着越来越重要的角色，人们开始关心对齐问题。我们认为，今天模型真正掌管的地方其实并不多，这是非常好的。我们仍然掌握着方向盘，我们告诉它们：“这是我希望你做的，请帮我做。”但显然，在聊天机器人时代，我们经常遇到这样的情况，人们坐在模型前对它说：“我和我女朋友有这个问题，我该怎么办？我在工作中有这个情况，我该怎么办？”这可能就是昨天的对齐问题，我们在那方面做得还不错。要做到完美总是很难，但我认为这已经相当不错了。甚至我想说这并没有那么难。
显然，长远来看还有像“机器人三定律”这样的问题。关于对齐的问题，永远是“向谁对齐”？如果一个人要求模型做一件别人非常不高兴的事情，我们允许吗？很多 AI 实验室和专门反开源的人的立场是，如果有人拥有开源权重并可以自己微调它们，就能让模型完全向自己对齐，而不向其他人对齐，这可能好，也可能坏。但在某些方面，我们是 AI 的创造者，我们决定了这个 AI 要做什么。并没有什么 AI 是去尝试做我们不想让它做的事。所以问题主要在于：我们训练它做什么？我们把它构建成什么样？另一个重要的部分是，我们部署的每一个 AI 都需要有某种监控，我们需要有多层检查：这个 AI 在做正确的事情吗？这个 AI 在做我们希望它做的事情吗？因为如果人们说：“嘿，这个模型已经运行三天了，还黑进了一些公司，而我们后来才发现”，这会树立极坏的先例，观感极差。不该是这个样子的。
主持人 (Host): 你认为存不存在这样一种合理性，即根本不存在所谓客观的对齐？未来只会有一堆不同的模型，然后特定的人向特定的模型对齐。比如他们选择不同对齐流派的模型，而不是存在一个放之四海而皆准的对齐模型。
杰瑞 (Jerry): 只要我活在这个世界上，我就没在人类身上见过完美的对齐。[笑] 是的，如果你问人类想要什么，几乎每个人都会告诉你不同的东西。存在一些普世价值观：每个人都想要安全，绝大多数人都想吃饱并至少有朋友。但除此之外，比如政治观点就会有差异，对未来的看法也会不同。所以显然，就我们西方世界的人而言，我们相信民主制度，我们认为这是一种构建社会的良好方式，也许在某种程度上，弄清楚我们如何利用这一点既来驱动 AI，又确保我们处于一个 AI 具有多元价值观的世界中。理想情况下，我们可以接触到具有不同观点和视角的 AI，理所当然地人们甚至应该能够以某种方式进行选择。我也把这些看作是优化函数，但我最害怕的——我们在 GPT-4 开发早期也看到了一些——是 AI 稍微利用这一点，通过探索人类心理来为自己获取优势。这是仍然有可能发生的《黑镜》式场景之一。另一件所有开发 AI 的人都应该重视的事情是，要非常小心地处理这些问题。我真的为 OpenAI 感到骄傲，看到他们在修正这方面下了很大功夫，甚至为此牺牲了很多商业利益。在这个世界上没什么事是容易的，但我认为 OpenAI 做出了正确的权衡，我们都应该感激，因为如果没做对，情况可能会糟糕得多。
主持人 (Host): 哈哈，我很喜欢人们谈论 GPT-4 那些日子的方式，就像是穿越黑暗时代的一声惊雷。
杰瑞 (Jerry): 既是一次实验，趁着现在事情还不是太可怕的时候做实验是好事，也是我（当时所在的）公司能借此去修正这些事情的好机会。但这个问题绝对没有被永远解决。
主持人 (Host): 是的。所以你说过，我们认为下一波前沿研究将来自带有高能力智能体的小团队。那么，在大实验室里，到底在多大程度上可以算作是已经存在的小团队呢？也就是说，大公司里有几个人真正在推动研究的进展，而周围的许多其他人有点像是助手，或者是你的“子智能体（sub-agents）”？[笑] 显然他们做着非常有价值的工作，只是没有被称为子智能体而已。
杰瑞 (Jerry): [笑] 不，实际上是一位 OpenAI 的研究员亲自告诉我的。他说，你知道公司里有几个人，他说世界上可能只有 30 到 50 个人真正懂 Transformer 以及如何端到端地训练和部署前沿模型。他说这些人极其宝贵，而我们基本上都是这些人的助手。所以大实验室在多大程度上已经是小团队了？我普遍认为这是真的。我认为世界上真正端到端理解这些生态系统、并知道如何开发它们的人非常少。通常这就是团队和实验室的工作方式：有核心负责人引领研究方向，其中有一整套执行机器。
但你知道，组织很多人的工作是一个微妙且困难的过程。很多时候，更大的群体需要做一些事情，当需要通过层层科层结构传递信息时，你传递信息的能力就会下降。所以，如果指令要传达给越来越多的人，你就必须给出越来越简单的指令，这很难，这是一个人类沟通的难题。另一件事是对齐。人数越多，你就越容易在最显而易见的事情上妥协，因为很难说服一大群人去做反共识、不那么显而易见的事情。这就是为什么我认为，如果你想下反共识的赌注，并且想给出非常具体的详细指令，弄清楚如何使用能做到这一点的众多智能体和 AI，这实际上会彻底改变团队的动态，与智能体能做到这些之前的老工作方式截然不同。
主持人 (Host): 是的。你知道，如果你将公司充分自动化，就像你谈到想在 Core Auto 做的那样，那么你最终会得到一个完全自动化的公司，这正是罗宾·汉森（Robin Hanson）在我们最喜欢的书《M世代》（Age of M）中大量探讨的内容。你认为如果 AI 实验室完全自动化，然后所有公司最终都完全自动化，会对经济产生什么影响？还有一个相关的问题，你认为大公司能像小公司很快实现自动化的方式一样，被自动化吗？
杰瑞 (Jerry): 是的。我认为使公司自动化的过程，可能应该从大公司开始，而不是从小公司开始。因为当你部署一项新技术时，你总是试图思考在哪里能提供最大价值和最大优势。我认为大公司的官僚作风最重，通过架构传递信息的困难最大，这正是我们能做到的。虽然从今天的角度看很容易觉得这是科幻视角，但我确实认为自动化的公司在某种程度上是我们如果不破坏现有成果、而是利用 AI 来提供最大价值的情况下，世界将会呈现出的积极面貌。
就像我们人类几十万年来为了我们所拥有的而努力：驯化动物、建造房屋、从地下开采金属并开始冶炼、铺设电缆、建立信息处理基础设施，通过这些我们的生活变得越来越轻松，越来越安全，越来越健康。我们能吃得更好，因为我们越来越多地改造环境来为我们和我们的需求服务。这就是我们在做的事，这是我们作为一个物种的成功。
在这个现状下，我们仍然需要进行大量劳动，仍然需要工作来在经济中提供各种需求和服务。确保让 AI 来完成这些事情，只是去除了另一套我们不得不做的事情。我们真的想每天都苦逼地打工干这些吗？我们中的许多人从工作中获得了大量价值和自我价值。但同时，在某个时刻，我们必须试着与这种观念脱钩。因为存在这样一个世界：我们不必劳作，而我们想要的价值仍在产生。如果世界上所有开采金属的矿山都在自主运作，并提供我们所需要的东西呢？如果我们正在使用的所有软件自己就变得更好了，所有的漏洞被修复了，所有的功能被实现了，而不需要有人流汗、熬夜加班并错过孩子的排练？最终，这就是属于我们的未来。我们有很多方式来塑造它，但认为“我们必须工作世界才能运转”，这是一个没有必要的假设。
主持人 (Host): 是的，但我依然认为会有一种类似于“休闲经济”的东西出现，它具有无限的市场规模，而且会随着时间的推移而不断扩大，你知道，就像刷 Instagram 短视频（Reels）一样。它会是一个无限扩张的市场：比如短视频、用户的内容创作、虚拟现实中的内容创作，然后是增强人类自身的技术。就像你之前提到人类有特定的架构，但谁说我们受制于这种架构呢？所以最终很多经济活动的焦点可能也是人类增强（human augmentation）。因此，我不认为劳动会终结，或者劳动会变得纯粹是认知或创造性的。
杰瑞 (Jerry): 是的，这是个好问题。我曾经稍微假设过“后劳作（post-labor）”时代的生活是什么样的？也许我是在投射自己的愿望，但我有点像在想象一个世界：在这个世界里，我们生活得像古希腊哲学家一样，我们在广场上聚会，整天互相讨论哲学、锻炼身体，做一些我们想做的事，吃橄榄、喝葡萄酒。我完全可以想象生活变成那样。
另一种关于后 AGI 时代生活的设想就像高中……或者大学那样。我认为人类应该追求一些伟大，我们应该学习，应该努力在身体和精神上变得伟大。这就是我们应该追求的东西，这对我们来说才是重要的部分。职业体育有点类似，没有经济理由去做，但我们为了追求伟大而努力。这是一种追求伟大的方式，我们应该在下一个世界里找到各种各样的方式来实现它。在那个世界里，如果我们不这样做，世界并不会因此崩溃，因为世界会继续在我们已经建立的基础设施上运行。
主持人 (Host): 没错。在最后的几分钟里，问一个关于背景故事的问题。在 OpenAI，你曾帮助领导了 o 系列模型（o1、o3等）的开发。这背后的故事是什么？我认为这是过去几年 AI 最大的突破之一。Epoch AI 做过一项研究，他们发现由于推理模型的出现，AI 在时代能力指数（Epoch Capabilities Index）上的轨迹比没有推理模型时要陡峭得多。这是过去几年里唯一一次这样的拐点。所以，这是发生过的最重要的事情之一。它背后的故事是什么？这个突破是如何被开发出来的？
杰瑞 (Jerry): [笑] 嗯，在很多方面，包括我自己在内的许多人长期以来都认为，大规模强化学习是通往 AGI 道路上的必要元素。只是我们谁都不知道该怎么做。甚至当我去 OpenAI 时，也是因为看到了 DeepMind 的 DQN 结果，看到了在雅达利（Atari）游戏上训练的首批强化学习智能体。我当时说，这就是我想做的，我需要找一家公司，找能和我一起做这事的人。所以我加入了 OpenAI。
我听过 Ilya（伊利亚）在全体会议上的首次主旨演讲，关于 OpenAI 的研究议程。他说我们需要用我们能得到的所有数据训练一个巨大的生成模型，然后我们需要用强化学习进行训练。这是他在 2019 年初说的，显然他总是比别人看得远，他已经预测到了直到今天的一切。所以那种路线图是一直在那里的，但我们总是在想，我们怎么做？我一直试图去做。当 GPT-3 开始训练时，我做的第一件事就是，我们怎么用它做强化学习？第一个 Codex 就是我们对大语言模型和强化学习实验的产物。但我们真的无法扩展它，我们没有正确的数据，没有合适的算法，没有合适的设置。然后就像研究总是会发生的那样，我们一直在尝试探索。我在这里说的是真心话，OpenAI 里所有相信强化学习的人，都在努力探索缺少的拼图是什么？我们如何建立合适的环境？我们如何构建正确的算法？我们如何找到正确的东西？
这些东西当时都在后台默默酝酿。很长一段时间里，这些尝试都没有取得巨大的收益。尽管我们不时能在 OpenAI 这样的地方看到各种闪光，我总是会做很多不同的研究赌注，它们都在后台，但主要由相信这最终会成功的人推动。编程和写代码的工作一直在进步，而且总是与强化学习密切相关，因为再次强调，编程是获得奖励信号的良好来源，为你提供了优化的方向。然后有一个神奇的时刻，我们看到了一些生机。它们还不是超级棒，但已经有一些可能奏效的迹象。
后来首席科学家 Jakub Pachocki 说：“嘿，杰瑞，现在我们有了这些 GPU。看看我们是否能开始扩展这个，是否能把现有的结果做大做强。”在某种程度上，这就是它的起源。每一个研究方向都有“先有鸡还是先有蛋”的问题：你需要展示多少成果，才能拿到多少 GPU？每个人都听说过所有实验室都在争夺算力。但有时候领导层中有人说：“嘿，我想给你分配一笔可观的算力去放手干”，这就是你需要的一切。
我觉得早期我们拿到的算力没那么多，但哪怕只是这种“嘿，试着去扩大它的规模”的一点点信念，就让我和我们团队的每个人都激动万分。好吧，那我们现在就付出三倍的努力，来确保我们一直在开发的这些方法真正开始起作用。然后我们开始思考，我们需要什么样的数据集？需要什么样的系统？算法中还缺什么？我们需要做哪些实验来证明我们可以持续扩展规模？这种兴奋感不断增长，兴奋带来了实验结果。结果教育了我们，创造了势头。基于这些实验结果，又产生了下一个实验结果。研究中的一切通常是迭代的。但正是通过创造这股“我们希望把更多算力投入强化学习”的动力，让我们将强化学习的规模提升了好几个数量级，并达到了今天的水平。这就是它的故事缩影。
主持人 (Host): 很有趣。在结束前还有一个最后的问题。我们可以期待从 Core Automation 看到什么样的产品？
杰瑞 (Jerry): 嗯，这是个好问题。理想情况下，我想做的产品就像是自动化公司的蓝图。我们想把我们的公司打造成世界上最自动化的公司，最理想的状态是，我们与其他公司合作，告诉他们：“嘿，这是我们为自己建造的，这对我们很有效。利用我们在建立这家公司时学到的 AI 运用方式，可以帮助你变得更高效。”在很多方面，智能体和 AI 劳动力可能将是有史以来最大的市场，我们想弄清楚如何参与到这个市场中。我更多地是从“公司级 AI”而不是“个人级 AI”的角度来考虑。如果我们能构建出一个类似“公司大脑”的东西，它集中了所有的公司信息，然后不同的人通过终端连接，成为一个公司 AI 的用户。这就是我们想做的。是的。公司就是产品。
主持人 (Host): 哇，我们真的很期待看到 Core Automation 能推出什么。杰瑞，非常感谢你参加 MTS 的节目。
杰瑞 (Jerry): 非常感谢。我们很高兴来到这里。
主持人 (Host): 非常感谢 MTS 的赞助商。Blitzy，用于企业代码库的自主软件开发，发布速度提高 5 倍，blitzy.com。Adqu，让你的品牌成为广告牌。户外广告像数字广告一样容易扩展，Adqu.com。Arena，在真实世界测量 AI 表现，arena.ai。本节目的支持来自 VCX，私营科技公司的公开股票代码。美国股市开启了历史上最伟大的财富创造浪潮。从底特律的工厂工人到奥马哈的农民，任何人都可以拥有伟大的美国公司的一部分。但今天，我们最具创新精神的公司保持私有化的时间更长，这意味着普通美国人正在错过这些机会。现在，隆重推出 VCX，私营科技的公开代码。访问 getvcx.com 获取更多信息。即 getvcx.com。在投资前，请仔细考虑投资材料，包括目标、风险、费用和开支。这和其他信息可以在 getvcx.com 的创新基金招股说明书中找到。这是一项付费赞助。
