OpenAI新瓜,据the information挖到的一些内幕,OpenAI现在正面临着数据瓶颈和技术难题,GPT-5没有取得像GPT-3到GPT-4那样的飞跃,更多的商业上进步,比如编程能力和数学能力更好。
另外大家都知道小扎挖走了很多OpenAI的核心研发人员是因为小扎给的钱非常多,但这是其中一个原因,现在爆出还有一个重要因素就是OpenAI的研究主管Mark Chen造成的,可能涉及到技术路线,团队重组等导致很多核心去meta了。
以下是一些要点:
GPT-4.5(代号“Orion”)的失利
原计划作为GPT-5推出的Orion项目,最终因性能未达预期而被降级为GPT-4.5
相较于GPT-4o,Orion并未展现出革命性的性能提升,未能实现内部期待的重大飞跃
失败的核心原因:
- 数据瓶颈:用于预训练的高质量网络数据已日益枯竭,这是限制模型能力提升的关键因素。
- 技术扩展难题:许多在小型模型上验证有效的优化方案,在扩展到大规模模型时未能成功复现其效果
- 最终结果:该模型在2025年2月以GPT-4.5的名义发布,但由于缺乏亮点,很快就在市场和技术圈中失去了重要性
GPT-5
鉴于GPT-4.5的经验,GPT-5的研发焦点不再是追求颠覆性的技术突破,而是转向了更具实用价值和商业回报的改进
关键提升领域:
- 编程与数学能力:GPT-5将能编写出更简洁、功能更丰富、对用户更友好的代码
- 智能体(Agent)能力:在处理复杂的任务清单和边缘场景(如处理客服的退款请求)时,表现将更加出色和可靠
- 效率优化:模型能更高效地利用计算资源,在不大幅增加算力消耗的前提下,提供高质量的回答
核心技术:通用验证器
GPT-5将引入一项名为通用验证器(Universal Verifier)的强化学习新技术,该系统能自动检查并验证模型的回答,以提升准确性。这项技术借鉴了o系列模型(如o1, o3)的研发经验——这些模型在纯粹的推理任务上表现强大,但在转化为聊天应用时性能会有所下降,GPT-5的目标正是要克服这一难题
总而言之,GPT-5将是一次渐进式但商业价值极高的提升,而非像GPT-3到GPT-4那样的革命性飞跃
OpenAI内部严重问题
OpenAI当前面临的严峻挑战
技术障碍:
在将强大的基础模型转化为流畅的聊天模型(内部称为“学生模型”)时,出现了性能下降的问题,预训练数据的稀缺及其带来的模型能力天花板,是公司面临的长期难题。
内部紧张关系:
- 人才流失:不少顶尖研究员因Meta等竞争对手提供的高薪锁定offer而选择离职
- 路线冲突:研究部门与商业部门之间存在矛盾,尤其在与微软的合作关系上,部分员工对公司与微软绑定过深表示抵触
- 高层矛盾:研究主管Mark Chen与副总裁Jerry Tworek在公司内部沟通工具(如Slack)上的摩擦已公开化,同时,Mark Chen因主导团队重组,被认为是导致部分研究员离职潮中的一位争议性人物
与微软的关系及未来
根据协议,微软拥有OpenAI技术的独家使用权,直至2030年,并计划在OpenAI的营利性实体中持有约33%的股份
目前,双方的战略性谈判仍在进行中。与此同时,OpenAI也在为可能的IPO积极做准备,以寻求更独立的发展路径
来源:AI寒武纪,原文标题:《最新内幕!GPT-5没能取得技术突破,OpenAI核心投奔小扎另有隐情》