Open AI又将发布黑科技了。
据新浪科技援引两位知情人士称,作为ChatGPT服务的一部分,OpenAI计划在未来两周内发布新AI模型“草莓”(Strawberry),该时间表要早于之前的预期。
分析认为,“草莓”就是去年的Q*项目,后者在OpenAI内部已经实现突破。去年11月22号,OpenAI给员工发了一封内部信,承认了Q*,并将这个项目描述为“超越人类的自主系统”。
今年5月,OpenAI的一份内部文件显示,OpenAI的内部团队正开发的“草莓”项目,目的是增强OpenAI的模型的推理能力,处理复杂科学和数学问题的能力,让大模型不仅能生成查询答案,还能提前规划,以便自主、可靠地浏览互联网,进行OpenAI定义的“深度研究”。
除此之外,多个自媒体验证ChatGPT Pro会员近期正式上线,售价200刀/月,结合新闻,“基本可以确认的是,这个ChatGPT Pro会员是过一段时间为全新的模型草莓准备的。”
GPT-5“难产”
OpenAI此前表示,今年的10月举办的开发者大会将专注于开发者社区的互动和API的更新,期间不会发布其下一个主要旗舰型号GPT-5。
而其在5月的一篇博客文章中透露,已经开始训练下一个“前沿”模型,但面临巨大的兑现压力和高昂的研发成本。
包括钛媒体等报道,包括硅谷最近在技术圈也一直流传一个说法那就是GPT-5的内部测试失败了,今年已不大可能推出。因为基于Transformer的GPT类模型已经进入了扩展瓶颈,且除了聊天和一些比如编程、文本、设计、办公等工作流辅助类应用,很难全面应用于市场,而这些GPT-4o已经足够支撑。
分析称,有架构再升级短期内很难有质的突破。这些瓶颈包括模型自身架构扩展能力,也包括数据瓶颈,甚至也包括安全和伦理需求的应对瓶颈,还有因为应用局限带来的市场需求本身的瓶颈。
此外,OpenAI仍面临多项争议,包括使用受版权保护的数据进行培训、限制员工保密协议以及有效地排挤安全研究人员。较慢的产品周期可能会产生有益的副作用,即在追求更加强大的生成式AI技术时,OpenAI已经取消了AI安全工作的优先级。
“草莓”或为GPT-5打下基础
长江证券表示,“草莓”具备解决以前从未见过的数学问题的能力,这是当今的聊天机器人所无法准确做到的;给予长时间演算时,“草莓”还能够回答用户更主观的问题,适用于对时间不太敏感的用例。
国泰君安也指出,草莓旨在改进即将推出的下一代LLM“猎户座”(Orion),OpenAI正在使用草莓来生成用于训练Orion的数据(即合成数据),从而克服从现实世界的数据中获取足够高质量数据来训练新模型的限制。
另外,据知情人士透露,“草莓”项目包括一种专门的“后训练”方法,即生成式AI模型已经过大量数据集上进行预训练后,进一步调整模型以提高其在特定任务上的表现。这类似于斯坦福大学在2022年开发的“自学推理者”(Self-Taught Reasoner,简称STaR)方法。
据媒体报道,一位OpenAI高管表示,目前AI模型正处第一级别,但预计很快将达到第二级别,即推理者。OpenAI目前正在致力于在特定任务上实现博士级别的智能,预计可能在一年或一年半内实现,据称“草莓”模型推理能力接近人类水平。