英伟达二季度业绩震撼全场,数据中心营收在三个月内翻番至百亿美元以上,使净利润同比增长四倍至67.4亿美元,牢牢把住AI芯片的霸主地位。
而在英伟达的身后,有许多年轻的初创公司正在奋力奔跑,有的不断推出号称超过英伟达GPU的产品,有的则瞄准了英伟达的CUDA编程平台。
据The Information,2017年至少有十几家初创公司试图挑战英伟达在AI芯片领域的地位,但经历了市场的一轮洗牌之后,该倒闭的倒闭,该换血的换血。
当时比较受关注的两家公司,KnuEdge和Reduced Energy Microsystems双双倒闭。Wave Computing在2020年申请破产,次年以新名称MIPS东山再起。据科技网站The Register报道,另一家AI芯片初创公司Mythic的前工程副总裁在领英上写道,该公司已于去年耗尽现金。今年早些时候,Mythic宣布任命新首席执行官,并获得了1300万美元融资。
在现存的早期AI芯片初创企业中,Cerebras生产的大规模AI芯片整合了英伟达GPU的许多处理能力,而SambaNova Systems似乎是早期最有能力挑战英伟达的公司。上一轮融资热潮中,这两家公司和Graphcore一起以数十亿美元的估值进行了几轮大型融资。
这轮市场大清洗告诉后来者,初创企业正面临着高昂的成本和竞争风险。
以下是最新向英伟达发起挑战的八家初创企业:
D-Matrix和Rain Neuromorphics声称,它们开发的芯片和软件,与英伟达产品相比,更有助于降低训练和运行机器学习模型的成本。
Tiny Corp和 Modular正在开发CUDA的替代品,CUDA是英伟达开发的一种编程语言,可提高应用程序开发的速度,但它只能与英伟达的GPU配合使用。
Qyber、Modular和MatX三家芯片初创公司均由谷歌前工程师创立,而获得了投资者的信赖。
Modular
成立时间:2022年
创始人: Chris Lattner(首席执行官)、Tim Davis(首席产品官)
投资人: GV、Greylock Partners、Factory HQ、SV Angel
股权融资:3000万美元
Modular正在开发一个用于训练和运行机器学习模型的开发平台和编程语言。它允许用户从一系列AI工具中进行选择,包括最初由谷歌开发的开源软件TensorFlow和最初由Meta Platforms开发的开源软件PyTorch。然后,模块化用户可以在英伟达、英特尔等服务器芯片上运行模型。
构建和运行AI应用程序需要大量的计算能力,开发人员称,在试图控制计算成本时,很难在不同类型的芯片之间切换使用他们的软件。Modular产品于5月份推出了有限预览版,旨在帮助工程师更轻松地在不同类型的硬件上运行模型,以便平衡性能和成本。
Modular尚未披露其定价结构,并且产生的收入较少,但创始人的工作背景让投资者感到鼓舞。首席执行官Lattner之前在苹果公司领导了Swift编程语言的开发,后来与Modular的联合创始人兼首席产品官Tim Davis一起在谷歌工作,两人共同负责监督该公司的AI产品开发。据The Information本月早些时候报道,Modular最近正在洽谈一项以6亿美元估值融资的项目。
MatX
成立时间:2022年
创始人:Reiner Pope(首席执行官)、Mike Gunter(首席技术官)
投资方:Outset Capital、SV Angel、Homebrew
股权融资:未知
MatX正在开发用于文本应用的大语言模型(LLM)的专用芯片,目的是设计出比英伟达的GPU等硬件运行得更快、更省钱的芯片。
这家初创公司由前谷歌员工创立。MatX的首席执行官Reiner Pope曾参与构建谷歌的Pathways语言模型。MatX的CTO Mike Gunter曾参与谷歌的张量处理单元(TPU)的工作,这是谷歌专门设立的AI硬件部门,与英伟达GPU构成竞争。
MatX官网宣称,它获得了几家风投公司的支持,但尚未宣布产品或融资额。根据网站介绍,这家总部位于加利福尼亚山景市的公司还获得了网络安全巨头Palo Alto Networks首席商务官Amit Singh以及大语言模型研究人员的支持。目前还不清楚MatX是否已经获得客户,但该公司表示它获得了“著名大语言模型公司的有力支持”。
Qyber
成立时间:2022年
创始人:Guillaume Verdon、Tom Hubregtsen
投资方:霍夫资本、朱利安资本
股权融资:未知
据一位直接知情人士透露,Qyber正在开发一款专门为运行LLM而设计的芯片。
这家初创公司由Alphabet神秘项目“登月工厂”部门的前研究人员创立,专注于量子计算。该公司官网对其计划讳莫如深,只写道:“下一个计算时代尚未消亡,它还活着。”敬请期待。
据PitchBook称,去年11月,Qyber从纽约风险投资公司Hof Capital和旧金山种子期基金Julian Capital筹集了资金。Information援引一位知情人士报道称,最近,这家初创公司已与潜在投资人讨论新一轮融资事宜。
Rain Neuromorphics
成立时间: 2017年
创始人: Gordon Wilson(首席执行官)、Jack Kendall(首席技术官)、Juan Nino(首席科学顾问)
投资人:空客创投、百度创投、FoundersX Ventures、Sam Altman、Daniel Gross
股权融资: 3300万美元
Rain Neuromorphics现已更名为 Rain AI,目的是解决使用传统GPU训练和运行机器学习模型的高成本问题。
一般来说,芯片在从内存和处理组件传输数据时会产生一定热量,这就需要不断冷却GPU,从而增加数据中心的电力成本。Rain的芯片和软件将内存和处理功能结合在一起,使它们能够以更低温度、更节能的方式运行,首席执行官Gordon Wilson表示。
Tiny Corp
成立时间:2022年
创始人:George Hotz
投资人:未公开
股权融资:510万美元
据称,Tiny Corp的产品可帮助开发人员加快训练和运行机器学习模型的过程。
神奇小子、自动驾驶初创公司Comma AI的创始人兼前首席执行官George Hotz于今年5月宣布成立Tiny Corp公司,目标是彻底改变AI计算领域。
当前,Hotz正在围绕一套名为tinygrad的开源深度学习工具开展业务。5月份,Hotz在GitHub上发表的一篇文章中表示,他认为tinygrad可以成为Pytorch的“有力竞争对手”,Pytorch是一套起源于Meta Platforms的深度学习工具。
不过,就目前而言,Hot似乎更愿意保持低调。他说:“我们不和两种类型的人说话,警察和记者。”
SiMa.ai
成立时间: 2018年
创始人: Krishna Rangasayee(首席执行官)
投资人: Fidelity、Amplify Partners、Dell Technologies Capital、VentureTech Alliance
股权融资:2亿美元
Sima.ai正在开发为“边缘”行业(飞机、无人机、汽车和医疗设备)的AI软件提供支持的硬件和软件。
Sima.ai创建于2018年,创始人Krishna Rangasayee曾在芯片制造商 Xilinx 工作了近 20 年。他在接受Information采访时表示,这些行业对支持 AI 的新硬件的需求日益增长,他希望解决这一问题。
例如,自动驾驶汽车需要即时做出决策,因此可以从本地运行AI软件中受益。而在医疗保健行业,公司可能不想将敏感数据上传到云端,更倾向于让数据留在设备内。
今年6月,Sima.ai表示,其第一代“边缘”AI芯片已开始量产,正在与制造、汽车和航空等行业的50多家客户合作。
Lightmatter
成立时间: 2017年
创始人: Nicholas Harris(首席执行官)、Darius Bunandar(首席科学家)、Thomas Graham(首席执行官)
投资人:经纬创投、Spark Capital、Viking Global、SIP Global Partners
股权融资: 2.66亿美元
Lightmatter使用激光器的光在芯片和服务器组之间传输数据。
这家初创公司由前麻省理工学院学生从该大学申请专利的技术中衍生出来。联合创始人兼首席执行官Nicholas Harris表示,英伟达、AMD 和英特尔等传统生产商的芯片通过电力传输数据电线,成本较高,相比之下,Lightmatter的产品可帮助公司在训练和运行机器学习模型时将数据中心能源消耗成本降低约 80%。
Harris表示,Lightmatter还希望让英伟达、AMD 和英特尔等公司在其自身的芯片中授权使用其技术。
D-Matrix
成立时间:2019年
创始人:Sid Sheth(首席执行官)、Sudeep Bhoja
投资人:微软、SK海力士、Playground Global、Entrada Ventures
股权融资:5100万美元
D-Matrix正在开发一种专用芯片和软件,用于运行组合处理和内存的机器学习模型,这两者在芯片上通常是独立的不同组件。
D-Matrix联合创始人兼首席执行官Sid Sheth表示,这种方法可以让D-Matrix芯片产生更少的热量,因此需要更少的冷却,使其成为比主流 GPU 和 CPU 芯片更具成本效益的选择。Sheth说,这在许多公司希望基于OpenAI的GPT-4等大语言模型构建生成式AI应用程序的时代尤为重要。
Sheth表示,D-Matrix 选择专注于推理(运行机器学习模型),而不是训练这些模型,因为他们认为随着时间的推移,这些模型会变得越来越大,运行成本也越来越高。D-Matrix已经有客户测试其芯片和软件,并计划在明年上半年将其投入商业使用。