英伟达近日公布了令人瞠目的财报，其2024财年第四季度营收同比猛增265%。但在兴奋之余，英伟达也迎来了一个强劲的挑战者——Groq。
总部位于硅谷的Groq正在为大语言模型推理（对现有模型做出决策或预测，而不是训练）开发新的AI芯片（LPU）。Groq创始人兼CEO Jonathan Ross近日在接受采访时，展示了Groq提供动力支持的音频聊天机器人，其响应速度打破了记录。
虽然现在还没有哪家公司能威胁英伟达的霸主地位，例如AI芯片初创公司SambaNova和Cerebras，在AI推理方面也尚未取得太大进展，但Ross表示，AI推理的成本高昂，他的公司因此专门为大模型提供了“超快”、更便宜的芯片选择。
Ross宣称：“到今年年底，我们很可能会成为大多数初创公司使用的基础设施，我们的价格对初创公司非常友好。”
AI初创公司HyperWrite首席执行官Matt Shumer在社交媒体平台X上评价Groq是“狂野技术”，能够“以近500 tok/s的速度为Mixtral提供服务”，并且给出答案的速度“几乎是实时的”。
Shumer在X上进行了一个“快如闪电的答案引擎”的公开演示，展示了“在不到一秒的时间内就能提供数百字的事实性、引证性答案”。
而根据Groq官网的介绍，Groq的LPU之所以快，只因为它的推理引擎不是普通的处理单元，它是一个端到端系统，专为需要大量计算和连续处理的应用（如大语言模型）提供最快的推理而设计。通过消除外部内存瓶颈，LPU推理引擎的性能比传统GPU高出几个数量级。
风险提示及免责条款
市场有风险，投资需谨慎。本文不构成个人投资建议，也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资，责任自负。