曾从事 x86、Arm、MISC 和 RISC-V 处理器研究的传奇处理器架构师Jim Keller本周末批评了Nvidia 的 CUDA架构和软件堆栈，并将其比作 x86，他称之为沼泽。他指出，就连英伟达本身也有多个专用软件包，出于性能原因，这些软件包依赖于开源框架。
“CUDA 是沼泽，而不是护城河，”Keller在 X 帖子中写道。“x86 也是一片沼泽。[…] CUDA 并不漂亮。它是通过一次堆积一件东西来构建的。”
确实，就像x86一样，CUDA在保持软件和硬件向后兼容性的同时逐渐增加了功能。这使得Nvidia的平台完整且向后兼容，但它影响了性能并使程序开发变得更加困难。同时，很多开源软件开发框架可以比CUDA更高效地使用。
“基本上没有人编写 CUDA，”凯勒在后续帖子中写道。“如果你确实编写 CUDA，它可能不会很快。[...] Triton、Tensor RT、Neon 和 Mojo 的存在是有充分理由的。”
甚至 Nvidia 本身也有不完全依赖 CUDA 的工具。例如，Triton Inference Server 是 Nvidia 的一款开源工具，可简化 AI 模型的大规模部署，支持 TensorFlow、PyTorch 和 ONNX 等框架。Triton 还提供模型版本控制、多模型服务和并发模型执行等功能，以优化 GPU 和 CPU 资源的利用率。
Nvidia 的TensorRT是一种高性能深度学习推理优化器和运行时库，可加速Nvidia GPU上的深度学习推理。TensorRT 从各种框架（例如 TensorFlow 和 PyTorch）中获取经过训练的模型，并对其进行优化以进行部署，从而减少延迟并提高图像分类、对象检测和自然语言处理等实时应用程序的吞吐量。
但是，尽管像Arm、CUDA 和x86这样的架构可能会被认为是沼泽，因为它们的演进速度相对较慢、必须向后兼容并且体积庞大，但这些平台也不像GPGPU这样分散，这可能根本不是一件坏事。
目前尚不清楚 Jim Keller 对 AMD 的ROCm和英特尔的OneAPI有何看法，但很明显，尽管他花了很多年时间设计 x86 架构，但他并不迷恋其未来前景。他的言论还暗示，尽管他曾在世界上一些最大的芯片制造商工作过一段时间，包括苹果、英特尔、AMD、博通（现在是Tenstorrent）等公司，但我们可能不会在 Nvidia 的名单上看到他的名字。
扩展阅读
英特尔CEO评价CUDA：护城河又浅又小，垄断不会永远持续
英特尔首席执行官帕特·基辛格 (Pat Gelsinger)在纽约举行的一次活动中推出了英特尔酷睿 Ultra和第五代至强数据中心芯片，他对 Nvidia 的 CUDA 技术大加赞赏，声称推理技术将比人工智能训练更重要。但在纳斯达克接受提问时，基辛格表示 Nvidia 在训练方面的 CUDA 主导地位不会永远持续下去。
“你知道，整个行业都在积极消除 CUDA 的市场，”（原文：You know, the entire industry is motivated to eliminate the CUDA market,）基辛格说。他列举了 MLIR、 Google和 OpenAI等例子，暗示他们正在转向“Pythonic 编程层”，以使 AI 训练更加开放。
“我们认为 CUDA 护城河又浅又小，”（We think of the CUDA moat as shallow and small）基辛格继续说道。“因为该行业有动力为广泛的训练、创新、数据科学等带来更广泛的技术。”
但英特尔不仅仅依靠训练。相反，它认为推理才是正确的出路。
“当推理发生时，一旦你训练了模型……就不存在 CUDA 依赖性了，”Gelsinger 继续说道。“问题在于，你能很好地运行这个模型吗？” 他表示，通过首次在舞台上展示的 Gaudi 3，英特尔将迎接挑战，并且能够在 Xeon 和边缘 PC 上做到这一点。基辛格表示，并不是说英特尔不会在训练领域展开竞争，而是“从根本上说，推理市场才是竞争的焦点”。
他还借此机会推动了 OpenVINO（英特尔为人工智能工作而制定的标准），并预测了一个混合计算的世界，其中一些发生在云端，另一些发生在您的 PC 上。
英特尔执行副总裁兼数据中心和人工智能事业部总经理桑德拉·里维拉(Sandra Rivera)补充说，英特尔从数据中心到PC的规模可能使其成为首选合作伙伴，因为它可以批量生产。
“我们将以三种方式争夺数据中心 AI TAM 的 100% 份额。” 基辛格补充了Rivera的评论。“凭借我们的领导力首席执行官、领导力加速器和晶圆厂。我们可以利用每一项内部机会：TPU、推理、训练等等。我们将追求所有这些。我们”我们还将与 NVIDIA、AMD 等合作，寻求每一个商业机会。我们将成为代工厂商。”
这是一个大胆的策略，今天基辛格在带领他的团队进行演示时显得充满信心。他真的能挑战CUDA吗？随着英特尔今天推出的芯片（以及他的竞争对手也在开发）的应用变得更加广泛，只有时间才能证明一切。
文章来源：半导体行业观察，原文标题：《Jim Keller 批评CUDA：是沼泽，不是护城河》