谷歌AI基础设施首席技术专家Amin Vahdat表示长时程智能体是今年AI工作负载的最大变化之一。
打破人类与LLM秒级交互,毫秒级连续请求,推理解析更多在CPU,并不断抓取DRAM、SSD等上下文,催生海量编排。
加速器、CPU、网络、存储需求齐涨,数据中心设计面临混放或分楼权衡。他的工作难但有趣。
谷歌AI基础设施首席技术专家Amin Vahdat表示长时程智能体是今年AI工作负载的最大变化之一。
打破人类与LLM秒级交互,毫秒级连续请求,推理解析更多在CPU,并不断抓取DRAM、SSD等上下文,催生海量编排。
加速器、CPU、网络、存储需求齐涨,数据中心设计面临混放或分楼权衡。他的工作难但有趣。