7*24 快讯

郑纬民院士:AI产业核心已从模型服务转向Token服务

中关村论坛由趋境科技与九源智能计算系统生态联合体主办的研讨会上,郑纬民院士表示未来的智能基础设施应围绕Token即服务(TaaS)进行重构,一是全系统异构协同,不同计算任务合理分配至GPU、CPU、内存和SSD,打破算力瓶颈;二是存算协同实现“以存换算”,通过前置KV Cache等技术,大幅降低重复计算量,提升推理效率;三是面向SLO的智能调度,精准地将用户业务需求“翻译”为底层资源决策。(界面)

风险提示及免责条款
市场有风险,投资需谨慎。本文不构成个人投资建议,也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。