随着大模型技术在全球范围内受到前所未有的关注和追捧,用于大模型训练的算力资源也水涨船高。以英伟达A800人工智能训练卡为例,市价已升至约11万元/张。算卡价格高,在无形中抬高了AI应用的“准入”门槛。
不过,某知识分享平台最近一条“A800卡租赁仅需2元/卡时”的帖子引发业内关注。据发帖网友称,在国家超算互联网(www.scnet.cn)官方网站上,A800训练卡的时租价格仅2元,按照调试训练一个大模型需要1个月来计算,微调优化一个大模型所需的单卡训练成本仅需1440元,成本仅为购买前述训练卡价格的1/76,同时还不必关注数据中心的运营、电费等成本。
知乎网友发帖截图
在如今火爆的算力行业,“卡价”与“卡租价”倒挂的情况并不多见。该消息是否属实?记者随即登入国家超算互联网官网查询。在网站“商品广场—基础资源”导航页下,多种类型计算租赁资源可见,标价为2元/卡时的“英伟达A800显存80G”赫然在列。
高端算力产品卖出“白菜价”,恐怕事出有因。记者为此与国家超算互联网相关负责人员取得联系。
该负责人介绍,截至4月18日前,单张A800卡租赁价格确实是2元/时,但单人可申请卡的数量有一定限制,并补充说“这些资源已可满足90%以上用户AI算力需求”。
其解释说,因为租赁AI卡的用户,超90%的都是对已有大模型进行“微调”,该场景下使用若干张A800卡、几天的时间就可完成训练。若用户需要长时间、大量租赁AI算力进行全量模型训练,平台也有充足国产AI卡支持并行计算需求“申请数量多还可享折扣”。
有业内人士告诉记者,2024年春节后,AI算力卡租赁市场行情稳中有降,部分原因就在于诸如国家超算互联网这样拥有大量算力平台不断完善服务能力、增加了市场算力供给。另外,伴随着国内外多个大模型宣布开源,许多企业选择在成熟模型基础上进行微调训练,也阶段性地降低了算力需求。
公开信息显示,国家超算互联网由国家部委指导并发起,于2023年4月宣布启动部署,是一个集算力网络、应用、服务、资源于一体的国家级算力服务交易平台。该负责人还表示,国家超算互联网平台“已完成首阶段建设目标”,将于4月11日正式上线。
来源:中国科学报 原文标题《2元/卡时可租英伟达A800算力卡?官方回应:“确有此事”》作者《中国科学报》 记者 赵广立