7*24 快讯

OPPO Find X7系列将首次实现端侧应用70亿参数大模型

通过4bit量化的模型压缩,OPPO的Al Boost推理引擎优化,以及与芯片厂家联合深度优化等多项举措,让70亿参数大模型真正地装进手机,并实现内存和存储空间的进一步优化,为端侧AI的性能与精度实现更好平衡。OPPO自主训练的大模型——AndesGPT,具有“个性专属、对话增强、端云协同”三大技术特征。坚持端云协同部署的AndesGPT,覆盖十亿至千亿以上多种不同参数规模,可通过分工、互补、协作的方式,根据不同场景的用户需求实现智能调度。通过独创的SwappedAttention技术,AndesGPT还解决了长期记忆带来首字推理延迟问题。