7*24 快讯

小红书开源首个大模型,预训练未使用合成数据

国内著名社交平台小红书,开源了首个大模型——dots.llm1。dots.llm1是一个1420亿参数的混合专家模型(MoE),在推理过程中仅激活140亿参数,能保持高性能的同时大幅度降低训练和推理成本。

dots.llm1.ins在预训练阶段使用了11.2万亿的非合成数据,最终性能与Qwen2.5-72B-Instruct相比具备较强的竞争力;同时与Qwen3-32b相比,在中英文、数学、对齐任务上表现接近。

风险提示及免责条款
市场有风险,投资需谨慎。本文不构成个人投资建议,也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。