OpenAI 可能即将发布的开源大模型的详细技术细节来了,以下是根据泄露信息整理
模型架构:1200亿参数的混合专家模型(MoE)
据爆料,OpenAI 可能会发布两款模型:
一款 1200亿(120B)参数的混合专家(MoE)模型:其在推理时仅激活约 50-60亿(5B/6B)参数。这意味着它能在保持巨大知识容量的同时,实现极高的推理效率,大幅降低运行成本
一款 200亿(20B)参数的稠密模型:作为更小巧、更易于部署的版本
目前来看,这两款模型将专注于文本处理,暂时不涉及多模态能力
训练技术:或采用 Float4 与 英伟达最新Blackwell 芯片
为了极致的效率,模型可能采用了 Float4进行训练或量化。这是一种非常激进的量化方案,可以极大地压缩模型体积并提升运算速度
据推测,这可能是借助英伟达最新发布的 Blackwell 架构 GPU 完成的,因为该系列芯片原生支持 Float4 运算。另一种可能性是,模型在训练后通过 训练后量化(PTQ) 技术压缩到了 Float4
激活函数:带范围限制的 SwiGLU
为了配合 Float4 量化,模型可能采用了 SwiGLU 激活函数,并对其输出范围进行了 裁剪,限制在 -7 到 7 之间
这类似于经典的 ReLU6 函数,其目的是为了消除激活值中的极端异常值,确保数值分布更稳定,从而降低量化过程中带来的精度损失。这对于 Float4 这种低精度格式至关重要
上下文窗口:通过 YaRN 技术扩展至 128K
模型将拥有128K 的超长上下文窗口,但它并非从头开始训练的。据推测,该模型的基础上下文窗口为 4K,之后在训练中途采用 YaRN等技术将其无缝扩展至 128K
注意力机制:滑动窗口注意力(SWA)与注意力汇聚(Attention Sinks)
为了高效处理 128K 的长文本,模型采用了两大关键技术:
滑动窗口注意力(SWA):窗口大小为 128。这意味着在计算注意力时,每个词元(token)只需关注其邻近的 128 个词元,从而将计算复杂度从二次方降低到线性级别
注意力汇聚(Attention Sinks):为了解决 SWA 会遗忘早期重要信息的问题,模型引入了注意力汇聚技术。该技术强制模型始终关注最开始的几个(例如 4 或 8 个)关键 token,确保模型在处理长序列时不会失忆。NVIDIA 的 TensorRT-LLM 也已支持此功能
底层架构:融合 Llama/Mixtral 特点并使用偏置项
模型的基础架构很可能借鉴了 Llama 和 Mixtral 等成功的开源模型。关键特征包括:
合并的 QKV 矩阵:将注意力机制中的查询(Q)、键(K)、值(V)矩阵合并,以优化计算效率
广泛使用偏置项(Biases):与一些模型(如 Llama)去掉偏置项的做法不同,该模型似乎在所有模块(包括 MLP、注意力层甚至 MoE 的路由层)都保留了偏置项,这可能有助于提升模型的拟合能力
来源:AI寒武纪,原文标题:《OpenAI 开源模型泄露:六大技术细节》