OpenAI 开源模型泄露:六大技术细节

AI寒武纪
67
OpenAI即将发布两款开源大模型的六大技术特点包括:采用Float4量化配合英伟达Blackwell芯片训练;使用带范围限制的SwiGLU激活函数;通过YaRN技术将上下文窗口从4K扩展至128K;采用滑动窗口注意力和注意力汇聚机制处理长文本;底层架构融合Llama/Mixtral特点并广泛使用偏置项。

OpenAI 可能即将发布的开源大模型的详细技术细节来了,以下是根据泄露信息整理

模型架构:1200亿参数的混合专家模型(MoE)

据爆料,OpenAI 可能会发布两款模型:

一款 1200亿(120B)参数的混合专家(MoE)模型:其在推理时仅激活约 50-60亿(5B/6B)参数。这意味着它能在保持巨大知识容量的同时,实现极高的推理效率,大幅降低运行成本

一款 200亿(20B)参数的稠密模型:作为更小巧、更易于部署的版本

目前来看,这两款模型将专注于文本处理,暂时不涉及多模态能力

训练技术:或采用 Float4 与 英伟达最新Blackwell 芯片

为了极致的效率,模型可能采用了 Float4进行训练或量化。这是一种非常激进的量化方案,可以极大地压缩模型体积并提升运算速度

据推测,这可能是借助英伟达最新发布的 Blackwell 架构 GPU 完成的,因为该系列芯片原生支持 Float4 运算。另一种可能性是,模型在训练后通过 训练后量化(PTQ) 技术压缩到了 Float4

激活函数:带范围限制的 SwiGLU

为了配合 Float4 量化,模型可能采用了 SwiGLU 激活函数,并对其输出范围进行了 裁剪,限制在 -7 到 7 之间

这类似于经典的 ReLU6 函数,其目的是为了消除激活值中的极端异常值,确保数值分布更稳定,从而降低量化过程中带来的精度损失。这对于 Float4 这种低精度格式至关重要

上下文窗口:通过 YaRN 技术扩展至 128K

模型将拥有128K 的超长上下文窗口,但它并非从头开始训练的。据推测,该模型的基础上下文窗口为 4K,之后在训练中途采用 YaRN等技术将其无缝扩展至 128K

注意力机制:滑动窗口注意力(SWA)与注意力汇聚(Attention Sinks)

为了高效处理 128K 的长文本,模型采用了两大关键技术:

滑动窗口注意力(SWA):窗口大小为 128。这意味着在计算注意力时,每个词元(token)只需关注其邻近的 128 个词元,从而将计算复杂度从二次方降低到线性级别

注意力汇聚(Attention Sinks):为了解决 SWA 会遗忘早期重要信息的问题,模型引入了注意力汇聚技术。该技术强制模型始终关注最开始的几个(例如 4 或 8 个)关键 token,确保模型在处理长序列时不会失忆。NVIDIA 的 TensorRT-LLM 也已支持此功能

底层架构:融合 Llama/Mixtral 特点并使用偏置项

模型的基础架构很可能借鉴了 Llama 和 Mixtral 等成功的开源模型。关键特征包括:

合并的 QKV 矩阵:将注意力机制中的查询(Q)、键(K)、值(V)矩阵合并,以优化计算效率

广泛使用偏置项(Biases):与一些模型(如 Llama)去掉偏置项的做法不同,该模型似乎在所有模块(包括 MLP、注意力层甚至 MoE 的路由层)都保留了偏置项,这可能有助于提升模型的拟合能力

来源:AI寒武纪,原文标题:《OpenAI 开源模型泄露:六大技术细节》

风险提示及免责条款
市场有风险,投资需谨慎。本文不构成个人投资建议,也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。
相关阅读