牛股堂 Qwen 4用上DeepSeek的Engram！125B MoE一张4090能跑不用量化

Qwen4 还没出，架构先开源了。

阿里发布 Qwen3.8-Flash-Next 的全部权重，同时也是 Qwen4 新架构的早期预览版。

这个新架构它确实够新。

除了常规的 125B 参数 MoE 模型配 6B 激活参数，关键是还附加了 51B 的 N-gram Embedding 参数。

这是个啥呢？

发布公告明确写着，受 DeepSeek 的 Engram 启发，进一步扩展了这种设计。

它的主要优势在于，它可以添加大量参数，而每个 token 几乎不需要额外的计算。

Qwen3.8-Flash-Next 大幅降低了训练和推理成本，训练时间仅为原来的九分之一，却在代码和办公任务方面表现出色。

Qwen3.8-Flash-Next 的跑分可以总结在小模型里超过 DeepSeek V4 Flash 正式版，向上多项测试可以挑战 Claude-Opus-4.6（Max）。

模型权重公开后，也确实有人在 24GB 显存的 4090+128G 内存上成功部署，而且不用量化。

虽然之前发布的密集模型 Qwen3.8-27B 在消费硬件上体验更好。

但这一次，Qwen3.8-Flash-Next 证明了在消费级硬件上跑满血版 MOE 模型也是完全可行的。

DeepSeek Engram 更复杂，Qwen 更精简

传统 Transformer 只有一个词嵌入层，每个 token 对应一个向量。

而 Qwen 的 N-gram Embedding 和 DeepSeek 的 Engram 都是利用当前 token 及其前面若干 token 组成的局部上下文作为 key，通过确定性的哈希函数在一张巨大的嵌入表中查到对应的向量，时间复杂度为 O ( 1 ) 。

DeepSeek 的 Engram 论文首次将这一思路形式化为"条件记忆"（conditional memory），并将其定位为与 MoE 的"条件计算"（conditional computation）平行的第二种稀疏方式。

Engram 论文通过 Sparsity Allocation 实验发现了一条 U 形缩放定律：在总参数和 FLOPs 固定的前提下，把大约 20% – 25% 的稀疏参数预算从 MoE 专家重新分配给 Engram 嵌入表，能获得比纯 MoE 更低的验证损失。这一分配比例在 5.7B 和 9.9B 两个规模上保持稳定，最优点均落在 75% – 80% 分配给 MoE 的区间。

Qwen3.8-Flash-Next 在技术报告中直接引用了 Engram 论文和 Gemma 3n 的 Per-Layer Embedding 作为灵感来源，并在最终模型中配置了 51B 的 N-gram 嵌入参数，附加在 125B 主模型之上。

Engram 的设计有四个关键组件。

第一是 Tokenizer Compression，通过 NFKC 归一化和小写映射把 128k 词表压缩 23%，消除" Apple "和" apple "这类语义等价但 ID 不同的冗余。

第二是 Multi-Head Hashing，对每个 N-gram 阶数使用 K 个独立哈希头映射到素数大小的嵌入表中以缓解冲突，最终把所有检索到的向量拼接成一个记忆向量。

第三是 Context-aware Gating，用当前层的隐藏状态作为 Query、检索到的记忆作为 Key 和 Value，通过 RMSNorm 归一化后的缩放点积计算出一个标量门控值，决定是否采纳这条记忆——如果记忆与当前上下文矛盾，门控趋近于零自动抑制噪声。

第四是一个核大小为 4、膨胀率等于最大 N-gram 阶数的深度可分离因果卷积，用于扩展感受野并增加非线性。此外，Engram 还专门设计了与多分支架构的集成方案：多个分支共享一张嵌入表和一个 Value 投影矩阵，但各自拥有独立的 Key 投影以实现分支级别的差异化门控。

Qwen3.8-Flash-Next 的 N-gram Embedding 在公开博客中没有披露同等细节深度的设计说明，但从已公布信息可以看出几点差异。

Qwen 最终只使用了一个 N-gram Embedding 层，而 Engram 在 27B 模型中部署于第 2 层和第 15 层两个位置。

DeepSeek 的 Engram 论文在严格的等参数、等 FLOPs 条件下完成了对照实验。在 26.7B 总参数规模上，Engram-27B 相比纯 MoE-27B 基线在知识任务上提升了 MMLU +3.0、CMMLU +4.0，在推理任务上提升了 BBH +5.0、ARC-Challenge +3.7，在代码数学上提升了 HumanEval +3.0、MATH +2.4。

Engram 论文还通过 LogitLens 和 CKA 分析揭示了增益来源：Engram 让模型的第 5 层表示在功能上等价于纯 MoE 基线的第 12 层，相当于在不增加实际层数的情况下增加了网络的有效深度。

Qwen 的 51B 嵌入参数远超 Engram 论文中验证过的最大规模（Engram-40B 的嵌入参数为 18.5B），这意味着 Qwen 在实践中把 Engram 论文中观察到的"嵌入槽数量与验证损失呈对数线性关系"这一结论推到了更大的尺度。

不过由于 Qwen3.8-Flash-Next 同时引入了 QSA 稀疏注意力、Gated Residual 和 Muon 优化器等多项改动，N-gram Embedding 的单独贡献无法从最终结果中精确隔离。

四项架构升级，从注意力到优化器全换了

除了嵌入层外，Qwen3.8-Flash-Next 还在注意力、残差、和优化三个维度上做了系统性升级。

注意力层面，模型延续了 Qwen3-Next 以来" GDN+ 注意力"的混合设计。

48 层网络中，每 4 层有 3 层使用门控 DeltaNet 将历史信息压缩进固定大小的状态，剩余 1 层负责全局精确检索。

但这次全局注意力从之前的 Gated Attention 升级为全新的 Qwen Sparse Attention（QSA）。

QSA 的做法是先用一个轻量索引器把序列聚合成"微块"，在块级别估计上下文重要性，再只对最相关的区域做注意力计算。这不仅降低了注意力本身的开销，连索引过程的计算量也一并压了下去。

在 100 万 token 的长上下文场景下，QSA 的注意力内核在预填充和解码阶段分别实现了 7.6 倍和 4.9 倍的加速。在 90% 前缀缓存命中率的在线服务场景中，Qwen3.8-Flash-Next 在 100 万 token 上下文长度下的预填充吞吐量达到了 Qwen3.7-Plus 的 8.6 倍。