DeepSeekV4的技术报告里有mHC，有CSA，有HCA，有Muon，有FP4……

唯独没有Engram。

Engram去哪了？

这个话题一度成为网友们讨论的热点。

Engram在今年1月由DeepSeek和北大联合开源，主要研究大模型的记忆与效率问题。

自挂上arXiv的那一刻起，圈子里围绕它的探讨就没有停止过…

不仅仅因为它是V4的前奏，而是有了Engram，「伦敦是英国首都」这种事实，模型不用动用整个深层网络去重新推一遍，直接查就行。

不仅省显存，还能释放深层网络容量，用于更高阶的推理。

正因如此，自1月初论文发表以来，所有人都觉得，Engram就是V4的架构地基，所有人都在盼。

以至于V4发表后，大家第一时间就是command f去论文里找Engram，可惜并没有。

没有Engram，可能是DeepSeekV4最大的遗憾。

不过，Engram并没有消失。随后三篇值得注意的论文接力出现：

所以，虽然V4没有Engram，但它的理念、探索和后续应用已经悄然铺开，为下一代模型打下基础。

把时间倒回2026年1月12日。

那一天，DeepSeek联合北大放出了一篇33页的论文《ConditionalMemoryviaScalableLookup》。第一作者ChengXin，北大博士生，曾经署名过V3。最后一位作者，梁文锋。

论文最核心的一段实验，是固定总参数和每token激活参数，然后让MoE专家和Engram记忆抢预算，得到一条U形曲线。

那么，为什么记忆模块还能反过来提升推理?

LogitLens和CKA给出了答案，Engram-27B第5层的表征，跟MoE基线第12层的表征最相似。

Engram把模型的早期层从「重建静态知识」这种苦力活里解放出来，这部分网络深度被腾出来做更复杂的推理。Engram不是新增了一块记忆，它还变相把网络加深了。

他们没改Engram本身，而是回答了一个更工程的问题，如果Engram真的成了下一代标配，内存放哪。

答案是CXL内存池化。GPU HBM放计算权重，本地DRAM做二级缓存，CXL池做三级。8台服务器共享4TB内存池，XConn XC50256交换芯片做拓扑，512GB/s带宽。

整套集成进SGLang，做了预取-计算重叠，跑下来端到端吞吐损失小于5%。Engram论文里那句「1000亿嵌入表卸载DRAM」的轻描淡写，被他们做成了27B和40B两个规模的真实测试。

结论很清楚，Engram这种确定性寻址、可预取的负载，几乎是为CXL量身定做的。

Engram论文上线第十一天，1月23日，一个叫TaoLin的研究者，单作者，放出了《A Collision-FreeHot-Tier Extension for Engram-Style Conditional Memory》。

他想验证一个看上去显然的优化，Engram用多头哈希查表会有冲突，如果把高频N-gram用Minimal Perfect Hash Function完全消除冲突，模型会不会更好。

他设计了Engram-Nine，把记忆分成无冲突的「热层」和保留多头哈希的「冷层」。

结果反直觉。在严格iso-parameter控制下，无冲突设计没有稳定提升验证loss。

route-stratified评估还发现，训练初期热路径(高频)loss更低，但训练后期冷路径反过来超过热路径。

一个看上去显然的优化方向，被一个真做实验的人证伪了。

GitHub上一个叫AutoArk的团队搞了Tiny Engram。

基于Qwen-3完整复现文本Engram之后，他们做了一件论文里没做的事，把Engram搬到Stable Diffusion上。

视觉patch经过分层编码，底层抓纹理，中层抓部件，高层抓风格，然后整套丢进哈希查表。

跟LoRA比下来，达到同等效果，Engram需要的额外参数只有LoRA的15%到30%。连续注入多个新概念时，LoRA会出现明显的概念退化，Engram不会。

Engram原本是为文本设计的。AutoArk等于把这扇门撞开了，凡是能离散化、能哈希的模态，Engram都能搬。

三个月里，Engram这条路上，发明者最沉默，跟进者各自走了一步。

一个团队替它解决多机内存层级，一个独立研究者证伪了它一个看似显然的优化方向，一个开源团队把它推到了视觉。

而deepseek-ai/Engram这个仓库，最后一次提交还停在1月14日。

Engram论文的摘要结尾有一句话：

我们认为条件记忆将是下一代稀疏模型不可或缺的建模原语。

看来，这个下一代得是V5了，难不成会是V4.1?

参考链接

[1]https://arxiv.org/pdf/2601.07372

[2]https://arxiv.org/pdf/2603.10087

[3]https://arxiv.org/pdf/2601.16531

本文来自微信公众号“量子位”，作者：量子位，36氪经授权发布。