第301章 真理的启迪者 三（1 / 2）
请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能，避免出现内容无法显示或者段落错乱。
稍微适应了一下升级后的大脑，徐辰估摸着DeeSeek的论文应该是发出来了。
他打开电脑，熟练地登录arXiv，输入了关键词。
果然，那篇论文赫然在列。
徐辰在公寓里下载了这篇论文，仔细研读了一遍。
论文的核心原理极其惊艳，直击当前大语言模型（LLM）的软肋：现有的Transforr架构虽然通过MoE（混合专家）实现了“条件计算”，但缺乏原生的知识查找机制。
当模型需要回忆一个静态事实的时候，比如“巴黎是法国的首都”，它只能通过消耗宝贵的注意力机制和前馈网络层去“重新计算”和“模拟提取”。这就像是让一个顶级数学家去死记硬背电话号码，极大地浪费了推理算力。
而DeeSeek给出的解法，正是“条件记忆”。
他们引入了一个名为“Engra（记忆印迹）”的模块，将经典的N-gra嵌入现代化，实现了O(1)时间复杂度的常数级知识查找。简单来说，模型不再需要死记硬背，而是学会了“查字典”。
论文中还提出了一条“U型缩放定律”，证明了将大约20%到25%的稀疏参数分配给Engra模块时，模型性能达到最优。更恐怖的是，由于Engra的查找是确定性的，它完全可以绕开昂贵的GPU显存（HBM）限制，直接从廉价的主机内存（DRAM）中进行运行时预取，几乎没有额外的性能开销。
“干得漂亮。”
徐辰看着论文里的架构图，暗自点头。
以他升级后的信息学LV2的眼光来看，梁文锋的这个成果，和系统当初给出的那个完美的D-LTMN方案相比，其实做了一些工程上的妥协。
系统方案更偏向于底层硬件架构的微调，而DeeSeek则是在现有的GPU集群和Transforr框架下，做到了软件层面的极致压榨。
“这算是……系统方案的‘青春版’？”
徐辰摸了摸下巴。
但这已经足够惊艳了。
不出意外，这篇论文将在接下来的几个月里，成为整个AI界讨论的焦点。
……
徐辰猜得没错。
此时的曼哈顿下城，摩根士丹利大楼。
高级分析师约翰·史密斯正对着电脑屏幕发呆，手里那杯昂贵的冷萃咖啡已经在那儿摆了半个多小时，冰块化了一半，也没动一口。
屏幕上是一份还没写完的研报草稿——《英伟达：算力帝国的黄昏还是黎明？》。
约翰感觉自己的头发都要掉光了。
现在的华尔街，简直就是个精神分裂的疯人院。
一方面，整个美股全靠那几只科技巨头撑着，尤其是英伟达，简直就是全村的希望。只要AI的故事还在讲，只要大模型还需要烧钱买卡，纳斯达克就能接着创新高，大家的年终奖就有着落。
如果英伟达倒了，AI泡沫破裂，美股大盘就会瞬间崩盘，引发系统性的金融危机。到那时，不仅他的饭碗保不住，整个华尔街都要排队去跳楼。
所以，上头的指令很明确：“看多！必须看多！不能让泡沫破了！”
但另一方面，现实的数据却像是一记记响亮的耳光。
年初那个中国小子搞出来的SLRM架构，已经让训练端对GPU的需求砍了一半。现在好了，DeeSeek又搞出了个Engra，直接在推理端把显存需求给废了！
“这日子没法过了……”
他在研报里敲下了一段极其纠结的文字：
↑返回顶部↑