本文系基于公开资料撰写,仅作为信息交流之用,不构成任何投资建议新年前夕,DeepSeek发表了一篇聚焦神经网络架构创新的核心论文,梁文锋以通讯作者身份署名。论文提出了流形约束超连接(manifold-constrained HyperConnection, mHC)架构,直指大规模模型训练中的稳定性难题。这一工作为硬件受限的中国 AI 企业开辟了一条兼顾性能与效率的路径,也与字节跳动早前在残差流优化上的探索形成关键呼应,二者均瞄准残差连接这一模型基础架构进行改造。DeepSeek的研究,恰恰是对字节跳动“超连接”技术短板的系统性补位。这一成果不仅为大模型底层架构的工业化落地提供了新方案,再度印证了硬件约束可转化为创新动力的产业演进逻辑。自2016年ResNet 提出以来,残差连接已成为深度学习的骨架式设计。其通过“捷径连接”绕过层层非线性变换,从根本上缓解了梯度消失或爆炸的难题,支撑起越来越深的模型结构。长期以来,业界创新多集中于注意力机制、MoE(混合专家)等模块,残差流本身处于一种“静默的稳定”中,直至2024 年字节跳动以超连接(HyperConnection)技术打破这一局面。字节跳动的超连接通过拓宽残差流宽度、构建多路并行信号流,并让模型学习流间的交互模式,显著提升了模型表达能力。然而,该技术在规模化训练中暴露出致命短板:信号发散。DeepSeek的测试显示,在270亿参数模型的训练中,约12000步后梯度范数剧烈波动,训练崩溃;更严重的是,信号强度在第60层膨胀至输入值的3000倍。问题的核心在于,超连接为追求表达力,放弃了残差连接原有的恒等映射约束——小规模下尚可调参掩盖,但在大规模训练中,这一缺陷被急剧放大。mHC的核心创新,是将可学习的变换矩阵约束在双重随机矩阵(doubly stochastic matrix)构成的流形上。这相当于为信号传播设立“刚性预