GPU 大模型系统论文解读站
| 中文题名 | 深度残差网络中的恒等映射 |
|---|---|
| 英文题名 | Identity Mappings in Deep Residual Networks |
| 作者 | 何恺明等 |
| 发表 | arXiv 2016 |
| 关键结果 | 恒等 shortcut 最优；pre-activation 让 1000 层以上的网络（实验到 1000+ 层）也能训练 |
| 一句话定位 | ResNet 续作——回答「shortcut 上到底应该放什么」，并把「为什么有效」从经验变成分析 |
ResNet 一战成名后，研究者立刻追问一个细节问题：shortcut 这条近路上，到底该原样照传，还是也加点加工？听起来只是小改，实际上牵动着几百上千层网络能否训练的大局。2016 年，何恺明等人的续作给出干脆的回答：恒等映射——什么都不加、原样传递——就是最好的 shortcut。
这篇论文更大的价值，是把「残差为什么有效」从经验升级成分析：信号可以沿 shortcut 无衰减地一路传到深处，这解释了超深网络为什么训得动；顺着这条思路调整层内顺序（pre-activation，前置激活），连 1000 层以上的网络也能稳定训练。深度记录从「奇迹」变成了「设计的结果」。
放进书单还有一层用意：它是「追问到底」的典范。上一篇文章成功了，多数人会急着用它；而这篇作者团队选择回头把原理抠透——正是这种较真，让残差网络从一次性胜利变成长期可复用的地基。
再看一次传话游戏，这次有两种规则。规则甲：每人必须用自己的话把听到的内容复述一遍再传下去；规则乙：允许有人宣布「原话照传」，一字不改地往下传。链条一长，规则甲的失真越来越狠；规则乙只要链上有人照传，原话就始终有据可查。恒等映射就是 shortcut 上的「原话照传」：它不生产信息，只保存信息。
也可以想成 100 段接力运水：如果中途每个接力点都允许「喝一口再传」，到终点只剩桶底；恒等捷径相当于在水桶队列旁边架了一根直通水管，水源头的压力不打折扣地送到最后一站。所谓「信号无衰减地传到深处」，说的就是这根直通水管。
这两个比喻指向同一条朴素的道理：一个长链条系统要想可靠，链条里必须存在不打折扣的环节。互联网能传一张照片不糊，靠的是数据原样到达； ResNet 能深到上千层，靠的也是 shortcut 原样到达。
恒等映射为什么最好？因为 shortcut 一旦原样照传，深处每一层就同时握有两样东西——原始输入的「原文」，以及上层传来的「批注」。任何一层都不必猜测「我前面的信息被改成了什么样」，因为原文一直在手边，只需专心回答「这一步该补什么」。论文对比了在 shortcut 上加各种变换的做法，结论一致：不加变换、保持恒等，训练最顺、效果最好。
第二个发现是 pre-activation（前置激活）。原版残差块里，卷积打头阵，归一化（Normalization，把数值拉回规整范围的处理）和激活跟在后面；这篇把顺序掉了头——先归一化、再激活、最后卷积。好处在于：每个「两路相加」的交会点之后，信号立刻被整理得规规整整再进入下一层加工。像每个接力交接点都配了一位理棒员，交接棒永远摆正，队伍越长越受益。
两条改动合起来的效果：1000 层以上的网络（实验做到 1000+ 层）也能正常训练，退化问题在如此深度下依然被按得死死的。回想 ResNet 当年的 152 层已经让人惊叹，一年后深度直接再上了一个数量级。
这篇论文的写法同样值得学：它不是「我调了调、涨点了」式的报告，而是先讲清楚信号沿哪条路走、为什么不会消失，再让实验验证分析。工程技巧由此升格为设计原则，后来者才能站在原理上继续盖楼，而不是在黑暗中试错。
先算衰减账。假设信号每经过一个「加工环节」只剩 90% 原味。连续经过 20 个环节，剩下的就是 0.9 的 20 次方，约等于 12%——原文只剩一成多，基本面目全非。可如果这 20 个环节之间有一条恒等捷径，信号可以走捷径直达，保留 100%。所谓「无衰减通路」，翻译成小学算术就是一句话：1 乘以多少个 1 都还是 1。
再算接力账。1000 层网络就是 1000 个接力环节。让每个环节守两条规矩——shortcut 原样照传、交会点后先整理再加工——接力就能一直传下去。深度不再吃人，反而供人驱使。
最后做个对比账。从 ResNet 的 152 层到本篇实验的 1000 层以上，一年之间深度翻了近七倍，主要靠的不是更强的硬件，而是把「信号走哪条路、按什么顺序加工」想明白。好分析的杠杆，有时比好机器更大。
shortcut 的默认设计从此有了依据：后续网络几乎都把恒等捷径当作起点，谁要在上面加东西，反而需要拿出理由。「为什么有效」的经验，变成了「如何设计」的守则——这正是续作超越原作补充的地方。
它也让「千层网络」从不可能变成日常实验对象。当深度不再是瓶颈，研究者的注意力得以转向更本质的问题：加深的每层到底该学什么。这个思维习惯——先保证信息通路畅通，再谈规模——影响了此后许多网络结构的设计。
建议连读它的前传 i08 ResNet：先看「残差如何赢得比赛」，再看「shortcut 为什么必须原样照传」，一条线才算读完。本板块的下一篇 i10 膨胀卷积 则换个方向发力——不加深，而是让卷积看得更远。
提示：本篇是 i08 ResNet 的续作，先读前传再读本篇，两条实验与两条分析才能对上号。