循环神经网络正则化

Recurrent Neural Network Regularization · Wojciech Zaremba、Ilya Sutskever、Oriol Vinyals · arXiv 2014

本页目录

论文名片

题目：Recurrent Neural Network Regularization（循环神经网络正则化）。

作者：Wojciech Zaremba、Ilya Sutskever、Oriol Vinyals——第二位正是这份书单的主人。

年份：2014 年，arXiv 论文。

一句话结论：训练 LSTM 语言模型时，Dropout（随机失活）只放在非循环连接（进出 LSTM 的位置）上，困惑度（perplexity）明显下降；在循环连接上乱放反而更差。

这是书单里少见的「实操手册」型论文：不提出新结构，只回答一个工程问题——Dropout 该放哪。Ilya 本人署名，也印证了简报对它的定位：书单里「实用主义」的代表。真正的进步常常不是发明全新的工具，而是把已知的工具放对位置，并且立刻能被工程师抄走用上。

它对付的敌人是过拟合（overfitting）：模型把训练材料死记硬背下来，一到没见过的句子就露馅。在数据有限、模型不小的年代，这是每个训练者每天都要面对的敌人；这篇论文给出的是一条便宜、可靠、当天就能落地的防线。

备考时有人会把笔记的关键词遮住再背——而且每次遮的位置不同。这逼着你靠理解作答，而不是靠「背图」：记住某句话恰好写在纸面哪个角落。Dropout 就是这个操作的机器版：训练时随机「闭眼」一部分神经元，每次闭的还不一样。

但复习链条上有一样东西不能遮——昨天的记忆本身。今天的你能接上话，靠的是还记得昨天的结论；把「昨天的记忆」那条线遮了，复习就变成失忆。

训练循环网络时同理：哪些连线能遮、哪些不能遮，正是这篇论文回答的问题。

Dropout 的常规用法。训练时按比例随机让一部分神经元「闭眼」，迫使网络不能依赖某几个固定搭档，知识被迫摊开存放，死记硬背被抑制。它是正则化（regularization）家族里最常用的成员之一。

直觉上的坑。循环网络里有一条特殊的线——循环连接（recurrent connection），负责把上一步的记忆传给下一步。若在这条线上也随机设卡，等于记忆传递本身被随机打断：上一步刚记下「主语是他」，这一步「他」可能就被闭眼抹掉了。记忆被打乱，模型连正常句子都学不利索，效果反而变差。

论文的发现。只在非循环连接——也就是输入进 LSTM、LSTM 输出往外的「进出门口」——使用 Dropout；记忆传送带本体不设卡。仅凭放置位置的改动，语言模型的困惑度（perplexity）明显降下来。困惑度可粗略理解为「模型预测下一个词时平均在多少个候选里犹豫」，数字越低越好。

方法论一句话：正则化要挡住「抄近路背答案」的通道，别挡住「记忆本身」的通道。

本节算术为教学演示；论文的具体实验数值请看原文。

若每轮随机让一半神经元闭眼（比例 50%），任何一个神经元平均只有一半的轮次在岗。网络因此不敢把本事全押在少数「学霸神经元」身上，知识被摊薄到更多神经元手里——这正是防「背图」的机制。

假设记忆每传一步要过一道随机关卡、只有一半概率通过（保留 0.5）。传 10 步，全程通过的比例是 0.5 的 10 次方，约 0.001——千分之一。开头的信息几乎不可能完好走到第 10 步：记忆基本断线。这就是「在循环连接上做 Dropout 会打乱记忆」的算术直觉。

它把「训练大号 LSTM 语言模型」从手艺变成套路。此后许多序列模型（翻译、语音、文本生成）直接沿用「Dropout 只放非循环连接」的规则，省下的试错时间难以估量。工程小改动，收益立竿见影——实用主义的最好注脚。

在系列里，它是主角的训练纪律。理解 LSTM 给了主角身体，这篇给了主角健身计划；随后主角继续进化——记忆学会比较（见关系循环网络）、学会回看原文（见注意力机器翻译），而训练时的朴素纪律一脉相承。

本页出现的术语
术语	白话解释
Dropout（随机失活）	训练时随机「闭眼」一部分神经元，防死记硬背。
过拟合（overfitting）	把训练材料背下来而不懂规律，换题就垮。
正则化（regularization）	给训练加约束、防过拟合的手段总称。
循环连接（recurrent connection）	把上一步记忆传给下一步的那条线。
非循环连接（feed-forward connection，前馈连接）	信息从输入进 LSTM、或从 LSTM 输出出去的单向通道。
困惑度（perplexity）	语言模型常用分数，可粗读为「预测下一词时平均在多少个候选里犹豫」，越低越好。